-
Notifications
You must be signed in to change notification settings - Fork 0
/
log.txt
157 lines (92 loc) · 10.5 KB
/
log.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
这是我的feature_selector_model.py文件，里面是特征选择方法的逻辑，参考https://github.com/WillKoehrsen/feature-selector这个项目，这个github项目里面用了五种特征选择方法，我还没有完全实现，在进行feature_selection_dialog.py文件的创作前，先完成这个，同时，我希望能够有不只五种特征选择方法，你再帮我再添加几个更加通用的，对大部分数据都适用的特征选择方法， 特征选择方法设置我希望实现这样的效果：
在 Settings 菜单中提供一个窗口，允许用户选择1至多个特征选择方法。
每添加一个特征选择方法，下方会显示该方法的参数（如果有的话），并允许用户进行修改。
提供一个保存设置的功能。
QTableWidget 是一个功能强大的组件，可以实现许多交互式功能。除了上述的功能，我们还可以考虑以下扩展：
上下文菜单：为表格添加一个右键菜单，该菜单可以包含常见的操作，如复制、粘贴、删除行等。
条件格式化：根据单元格的内容，更改其颜色或字体。例如，如果一个数字值超过了一个阈值，我们可以使其变为红色。
数据验证：对于可编辑的单元格，我们可以在用户输入数据时进行验证。例如，确保某个字段只接受数字。
数据分页：如果数据量很大，一次性加载所有数据可能会影响性能。我们可以考虑实现数据的分页功能。
数据的图形化表示：可以为选定的数据添加图形化表示，如柱状图、饼图等。
高级过滤：除了简单的搜索功能，我们还可以为表格添加高级过滤功能，例如按日期范围或数字范围过滤。
拖放功能：允许用户通过拖放来重新排序行或列。
导出功能：允许用户将表格的内容导出为Excel、CSV或其他格式。
单元格的合并和拆分。
行和列的隐藏和显示。
列的冻结：当用户滚动表格时，某些列（如索引列）始终保持可见。
1. 特征选择增强
从提供的链接中，我们可以看到该工具支持多种特征选择方法。因此，我们可以增加以下功能：
多种特征选择方法：添加下拉列表或选项卡，允许用户选择不同的特征选择方法，如缺失值、单变量特征选择、零重要性特征等。
参数配置：为每种方法提供参数配置界面，例如为单变量特征选择设置阈值。
显示结果：在不同的文本框或标签中显示结果，如被删除的特征、保留的特征等。
2. 绘图功能
特征重要性图：显示特征的重要性得分。
缺失值图：可视化每个特征的缺失值。
相关性热图：显示特征之间的相关性。
3. UI/UX增强
主题切换：允许用户切换不同的界面主题，如暗色主题和亮色主题。
布局调整：采用面板或分隔条的布局，使界面更像IDE。例如，左侧是功能面板，右侧是显示区域。
状态栏：在底部添加状态栏，显示当前操作的状态或进度。
工具提示：为每个控件添加工具提示，解释其功能。
4. 其他可扩展功能
数据预览：在加载数据后，提供一个简单的数据预览。
导出报告：允许用户导出特征选择的结果报告，可能包括图形。
实时日志：显示特征选择过程中的实时日志。
多语言支持：提供多种语言的界面
代码模块化: 尽管代码已经按照MVC架构进行了组织，但某些文件可能进一步细分以增加可读性。例如，视图文件可以分为多个小部件类，每个类代表一个界面组件。
参数化和配置: 特征选择的参数和阈值可以从硬编码转移到配置文件或者提供一个设置界面，允许用户更灵活地调整参数。
错误处理和验证: 增加更多的错误处理和输入验证可以增强程序的稳定性和用户友好性。例如，在加载数据或执行特征选择时捕获和处理可能的异常。
绘图和可视化: 你提到了未来想要添加的绘图功能。将特征选择的结果可视化，可以增加用户对数据和选择过程的理解。
文档和注释: 在代码中添加更多的注释和文档可以帮助其他开发人员或未来的自己更容易理解和维护代码。
单元测试: 创建单元测试以验证模型和控制器的关键功能可以提高代码质量和可维护性。
主题和可访问性: 虽然已经有了两个主题，但进一步的个性化和可访问性选项（如字体大小调整，颜色对比等）可以增加应用程序的可用性。
性能优化: 如果处理大型数据集，则可以考虑某些性能优化，例如数据加载和处理的效率。
用户指导和教程: 为用户提供一些指导和教程，以帮助他们更有效地使用工具。
国际化和本地化: 如果预计有来自不同地区和语言背景的用户，可以考虑添加多语言支持。
扩展性: 考虑将特征选择方法设计为插件或模块化形式，以便于未来添加新的特征选择算法。
更多的特征选择方法: 可以考虑添加更多的特征选择算法，如基于信息增益、互信息、递归消除等。
数据预处理选项: 提供数据清洗和预处理选项，例如填充缺失值、标准化和归一化等。
可视化工具: 为选定的特征创建可视化图表，如散点图、相关性热图、箱线图等，以便用户更好地理解数据。
导出功能: 允许用户将选择的特征、统计数据或图表导出为CSV、Excel或图像格式。
批量处理: 允许用户一次选择和处理多个数据文件。
插件或扩展支持: 设计一个插件系统，允许第三方开发人员或用户自己添加新的特征选择方法或其他功能。
模型训练和验证集成: 除了特征选择外，也可以集成一些常用的机器学习模型训练和验证功能，使工具成为一个端到端的解决方案。
并行和分布式计算支持: 对于大型数据集，可以考虑利用多核或分布式计算资源来加速特征选择和处理。
在线版本: 考虑创建一个Web版本的工具，允许用户在线上传、选择特征和下载结果。
用户配置文件: 允许用户保存和加载配置文件，以便于他们在不同会话或项目之间共享特征选择的设置。
无监督特征选择: 添加对无监督学习的特征选择方法的支持，以便在没有标签的情况下进行特征选择。
自动报告生成: 创建一个报告生成功能，自动总结特征选择的结果和统计信息，以便于呈现和共享。
教育和指导资源: 内置教程和指导，以帮助新用户理解特征选择的概念和如何使用工具。
访问和分享功能: 为团队合作添加访问控制和分享功能，允许团队成员共享和协作处理特征选择任务。
实时更新和反馈: 在执行特征选择或其他计算密集型任务时，提供实时进度和反馈。
2. 指定Target和进度显示
指定Target
在列头上添加右键菜单或单击事件，允许用户选择目标列。
高亮所选列并在模型中存储目标信息。
如果用户没有选择目标，可以在运行时弹出一个选择窗口。
进度显示
可以使用QProgressBar显示特征选择的进度。
根据特征选择算法的执行阶段更新进度条。
3. 结果框的展示
显示特征选择结果
在结果框中显示特征子集的数量、删除的特征、评分等专业数据。
使用QTableWidget或QTableView展示特征子集数据。
如果数据超过1000行，可以在表格底部添加一个标签提醒用户。
结果格式
考虑以表格或其他结构化格式展示结果，以便用户快速理解和分析。
提供一些基本的数据统计和可视化，例如特征的分布、重要性排名等。
这是我目前所有代码，feature_selector_model.py文件在models文件夹，feature_selector_controller.py文件在controllers文件夹，剩下的都是views文件夹，然后main.py文件独立出来，用于调用主程序，你先[仔细][阅读]所有代码，了解我目前的实现程度和逻辑。\
我这个gui程序主要是参考这个程序编写的，请你仔细阅读，并了解它的实现（特征选择方法、结果、绘图、数据处理等）
你再仔细阅读它的绘图如何实现的，因为我主要是仿照他的代码来完成我的gui程序的，特征选择方法大部分也与他相同，只不过现在是gui程序，所以你得思考该如何将这些绘图逻辑拓展到我目前的gui程序里面
现在返回结果是执行完后一次性全部返回，而我想要的效果是每处理完一个方法，就返回该方法的相关信息，最后处理完所有方法后，返回一个最终结果，需要controller和views相关函数的修改，以及model逻辑的修改，你有什么办法吗
这个我需要稍微修改一下，因为用户可以有多种选择，而不是选择某一个或者全部方法去除，所以要根据前端传来的参数一个一个去除，每处理完一个方法，就返回该方法的相关信息，最后处理完所有方法后，返回一个最终结果
这是我目前的model类，每个方法的函数都自动返回特征子集的特征，其实与Feature Selector Development.ipynb文件有所出入，他的每个方法都返回需要去除的特征和不同的details,然后有一个专门的remove_features（包含处理独热编码的逻辑）来去除特征，我现在也想采用方法，每个方法返回需要去除的特征和相关信息，去除特征专门使用一个函数来进行。同时初始化时定义了这些变量：# Dataframes recording information about features to remove
self.record_missing = None
self.record_single_unique = None
self.record_collinear = None
self.record_zero_importance = None
self.record_low_importance = None
self.feature_importances = None
# Dictionary to hold removal operations
self.removal_ops = {}， 我觉得这些变量确实也需要添加，因为后续画图功能需要使用到这些变量。 同时，目前的逻辑是在所有的方法都处理完得出一个最终结果来一次性展示给用户，我现在想要的效果是每处理完一个方法，就返回该方法的相关信息（不同方法不一样，你可以看Feature selector Development.ipnb 的具体实现),最后处理完所有方法后，返回一个最终结果
请你仔细阅读我的feature_selector_controller.py文件，帮我完成plotting_controller的调用，并给我修改后的代码