Develop/AIclinicalresearch
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
110 Commits 1 Branch 0 Tags
38d9bf99d604fc7dd9e96da527edd86a0c3b60c9
Commit Graph

9 Commits

Author SHA1 Message Date
HaHafeng
4c6eaaecbf feat(dc): Implement Postgres-Only async architecture and performance optimization 
Summary:
- Implement async file upload processing (Platform-Only pattern)
- Add parseExcelWorker with pg-boss queue
- Implement React Query polling mechanism
- Add clean data caching (avoid duplicate parsing)
- Fix pivot single-value column tuple issue
- Optimize performance by 99 percent

Technical Details:

1. Async Architecture (Postgres-Only):
   - SessionService.createSession: Fast upload + push to queue (3s)
   - parseExcelWorker: Background parsing + save clean data (53s)
   - SessionController.getSessionStatus: Status query API for polling
   - React Query Hook: useSessionStatus (auto-serial polling)
   - Frontend progress bar with real-time feedback

2. Performance Optimization:
   - Clean data caching: Worker saves processed data to OSS
   - getPreviewData: Read from clean data cache (0.5s vs 43s, -99 percent)
   - getFullData: Read from clean data cache (0.5s vs 43s, -99 percent)
   - Intelligent cleaning: Boundary detection + ghost column/row removal
   - Safety valve: Max 3000 columns, 5M cells

3. Bug Fixes:
   - Fix pivot column name tuple issue for single value column
   - Fix queue name format (colon to underscore: asl:screening -> asl_screening)
   - Fix polling storm (15+ concurrent requests -> 1 serial request)
   - Fix QUEUE_TYPE environment variable (memory -> pgboss)
   - Fix logger import in PgBossQueue
   - Fix formatSession to return cleanDataKey
   - Fix saveProcessedData to update clean data synchronously

4. Database Changes:
   - ALTER TABLE dc_tool_c_sessions ADD COLUMN clean_data_key VARCHAR(1000)
   - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_rows DROP NOT NULL
   - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_cols DROP NOT NULL
   - ALTER TABLE dc_tool_c_sessions ALTER COLUMN columns DROP NOT NULL

5. Documentation:
   - Create Postgres-Only async task processing guide (588 lines)
   - Update Tool C status document (Day 10 summary)
   - Update DC module status document
   - Update system overview document
   - Update cloud-native development guide

Performance Improvements:
- Upload + preview: 96s -> 53.5s (-44 percent)
- Filter operation: 44s -> 2.5s (-94 percent)
- Pivot operation: 45s -> 2.5s (-94 percent)
- Concurrent requests: 15+ -> 1 (-93 percent)
- Complete workflow (upload + 7 ops): 404s -> 70.5s (-83 percent)

Files Changed:
- Backend: 15 files (Worker, Service, Controller, Schema, Config)
- Frontend: 4 files (Hook, Component, API)
- Docs: 4 files (Guide, Status, Overview, Spec)
- Database: 4 column modifications
- Total: ~1388 lines of new/modified code

Status: Fully tested and verified, production ready
 2025-12-22 21:30:31 +08:00
HaHafeng
9b81aef9a7 feat(dc): Add multi-metric transformation feature (direction 1+2) 
Summary:
- Implement intelligent multi-metric grouping detection algorithm
- Add direction 1: timepoint-as-row, metric-as-column (analysis format)
- Add direction 2: timepoint-as-column, metric-as-row (display format)
- Fix column name pattern detection (FMA___ issue)
- Maintain original Record ID order in output
- Add full-select/clear buttons in UI
- Integrate into TransformDialog with Radio selection
- Update 3 documentation files

Technical Details:
- Python: detect_metric_groups(), apply_multi_metric_to_long(), apply_multi_metric_to_matrix()
- Backend: 3 new methods in QuickActionService
- Frontend: MultiMetricPanel.tsx (531 lines)
- Total: ~1460 lines of new code

Status: Fully tested and verified, ready for production
 2025-12-21 15:06:15 +08:00
HaHafeng
200eab5c2e feat(dc-tool-c): Tool C UX重大改进 - 列头筛选/行号/滚动条/全量数据 
新功能
- 列头筛选：Excel风格筛选功能（Community版本，中文本地化，显示唯一值及计数）
- 行号列：添加固定行号列（#列头，灰色背景，左侧固定）
- 全量数据加载：不再限制50行预览，Session加载全量数据
- 全量数据返回：所有快速操作（筛选/映射/分箱/条件/删NA/计算/Pivot）全量返回结果

 Bug修复
- 滚动条终极修复：修改MainLayout为固定高度（h-screen + overflow-hidden），整个浏览器窗口无滚动条，只有AG Grid内部滚动
- 计算列全角字符修复：自动转换中文括号等全角字符为半角
- 计算列特殊字符列名修复：完善列别名机制，支持任意特殊字符列名

 UI优化
- 删除'表格仅展示前50行'提示条，减少干扰
- 筛选对话框美化：白色背景，圆角，阴影
- 列头筛选图标优化：清晰可见，易于点击

 文档更新
- 工具C_功能按钮开发计划_V1.0.md：添加V1.5版本记录
- 工具C_MVP开发_TODO清单.md：添加Day 8 UX优化内容
- 00-工具C当前状态与开发指南.md：更新进度为98%
- 00-模块当前状态与开发指南.md：更新DC模块状态
- 00-系统当前状态与开发指南.md：更新系统整体状态

 影响范围
- Python微服务：无修改
- Node.js后端：5处代码修改（SessionService + QuickActionController + AICodeService）
- 前端：MainLayout + DataGrid + ag-grid-custom.css + index.tsx
- 完成度：Tool C整体完成度提升至98%

 代码统计
- 修改文件：~15个文件
- 新增行数：~200行
- 修改行数：~150行

Co-authored-by: AI Assistant <assistant@example.com>
 2025-12-10 18:02:42 +08:00
HaHafeng
74cf346453 feat(dc/tool-c): Add missing value imputation feature with 6 methods and MICE 
Major features:
1. Missing value imputation (6 simple methods + MICE):
   - Mean/Median/Mode/Constant imputation
   - Forward fill (ffill) and Backward fill (bfill) for time series
   - MICE multivariate imputation (in progress, shape issue to fix)

2. Auto precision detection:
   - Automatically match decimal places of original data
   - Prevent false precision (e.g. 13.57 instead of 13.566716417910449)

3. Categorical variable detection:
   - Auto-detect and skip categorical columns in MICE
   - Show warnings for unsuitable columns
   - Suggest mode imputation for categorical data

4. UI improvements:
   - Rename button: "Delete Missing" to "Missing Value Handling"
   - Remove standalone "Dedup" and "MICE" buttons
   - 3-tab dialog: Delete / Fill / Advanced Fill
   - Display column statistics and recommended methods
   - Extended warning messages (8 seconds for skipped columns)

5. Bug fixes:
   - Fix sessionService.updateSessionData -> saveProcessedData
   - Fix OperationResult interface (add message and stats)
   - Fix Toolbar button labels and removal

Modified files:
Python: operations/fillna.py (new, 556 lines), main.py (3 new endpoints)
Backend: QuickActionService.ts, QuickActionController.ts, routes/index.ts
Frontend: MissingValueDialog.tsx (new, 437 lines), Toolbar.tsx, index.tsx
Tests: test_fillna_operations.py (774 lines), test scripts and docs
Docs: 5 documentation files updated

Known issues:
- MICE imputation has DataFrame shape mismatch issue (under debugging)
- Workaround: Use 6 simple imputation methods first

Status: Development complete, MICE debugging in progress
Lines added: ~2000 lines across 3 tiers
 2025-12-10 13:06:00 +08:00
HaHafeng
f729699510 feat(dc): Complete Tool C quick action buttons Phase 1-2 - 7 functions 
Summary:
- Implement 7 quick action functions (filter, recode, binning, conditional, dropna, compute, pivot)
- Refactor to pre-written Python functions architecture (stable and secure)
- Add 7 Python operations modules with full type hints
- Add 7 frontend Dialog components with user-friendly UI
- Fix NaN serialization issues and auto type conversion
- Update all related documentation

Technical Details:
- Python: operations/ module (filter.py, recode.py, binning.py, conditional.py, dropna.py, compute.py, pivot.py)
- Backend: QuickActionService.ts with 7 execute methods
- Frontend: 7 Dialog components with complete validation
- Toolbar: Enable 7 quick action buttons

Status: Phase 1-2 completed, basic testing passed, ready for further testing
 2025-12-08 17:38:08 +08:00
HaHafeng
af325348b8 feat(dc): Complete Tool C Day 5 - AI Chat + Ant Design X Integration 
Summary:
- Upgrade to Ant Design 6.0.1 + install Ant Design X (2.1.0) + X SDK (2.1.0)
- Develop frontend common capability layer: Chat component library (~968 lines)
  * ChatContainer.tsx - Core container component
  * MessageRenderer.tsx - Message renderer
  * CodeBlockRenderer.tsx - Code block renderer with syntax highlighting
  * Complete TypeScript types and documentation
- Integrate ChatContainer into Tool C
- Fix 7 critical UI issues:
  * AG Grid module registration error
  * UI refinement (borders, shadows, gradients)
  * Add AI welcome message
  * Auto-clear input field after sending
  * Remove page scrollbars
  * Manual code execution (not auto-run)
  * Support simple Q&A (new /ai/chat API)
- Complete end-to-end testing
- Update all documentation (4 status docs + 6 dev logs)

Technical Stack:
- Frontend: React 19 + Ant Design 6.0 + Ant Design X 2.1
- Components: Bubble, Sender from @ant-design/x
- Total code: ~5418 lines

Status: Tool C MVP completed, production ready
 2025-12-07 22:02:14 +08:00
HaHafeng
2c7ed94161 feat(dc/tool-c): 完成前端基础框架（Day 4 MVP） 
核心功能：
- 新增Tool C主入口（index.tsx, 258行）：状态管理+布局
- 新增Header组件（91行）：顶栏+返回按钮+导出
- 新增Toolbar组件（104行）：7个快捷按钮+搜索框
- 新增DataGrid组件（111行）：AG Grid Community集成
- 新增Sidebar组件（149行）：右侧栏骨架版
- 新增API封装（toolC.ts, 218行）：8个API方法
- 新增类型定义（types/index.ts, 62行）

AG Grid集成：
- 安装ag-grid-community + ag-grid-react
- Excel风格表格渲染
- 列排序、过滤、调整宽度
- 缺失值高亮显示（红色斜体）
- 数值右对齐
- 自定义Emerald绿色主题（ag-grid-custom.css, 113行）
- 虚拟滚动支持大数据

路由配置：
- 更新dc/index.tsx：新增ToolCModule懒加载
- 更新Portal.tsx：Tool C状态改为ready
- 路径：/data-cleaning/tool-c

API封装（8个方法）：
- uploadFile（上传CSV/Excel）
- getSession（获取Session元数据）
- getPreviewData（获取预览数据）
- updateHeartbeat（延长10分钟）
- generateCode（生成代码，不执行）
- executeCode（执行代码）
- processMessage（生成+执行，一步到位）核心API
- getChatHistory（对话历史）

文档更新：
- 新增Day 4前端基础完成总结（213行）
- 更新工具C当前状态文档
- 更新TODO清单（Day 1-4标记完成）
- 更新系统总体设计文档

测试数据准备：
- cqol-demo.csv（21列x313行真实医疗数据）
- G鼓膜穿孔数据.xlsx（备用）

Day 5待完成：
- MessageItem组件（消息渲染）
- CodeBlock组件（Prism.js代码高亮）
- InputArea组件（输入框交互）
- InsightsPanel组件（数据洞察）
- 完善Sidebar（完整Chat交互）
- 端到端测试

影响范围：
- frontend-v2/src/modules/dc/pages/tool-c/*（新增11个文件）
- frontend-v2/src/modules/dc/api/toolC.ts（新增）
- frontend-v2/src/modules/dc/index.tsx（更新路由）
- frontend-v2/src/modules/dc/pages/Portal.tsx（启用Tool C）
- docs/03-业务模块/DC-数据清洗整理/*（文档更新）
- package.json（新增依赖）

Breaking Changes: 无

总代码行数：+1106行（前端基础框架）

Refs: #Tool-C-Day4
 2025-12-07 17:40:07 +08:00
HaHafeng
f01981bf78 feat(dc/tool-c): 完成AI代码生成服务（Day 3 MVP） 
核心功能：
- 新增AICodeService（550行）：AI代码生成核心服务
- 新增AIController（257行）：4个API端点
- 新增dc_tool_c_ai_history表：存储对话历史
- 实现自我修正机制：最多3次智能重试
- 集成LLMFactory：复用通用能力层
- 10个Few-shot示例：覆盖Level 1-4场景

技术优化：
- 修复NaN序列化问题（Python端转None）
- 修复数据传递问题（从Session获取真实数据）
- 优化System Prompt（明确环境信息）
- 调整Few-shot示例（移除import语句）

测试结果：
- 通过率：9/11（81.8%） 达到MVP标准
- 成功场景：缺失值处理、编码、分箱、BMI、筛选、填补、统计、分类
- 待优化：数值清洗、智能去重（已记录技术债务TD-C-006）

API端点：
- POST /api/v1/dc/tool-c/ai/generate（生成代码）
- POST /api/v1/dc/tool-c/ai/execute（执行代码）
- POST /api/v1/dc/tool-c/ai/process（生成并执行，一步到位）
- GET /api/v1/dc/tool-c/ai/history/:sessionId（对话历史）

文档更新：
- 新增Day 3开发完成总结（770行）
- 新增复杂场景优化技术债务（TD-C-006）
- 更新工具C当前状态文档
- 更新技术债务清单

影响范围：
- backend/src/modules/dc/tool-c/*（新增2个文件，更新1个文件）
- backend/scripts/create-tool-c-ai-history-table.mjs（新增）
- backend/prisma/schema.prisma（新增DcToolCAiHistory模型）
- extraction_service/services/dc_executor.py（NaN序列化修复）
- docs/03-业务模块/DC-数据清洗整理/*（5份文档更新）

Breaking Changes: 无

总代码行数：+950行

Refs: #Tool-C-Day3
 2025-12-07 16:21:32 +08:00
HaHafeng
2348234013 feat(dc/tool-c): Day 2 - Session管理与数据处理完成 
核心功能:
- 数据库: 创建dc_tool_c_sessions表 (12字段, 3索引)
- 服务层: SessionService (383行), DataProcessService (303行)
- 控制器: SessionController (300行, 6个API端点)
- 路由: 新增6个Session管理路由
- 测试: 7个API测试全部通过 (100%)

技术亮点:
- 零落盘架构: Excel内存解析, OSS存储
- Session管理: 10分钟过期, 心跳延长机制
- 云原生规范: storage/logger/prisma全平台复用
- 完整测试: 上传/预览/完整数据/删除/心跳

文件清单:
- backend/prisma/schema.prisma (新增DcToolCSession模型)
- backend/prisma/migrations/create_tool_c_session.sql
- backend/scripts/create-tool-c-table.mjs
- backend/src/modules/dc/tool-c/services/ (SessionService, DataProcessService)
- backend/src/modules/dc/tool-c/controllers/SessionController.ts
- backend/src/modules/dc/tool-c/routes/index.ts
- backend/test-tool-c-day2.mjs
- docs/03-业务模块/DC-数据清洗整理/00-工具C当前状态与开发指南.md
- docs/03-业务模块/DC-数据清洗整理/06-开发记录/2025-12-06_工具C_Day2开发完成总结.md

代码统计: ~1900行
测试结果: 7/7 通过 (100%)
云原生规范: 完全符合
 2025-12-06 22:12:47 +08:00