Develop/AIclinicalresearch
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
89 Commits 1 Branch 0 Tags
f729699510bab0e0e7e4ec9d4098341ab7d33be8
Commit Graph

5 Commits

Author SHA1 Message Date
HaHafeng
f729699510 feat(dc): Complete Tool C quick action buttons Phase 1-2 - 7 functions 
Summary:
- Implement 7 quick action functions (filter, recode, binning, conditional, dropna, compute, pivot)
- Refactor to pre-written Python functions architecture (stable and secure)
- Add 7 Python operations modules with full type hints
- Add 7 frontend Dialog components with user-friendly UI
- Fix NaN serialization issues and auto type conversion
- Update all related documentation

Technical Details:
- Python: operations/ module (filter.py, recode.py, binning.py, conditional.py, dropna.py, compute.py, pivot.py)
- Backend: QuickActionService.ts with 7 execute methods
- Frontend: 7 Dialog components with complete validation
- Toolbar: Enable 7 quick action buttons

Status: Phase 1-2 completed, basic testing passed, ready for further testing
 2025-12-08 17:38:08 +08:00
HaHafeng
af325348b8 feat(dc): Complete Tool C Day 5 - AI Chat + Ant Design X Integration 
Summary:
- Upgrade to Ant Design 6.0.1 + install Ant Design X (2.1.0) + X SDK (2.1.0)
- Develop frontend common capability layer: Chat component library (~968 lines)
  * ChatContainer.tsx - Core container component
  * MessageRenderer.tsx - Message renderer
  * CodeBlockRenderer.tsx - Code block renderer with syntax highlighting
  * Complete TypeScript types and documentation
- Integrate ChatContainer into Tool C
- Fix 7 critical UI issues:
  * AG Grid module registration error
  * UI refinement (borders, shadows, gradients)
  * Add AI welcome message
  * Auto-clear input field after sending
  * Remove page scrollbars
  * Manual code execution (not auto-run)
  * Support simple Q&A (new /ai/chat API)
- Complete end-to-end testing
- Update all documentation (4 status docs + 6 dev logs)

Technical Stack:
- Frontend: React 19 + Ant Design 6.0 + Ant Design X 2.1
- Components: Bubble, Sender from @ant-design/x
- Total code: ~5418 lines

Status: Tool C MVP completed, production ready
 2025-12-07 22:02:14 +08:00
HaHafeng
2c7ed94161 feat(dc/tool-c): 完成前端基础框架（Day 4 MVP） 
核心功能：
- 新增Tool C主入口（index.tsx, 258行）：状态管理+布局
- 新增Header组件（91行）：顶栏+返回按钮+导出
- 新增Toolbar组件（104行）：7个快捷按钮+搜索框
- 新增DataGrid组件（111行）：AG Grid Community集成
- 新增Sidebar组件（149行）：右侧栏骨架版
- 新增API封装（toolC.ts, 218行）：8个API方法
- 新增类型定义（types/index.ts, 62行）

AG Grid集成：
- 安装ag-grid-community + ag-grid-react
- Excel风格表格渲染
- 列排序、过滤、调整宽度
- 缺失值高亮显示（红色斜体）
- 数值右对齐
- 自定义Emerald绿色主题（ag-grid-custom.css, 113行）
- 虚拟滚动支持大数据

路由配置：
- 更新dc/index.tsx：新增ToolCModule懒加载
- 更新Portal.tsx：Tool C状态改为ready
- 路径：/data-cleaning/tool-c

API封装（8个方法）：
- uploadFile（上传CSV/Excel）
- getSession（获取Session元数据）
- getPreviewData（获取预览数据）
- updateHeartbeat（延长10分钟）
- generateCode（生成代码，不执行）
- executeCode（执行代码）
- processMessage（生成+执行，一步到位）核心API
- getChatHistory（对话历史）

文档更新：
- 新增Day 4前端基础完成总结（213行）
- 更新工具C当前状态文档
- 更新TODO清单（Day 1-4标记完成）
- 更新系统总体设计文档

测试数据准备：
- cqol-demo.csv（21列x313行真实医疗数据）
- G鼓膜穿孔数据.xlsx（备用）

Day 5待完成：
- MessageItem组件（消息渲染）
- CodeBlock组件（Prism.js代码高亮）
- InputArea组件（输入框交互）
- InsightsPanel组件（数据洞察）
- 完善Sidebar（完整Chat交互）
- 端到端测试

影响范围：
- frontend-v2/src/modules/dc/pages/tool-c/*（新增11个文件）
- frontend-v2/src/modules/dc/api/toolC.ts（新增）
- frontend-v2/src/modules/dc/index.tsx（更新路由）
- frontend-v2/src/modules/dc/pages/Portal.tsx（启用Tool C）
- docs/03-业务模块/DC-数据清洗整理/*（文档更新）
- package.json（新增依赖）

Breaking Changes: 无

总代码行数：+1106行（前端基础框架）

Refs: #Tool-C-Day4
 2025-12-07 17:40:07 +08:00
HaHafeng
f01981bf78 feat(dc/tool-c): 完成AI代码生成服务（Day 3 MVP） 
核心功能：
- 新增AICodeService（550行）：AI代码生成核心服务
- 新增AIController（257行）：4个API端点
- 新增dc_tool_c_ai_history表：存储对话历史
- 实现自我修正机制：最多3次智能重试
- 集成LLMFactory：复用通用能力层
- 10个Few-shot示例：覆盖Level 1-4场景

技术优化：
- 修复NaN序列化问题（Python端转None）
- 修复数据传递问题（从Session获取真实数据）
- 优化System Prompt（明确环境信息）
- 调整Few-shot示例（移除import语句）

测试结果：
- 通过率：9/11（81.8%） 达到MVP标准
- 成功场景：缺失值处理、编码、分箱、BMI、筛选、填补、统计、分类
- 待优化：数值清洗、智能去重（已记录技术债务TD-C-006）

API端点：
- POST /api/v1/dc/tool-c/ai/generate（生成代码）
- POST /api/v1/dc/tool-c/ai/execute（执行代码）
- POST /api/v1/dc/tool-c/ai/process（生成并执行，一步到位）
- GET /api/v1/dc/tool-c/ai/history/:sessionId（对话历史）

文档更新：
- 新增Day 3开发完成总结（770行）
- 新增复杂场景优化技术债务（TD-C-006）
- 更新工具C当前状态文档
- 更新技术债务清单

影响范围：
- backend/src/modules/dc/tool-c/*（新增2个文件，更新1个文件）
- backend/scripts/create-tool-c-ai-history-table.mjs（新增）
- backend/prisma/schema.prisma（新增DcToolCAiHistory模型）
- extraction_service/services/dc_executor.py（NaN序列化修复）
- docs/03-业务模块/DC-数据清洗整理/*（5份文档更新）

Breaking Changes: 无

总代码行数：+950行

Refs: #Tool-C-Day3
 2025-12-07 16:21:32 +08:00
HaHafeng
2348234013 feat(dc/tool-c): Day 2 - Session管理与数据处理完成 
核心功能:
- 数据库: 创建dc_tool_c_sessions表 (12字段, 3索引)
- 服务层: SessionService (383行), DataProcessService (303行)
- 控制器: SessionController (300行, 6个API端点)
- 路由: 新增6个Session管理路由
- 测试: 7个API测试全部通过 (100%)

技术亮点:
- 零落盘架构: Excel内存解析, OSS存储
- Session管理: 10分钟过期, 心跳延长机制
- 云原生规范: storage/logger/prisma全平台复用
- 完整测试: 上传/预览/完整数据/删除/心跳

文件清单:
- backend/prisma/schema.prisma (新增DcToolCSession模型)
- backend/prisma/migrations/create_tool_c_session.sql
- backend/scripts/create-tool-c-table.mjs
- backend/src/modules/dc/tool-c/services/ (SessionService, DataProcessService)
- backend/src/modules/dc/tool-c/controllers/SessionController.ts
- backend/src/modules/dc/tool-c/routes/index.ts
- backend/test-tool-c-day2.mjs
- docs/03-业务模块/DC-数据清洗整理/00-工具C当前状态与开发指南.md
- docs/03-业务模块/DC-数据清洗整理/06-开发记录/2025-12-06_工具C_Day2开发完成总结.md

代码统计: ~1900行
测试结果: 7/7 通过 (100%)
云原生规范: 完全符合
 2025-12-06 22:12:47 +08:00