HaHafeng
75ceeb0653
Critical fixes: 1. Compute column: Add Chinese comma support in formula validation - Problem: Formula with Chinese comma failed validation - Fix: Add Chinese comma character to allowed_chars regex - Example: Support formulas like 'col1（kg）+ col2，col3' 2. Binning operation: Fix NaN serialization error - Problem: 'Out of range float values are not JSON compliant: nan' - Fix: Enhanced NaN/inf handling in binning endpoint - Added np.inf/-np.inf replacement before JSON serialization - Added manual JSON serialization with NaN->null conversion 3. Enhanced all operation endpoints for consistency - Updated conditional, dropna endpoints with same NaN/inf handling - Ensures all operations return JSON-compliant data Modified files: - extraction_service/operations/compute.py: Add Chinese comma to regex - extraction_service/main.py: Enhanced NaN handling in binning/conditional/dropna Status: Hotfix complete, ready for testing
DC - 数据清洗整理
模块代号： DC (Data Cleaning)
开发状态： ⏳ 规划中
商业价值： ⭐⭐⭐⭐⭐ 可独立售卖
独立性： ⭐⭐⭐⭐⭐
优先级： P1
📋 模块概述
数据清洗整理模块提供专业工具，处理医院导出的海量（百万行级）、多表格的Excel数据。
核心价值： 核心差异化功能，解决医学科研痛点
🎯 核心功能
1. 表格ETL（重点）
- 多张Excel表格导入
- 按"患者ID"和"时间"自动JOIN
- 重组为干净的分析宽表
2. 文本提取（NER）（重点）
- 从病理报告提取结构化字段
- 从住院小结提取关键信息
- TNM分期自动识别
3. 数据质量报告
- 缺失值统计
- 异常值检测
- 数据质量评分
4. 导出标准化数据
- Excel导出
- SPSS格式
- R语言格式
📂 文档结构
DC-数据清洗整理/
├── [AI对接] DC快速上下文.md # ⏳ 待创建
├── 00-项目概述/
│ └── 01-产品需求文档(PRD).md # ⏳ 待创建
├── 01-设计文档/
│ ├── 01-ETL引擎设计.md # ⏳ 待创建
│ └── 02-医学NLP设计.md # ⏳ 待创建
└── README.md # ✅ 当前文档
🔗 依赖的通用能力
- LLM网关 - 医学NER提取（云端版）
- 文档处理引擎 - Excel/Docx读取
- ETL引擎 - 数据清洗和转换
- 医学NLP引擎 - 实体识别（单机版）
🎯 商业模式
目标客户： 临床科室、数据管理员
售卖方式： 独立产品
定价策略： 按项目数或一次性License
⚠️ 技术难点
- 大数据处理 - 百万行数据的内存管理
- 隐私保护 - 单机版必须100%本地化
- NER准确率 - 医学术语复杂
最后更新： 2025-11-06
维护人： 技术架构师