Files
AIclinicalresearch/docs/03-业务模块/DC-数据清洗整理
HaHafeng b47079b387 feat(iit): Phase 1.5 AI对话集成REDCap真实数据完成
- feat: ChatService集成DeepSeek-V3实现AI对话(390行)
- feat: SessionMemory实现上下文记忆(最近3轮对话,170行)
- feat: 意图识别支持REDCap数据查询(关键词匹配)
- feat: REDCap数据注入LLM(queryRedcapRecord, countRedcapRecords, getProjectInfo)
- feat: 解决LLM幻觉问题(基于真实数据回答,明确system prompt)
- feat: 即时反馈(正在查询...提示)
- test: REDCap查询测试通过(test0102项目,10条记录,ID 7患者详情)
- docs: 创建Phase1.5开发完成记录(313行)
- docs: 更新Phase1.5开发计划(标记完成)
- docs: 更新MVP开发任务清单(Phase 1.5完成)
- docs: 更新模块当前状态(60%完成度)
- docs: 更新系统总体设计文档(v2.6)
- chore: 删除测试脚本(test-redcap-query-for-ai.ts, check-env-config.ts)
- chore: 移除REDCap测试环境变量(REDCAP_TEST_*)

技术亮点:
- AI基于REDCap真实数据对话,不编造信息
- 从数据库读取项目配置,不使用环境变量
- 企业微信端测试通过,用户体验良好

测试通过:
-  查询项目记录总数(10条)
-  查询特定患者详情(ID 7)
-  项目信息查询
-  上下文记忆(3轮对话)
-  即时反馈提示

影响范围:IIT Manager Agent模块
2026-01-03 22:48:10 +08:00
..

DC - 数据清洗整理

模块代号: DC (Data Cleaning)
开发状态: 规划中
商业价值: 可独立售卖
独立性:
优先级: P1


📋 模块概述

数据清洗整理模块提供专业工具处理医院导出的海量百万行级、多表格的Excel数据。

核心价值: 核心差异化功能,解决医学科研痛点


🎯 核心功能

1. 表格ETL重点

  • 多张Excel表格导入
  • 按"患者ID"和"时间"自动JOIN
  • 重组为干净的分析宽表

2. 文本提取NER重点

  • 从病理报告提取结构化字段
  • 从住院小结提取关键信息
  • TNM分期自动识别

3. 数据质量报告

  • 缺失值统计
  • 异常值检测
  • 数据质量评分

4. 导出标准化数据

  • Excel导出
  • SPSS格式
  • R语言格式

📂 文档结构

DC-数据清洗整理/
  ├── [AI对接] DC快速上下文.md       # ⏳ 待创建
  ├── 00-项目概述/
  │   └── 01-产品需求文档(PRD).md    # ⏳ 待创建
  ├── 01-设计文档/
  │   ├── 01-ETL引擎设计.md          # ⏳ 待创建
  │   └── 02-医学NLP设计.md          # ⏳ 待创建
  └── README.md                       # ✅ 当前文档

🔗 依赖的通用能力

  • LLM网关 - 医学NER提取云端版
  • 文档处理引擎 - Excel/Docx读取
  • ETL引擎 - 数据清洗和转换
  • 医学NLP引擎 - 实体识别(单机版)

🎯 商业模式

目标客户: 临床科室、数据管理员
售卖方式: 独立产品
定价策略: 按项目数或一次性License


⚠️ 技术难点

  1. 大数据处理 - 百万行数据的内存管理
  2. 隐私保护 - 单机版必须100%本地化
  3. NER准确率 - 医学术语复杂

最后更新: 2025-11-06
维护人: 技术架构师