Files

HaHafeng beb7f7f559 feat(asl): Implement full-text screening core LLM service and validation system (Day 1-3)

Core Components:
- PDFStorageService with Dify/OSS adapters
- LLM12FieldsService with Nougat-first + dual-model + 3-layer JSON parsing
- PromptBuilder for dynamic prompt assembly
- MedicalLogicValidator with 5 rules + fault tolerance
- EvidenceChainValidator for citation integrity
- ConflictDetectionService for dual-model comparison

Prompt Engineering:
- System Prompt (6601 chars, Section-Aware strategy)
- User Prompt template (PICOS context injection)
- JSON Schema (12 fields constraints)
- Cochrane standards (not loaded in MVP)

Key Innovations:
- 3-layer JSON parsing (JSON.parse + json-repair + code block extraction)
- Promise.allSettled for dual-model fault tolerance
- safeGetFieldValue for robust field extraction
- Mixed CN/EN token calculation

Integration Tests:
- integration-test.ts (full test)
- quick-test.ts (quick test)
- cached-result-test.ts (fault tolerance test)

Documentation Updates:
- Development record (Day 2-3 summary)
- Quality assurance strategy (full-text screening)
- Development plan (progress update)
- Module status (v1.1 update)
- Technical debt (10 new items)

Test Results:
- JSON parsing success rate: 100%
- Medical logic validation: 5/5 passed
- Dual-model parallel processing: OK
- Cost per PDF: CNY 0.10

Files: 238 changed, 14383 insertions(+), 32 deletions(-)
Docs: docs/03-涓氬姟妯″潡/ASL-AI鏅鸿兘鏂囩尞/05-寮€鍙戣褰?2025-11-22_Day2-Day3_LLM鏈嶅姟涓庨獙璇佺郴缁熷紑鍙?md

2025-11-22 22:21:12 +08:00

2.0 KiB

Raw Blame History

DC - 数据清洗整理

模块代号： DC (Data Cleaning)
开发状态： ⏳ 规划中
商业价值： ⭐⭐⭐⭐⭐ 可独立售卖
独立性： ⭐⭐⭐⭐⭐
优先级： P1

📋 模块概述

数据清洗整理模块提供专业工具，处理医院导出的海量（百万行级）、多表格的Excel数据。

核心价值： 核心差异化功能，解决医学科研痛点

🎯 核心功能

1. 表格ETL（重点）

多张Excel表格导入
按"患者ID"和"时间"自动JOIN
重组为干净的分析宽表

2. 文本提取（NER）（重点）

从病理报告提取结构化字段
从住院小结提取关键信息
TNM分期自动识别

3. 数据质量报告

缺失值统计
异常值检测
数据质量评分

4. 导出标准化数据

Excel导出
SPSS格式
R语言格式

📂 文档结构

DC-数据清洗整理/
  ├── [AI对接] DC快速上下文.md       # ⏳ 待创建
  ├── 00-项目概述/
  │   └── 01-产品需求文档(PRD).md    # ⏳ 待创建
  ├── 01-设计文档/
  │   ├── 01-ETL引擎设计.md          # ⏳ 待创建
  │   └── 02-医学NLP设计.md          # ⏳ 待创建
  └── README.md                       # ✅ 当前文档

🔗 依赖的通用能力

LLM网关 - 医学NER提取（云端版）
文档处理引擎 - Excel/Docx读取
ETL引擎 - 数据清洗和转换
医学NLP引擎 - 实体识别（单机版）

🎯 商业模式

目标客户： 临床科室、数据管理员
售卖方式： 独立产品
定价策略： 按项目数或一次性License

⚠️ 技术难点

大数据处理 - 百万行数据的内存管理
隐私保护 - 单机版必须100%本地化
NER准确率 - 医学术语复杂

最后更新： 2025-11-06
维护人： 技术架构师

2.0 KiB Raw Blame History Unescape Escape