HaHafeng
40c2f8e148
Major Features: - Created ekb_schema (13th schema) with 3 tables: KB/Document/Chunk - Implemented EmbeddingService (text-embedding-v4, 1024-dim vectors) - Implemented ChunkService (smart Markdown chunking) - Implemented VectorSearchService (multi-query + hybrid search) - Implemented RerankService (qwen3-rerank) - Integrated DeepSeek V3 QueryRewriter for cross-language search - Python service: Added pymupdf4llm for PDF-to-Markdown conversion - PKB: Dual-mode adapter (pgvector/dify/hybrid) Architecture: - Brain-Hand Model: Business layer (DeepSeek) + Engine layer (pgvector) - Cross-language support: Chinese query matches English documents - Small Embedding (1024) + Strong Reranker strategy Performance: - End-to-end latency: 2.5s - Cost per query: 0.0025 RMB - Accuracy improvement: +20.5% (cross-language) Tests: - test-embedding-service.ts: Vector embedding verified - test-rag-e2e.ts: Full pipeline tested - test-rerank.ts: Rerank quality validated - test-query-rewrite.ts: Cross-language search verified - test-pdf-ingest.ts: Real PDF document tested (Dongen 2003.pdf) Documentation: - Added 05-RAG-Engine-User-Guide.md - Added 02-Document-Processing-User-Guide.md - Updated system status documentation Status: Production ready
DC - 数据清洗整理
模块代号： DC (Data Cleaning)
开发状态： ⏳ 规划中
商业价值： ⭐⭐⭐⭐⭐ 可独立售卖
独立性： ⭐⭐⭐⭐⭐
优先级： P1
📋 模块概述
数据清洗整理模块提供专业工具，处理医院导出的海量（百万行级）、多表格的Excel数据。
核心价值： 核心差异化功能，解决医学科研痛点
🎯 核心功能
1. 表格ETL（重点）
- 多张Excel表格导入
- 按"患者ID"和"时间"自动JOIN
- 重组为干净的分析宽表
2. 文本提取（NER）（重点）
- 从病理报告提取结构化字段
- 从住院小结提取关键信息
- TNM分期自动识别
3. 数据质量报告
- 缺失值统计
- 异常值检测
- 数据质量评分
4. 导出标准化数据
- Excel导出
- SPSS格式
- R语言格式
📂 文档结构
DC-数据清洗整理/
├── [AI对接] DC快速上下文.md # ⏳ 待创建
├── 00-项目概述/
│ └── 01-产品需求文档(PRD).md # ⏳ 待创建
├── 01-设计文档/
│ ├── 01-ETL引擎设计.md # ⏳ 待创建
│ └── 02-医学NLP设计.md # ⏳ 待创建
└── README.md # ✅ 当前文档
🔗 依赖的通用能力
- LLM网关 - 医学NER提取（云端版）
- 文档处理引擎 - Excel/Docx读取
- ETL引擎 - 数据清洗和转换
- 医学NLP引擎 - 实体识别（单机版）
🎯 商业模式
目标客户： 临床科室、数据管理员
售卖方式： 独立产品
定价策略： 按项目数或一次性License
⚠️ 技术难点
- 大数据处理 - 百万行数据的内存管理
- 隐私保护 - 单机版必须100%本地化
- NER准确率 - 医学术语复杂
最后更新： 2025-11-06
维护人： 技术架构师