AIclinicalresearch/docs/08-项目管理/01-知识库引擎架构设计_v1.2.md

知识库引擎架构设计

文档版本： v1.2 (架构审核优化版)
创建日期： 2026-01-20
最后更新： 2026-01-20
核心变更： 强调异步入库、中文检索方案、成本控制策略
能力定位： 通用能力层

📋 概述

能力定位

知识库引擎是平台的核心通用能力，提供知识库相关的基础能力（乐高积木），供业务模块根据场景自由组合。

⭐ 核心设计原则

┌─────────────────────────────────────────────────────────────┐
│ │
│ ✅ 提供基础能力（乐高积木） │
│ ❌ 不做策略选择（组装方案由业务模块决定） │
│ ⚡️ 入库必须异步（防止超时） │
│ 💰 提取按需开启（控制成本） │
│ │
└─────────────────────────────────────────────────────────────┘

🎯 基础能力清单 (API Definition)

1. 文档入库 (异步核心)

/**
* 文档入库任务提交
* @returns taskId - 用于轮询进度
*/
async function submitIngestTask(params: {
kbId: string;
file: Buffer;
options?: {
// 💰 成本控制开关
enableSummary?: boolean; // 是否生成摘要 (DeepSeek)
enableClinicalExtraction?: boolean; // 是否提取PICO (DeepSeek)
chunkSize?: number; // 切片大小
}
}): Promise<{ taskId: string }>;

/**
* 获取任务状态
*/
async function getIngestStatus(taskId: string): Promise<{
status: 'pending' | 'processing' | 'completed' | 'failed';
progress: number; // 0-100
error?: string;
}>;

2. 内容获取 (数据积木)

方法	说明	典型场景
getDocumentFullText(id)	获取 Markdown 全文	少量文档精读 (PKB)
getDocumentSummary(id)	获取 AI 生成的摘要	快速筛选 (AIA)
getClinicalData(id)	获取 PICO/JSON 结构化数据	药物评价 (ASL)

3. 检索能力 (搜索积木)

方法	说明	技术实现
vectorSearch(query, k)	语义检索	pgvector (HNSW)
keywordSearch(query, k)	关键词检索	pg_trgm (ILIKE) / tsvector
hybridSearch(query, k)	混合检索	RRF 融合算法
rerank(docs, query)	[新增] 重排序	Qwen-Rerank API

🏗️ 关键技术决策

1. 中文关键词检索方案

鉴于 PostgreSQL 默认分词对中文支持不佳，且 RDS 插件管理受限，采用 pg_trgm (Trigram) 方案。

• 优势：对模糊匹配（如 "帕博利珠" 匹配 "帕博利珠单抗"）效果极佳，配置简单。
• 实现：
  -- 开启插件
  CREATE EXTENSION IF NOT EXISTS pg_trgm;
  -- 创建索引
  CREATE INDEX trgm_idx ON "ekb_schema"."EkbChunk" USING gin (content gin_trgm_ops);
  -- 查询
  SELECT * FROM chunk WHERE content ILIKE '%关键词%';

2. 成本控制策略

• 默认行为：ingestDocument 默认只做 解析 + 切片 + 向量化。这是零 LLM 成本的。
• 高级行为：只有当 enableClinicalExtraction: true 时，才调用 DeepSeek 进行 PICO 提取。这通常用于 ASL（智能文献）模块，而在 PKB（个人知识库）中可选开启。

📊 业务模块策略组合 (Updated)

场景 1：ASL 智能文献筛选 (高精度)

• 入库：开启 enableClinicalExtraction，提取 PICO 和 结果数据。
• 检索：
  1. SQL 粗筛：WHERE pico->>'P' ILIKE '%肺癌%'
  2. 混合检索：hybridSearch (Top 50)
  3. 重排序：rerank (Top 10)
  4. 回答：基于 Top 10 生成。

场景 2：PKB 个人知识库 (低成本)

• 入库：关闭高级提取，仅做向量化。
• 检索：
  1. 混合检索：hybridSearch (Top 20)
  2. 回答：基于 Top 20 生成。

📅 更新日志

v1.2 (2026-01-20)

• ⚡️ 架构调整：入库接口改为异步，返回 taskId。
• 🔧 技术选型：关键词检索明确使用 pg_trgm 方案以支持中文。
• 💰 策略优化：增加 options 开关，默认关闭高成本提取功能。
• 🆕 新增接口：独立暴露 rerank() 能力。

v1.1 (2026-01-20)

• 确立“积木”原则，移除 Chat 方法。