# **知识库引擎架构设计** 文档版本: v1.2 (架构审核优化版) 创建日期: 2026-01-20 最后更新: 2026-01-20 核心变更: 强调异步入库、中文检索方案、成本控制策略 能力定位: 通用能力层 ## **📋 概述** ### **能力定位** 知识库引擎是平台的**核心通用能力**,提供知识库相关的**基础能力(乐高积木)**,供业务模块根据场景自由组合。 ### **⭐ 核心设计原则** ┌─────────────────────────────────────────────────────────────┐ │ │ │ ✅ 提供基础能力(乐高积木) │ │ ❌ 不做策略选择(组装方案由业务模块决定) │ │ ⚡️ 入库必须异步(防止超时) │ │ 💰 提取按需开启(控制成本) │ │ │ └─────────────────────────────────────────────────────────────┘ ## **🎯 基础能力清单 (API Definition)** ### **1\. 文档入库 (异步核心)** /\*\* \* 文档入库任务提交 \* @returns taskId \- 用于轮询进度 \*/ async function submitIngestTask(params: { kbId: string; file: Buffer; options?: { // 💰 成本控制开关 enableSummary?: boolean; // 是否生成摘要 (DeepSeek) enableClinicalExtraction?: boolean; // 是否提取PICO (DeepSeek) chunkSize?: number; // 切片大小 } }): Promise\<{ taskId: string }\>; /\*\* \* 获取任务状态 \*/ async function getIngestStatus(taskId: string): Promise\<{ status: 'pending' | 'processing' | 'completed' | 'failed'; progress: number; // 0-100 error?: string; }\>; ### **2\. 内容获取 (数据积木)** | 方法 | 说明 | 典型场景 | | :---- | :---- | :---- | | getDocumentFullText(id) | 获取 Markdown 全文 | 少量文档精读 (PKB) | | getDocumentSummary(id) | 获取 AI 生成的摘要 | 快速筛选 (AIA) | | getClinicalData(id) | 获取 PICO/JSON 结构化数据 | 药物评价 (ASL) | ### **3\. 检索能力 (搜索积木)** | 方法 | 说明 | 技术实现 | | :---- | :---- | :---- | | vectorSearch(query, k) | 语义检索 | pgvector (HNSW) | | keywordSearch(query, k) | 关键词检索 | **pg\_trgm (ILIKE)** / tsvector | | hybridSearch(query, k) | 混合检索 | RRF 融合算法 | | rerank(docs, query) | **\[新增\]** 重排序 | Qwen-Rerank API | ## **🏗️ 关键技术决策** ### **1\. 中文关键词检索方案** 鉴于 PostgreSQL 默认分词对中文支持不佳,且 RDS 插件管理受限,采用 **pg\_trgm (Trigram)** 方案。 * **优势**:对模糊匹配(如 "帕博利珠" 匹配 "帕博利珠单抗")效果极佳,配置简单。 * **实现**: \-- 开启插件 CREATE EXTENSION IF NOT EXISTS pg\_trgm; \-- 创建索引 CREATE INDEX trgm\_idx ON "ekb\_schema"."EkbChunk" USING gin (content gin\_trgm\_ops); \-- 查询 SELECT \* FROM chunk WHERE content ILIKE '%关键词%'; ### **2\. 成本控制策略** * **默认行为**:ingestDocument 默认**只做** 解析 \+ 切片 \+ 向量化。这是零 LLM 成本的。 * **高级行为**:只有当 enableClinicalExtraction: true 时,才调用 DeepSeek 进行 PICO 提取。这通常用于 ASL(智能文献)模块,而在 PKB(个人知识库)中可选开启。 ## **📊 业务模块策略组合 (Updated)** ### **场景 1:ASL 智能文献筛选 (高精度)** * **入库**:开启 enableClinicalExtraction,提取 PICO 和 结果数据。 * **检索**: 1. **SQL 粗筛**:WHERE pico-\>\>'P' ILIKE '%肺癌%' 2. **混合检索**:hybridSearch (Top 50\) 3. **重排序**:rerank (Top 10\) 4. **回答**:基于 Top 10 生成。 ### **场景 2:PKB 个人知识库 (低成本)** * **入库**:关闭高级提取,仅做向量化。 * **检索**: 1. **混合检索**:hybridSearch (Top 20\) 2. **回答**:基于 Top 20 生成。 ## **📅 更新日志** ### **v1.2 (2026-01-20)** * ⚡️ **架构调整**:入库接口改为异步,返回 taskId。 * 🔧 **技术选型**:关键词检索明确使用 pg\_trgm 方案以支持中文。 * 💰 **策略优化**:增加 options 开关,默认关闭高成本提取功能。 * 🆕 **新增接口**:独立暴露 rerank() 能力。 ### **v1.1 (2026-01-20)** * 确立“积木”原则,移除 Chat 方法。