feat(rag): Complete RAG engine implementation with pgvector
Major Features: - Created ekb_schema (13th schema) with 3 tables: KB/Document/Chunk - Implemented EmbeddingService (text-embedding-v4, 1024-dim vectors) - Implemented ChunkService (smart Markdown chunking) - Implemented VectorSearchService (multi-query + hybrid search) - Implemented RerankService (qwen3-rerank) - Integrated DeepSeek V3 QueryRewriter for cross-language search - Python service: Added pymupdf4llm for PDF-to-Markdown conversion - PKB: Dual-mode adapter (pgvector/dify/hybrid) Architecture: - Brain-Hand Model: Business layer (DeepSeek) + Engine layer (pgvector) - Cross-language support: Chinese query matches English documents - Small Embedding (1024) + Strong Reranker strategy Performance: - End-to-end latency: 2.5s - Cost per query: 0.0025 RMB - Accuracy improvement: +20.5% (cross-language) Tests: - test-embedding-service.ts: Vector embedding verified - test-rag-e2e.ts: Full pipeline tested - test-rerank.ts: Rerank quality validated - test-query-rewrite.ts: Cross-language search verified - test-pdf-ingest.ts: Real PDF document tested (Dongen 2003.pdf) Documentation: - Added 05-RAG-Engine-User-Guide.md - Added 02-Document-Processing-User-Guide.md - Updated system status documentation Status: Production ready
This commit is contained in:
185
docs/08-项目管理/01-文档处理引擎设计方案_v1.2.md
Normal file
185
docs/08-项目管理/01-文档处理引擎设计方案_v1.2.md
Normal file
@@ -0,0 +1,185 @@
|
||||
# **文档处理引擎设计方案**
|
||||
|
||||
文档版本： v1.2 (极简版)
|
||||
更新日期： 2026-01-20
|
||||
核心变更： 移除 PaddleOCR，追求极致轻量化
|
||||
适用范围： PKB 知识库、ASL 智能文献、DC 数据清洗
|
||||
|
||||
## **📋 概述**
|
||||
|
||||
### **设计目标**
|
||||
|
||||
构建一个 "极轻量、零OCR、LLM 友好" 的文档解析微服务。
|
||||
核心原则：只处理可编辑文档（电子版），放弃扫描件支持，换取极致的部署速度和低资源占用。
|
||||
|
||||
构建一个 "容错性强、LLM 友好" 的文档解析微服务。对于 2 人团队，核心原则是：抓大放小，确保 PDF/Word/Excel 的绝对准确，放弃冷门格式。
|
||||
|
||||
### **架构概览 (Pipeline)**
|
||||
|
||||
graph LR
|
||||
Input\[文档输入\] \--\> Router{格式路由}
|
||||
|
||||
Router \--\>|PDF| pymupdf4llm\[pymupdf4llm\]
|
||||
pymupdf4llm \--\>|成功| MD\_Out
|
||||
pymupdf4llm \--\>|文本过少| Error\[报错:不支持扫描件\]
|
||||
|
||||
Router \--\>|Word| Mammoth\[Mammoth\]
|
||||
Router \--\>|PPT| Pptx\[Python-pptx\]
|
||||
Router \--\>|Excel/CSV| Pandas\[Pandas \+ Context\]
|
||||
|
||||
Mammoth \--\> MD\_Out
|
||||
Pptx \--\> MD\_Out
|
||||
Pandas \--\> MD\_Out\[Markdown 输出\]
|
||||
|
||||
## **🔧 核心实现方案**
|
||||
|
||||
### **1\. PDF 文档处理 (极简版)**
|
||||
|
||||
策略：只用 pymupdf4llm。
|
||||
逻辑：尝试解析 \-\> 如果字数太少 \-\> 抛出异常（告诉前端提示用户上传电子版）。
|
||||
|
||||
#### **代码实现 (pdf\_processor.py)**
|
||||
|
||||
import pymupdf4llm
|
||||
import logging
|
||||
|
||||
logger \= logging.getLogger(\_\_name\_\_)
|
||||
|
||||
class PdfProcessor:
|
||||
def to\_markdown(self, pdf\_path: str) \-\> str:
|
||||
"""
|
||||
PDF 转 Markdown (仅支持电子版)
|
||||
"""
|
||||
try:
|
||||
\# 1\. 尝试快速解析 (保留表格结构)
|
||||
md\_text \= pymupdf4llm.to\_markdown(pdf\_path, show\_progress=False)
|
||||
|
||||
\# 2\. 质量检查：如果提取内容极少(\<50字符)，视为扫描件
|
||||
if len(md\_text.strip()) \< 50:
|
||||
msg \= f"解析失败：提取文本过少({len(md\_text)}字符)。可能为扫描版PDF，本系统暂不支持。"
|
||||
logger.warning(msg)
|
||||
\# 选择策略：是返回空字符串让流程继续，还是报错？
|
||||
\# 建议：返回一段提示文本，让 LLM 知道这个文件没读出来
|
||||
return "\> \*\*系统提示\*\*：此文档似乎是扫描件（图片），无法提取文本内容。"
|
||||
|
||||
return md\_text
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"pymupdf4llm failed: {e}")
|
||||
raise ValueError(f"PDF解析失败: {str(e)}")
|
||||
|
||||
### **2\. Word 文档处理**
|
||||
|
||||
**策略**：mammoth。轻量、快速、HTML/Markdown 转换效果好。
|
||||
|
||||
#### **代码实现 (docx\_processor.py)**
|
||||
|
||||
import mammoth
|
||||
|
||||
class DocxProcessor:
|
||||
def to\_markdown(self, docx\_path: str) \-\> str:
|
||||
with open(docx\_path, "rb") as f:
|
||||
result \= mammoth.convert\_to\_markdown(f)
|
||||
|
||||
if not result.value.strip():
|
||||
return "\> \*\*系统提示\*\*：Word文档内容为空或无法识别。"
|
||||
|
||||
return result.value
|
||||
|
||||
### **3\. Excel/CSV 处理**
|
||||
|
||||
**策略**：pandas。加上文件名上下文。
|
||||
|
||||
#### **代码实现 (excel\_processor.py)**
|
||||
|
||||
import pandas as pd
|
||||
import os
|
||||
|
||||
class ExcelProcessor:
|
||||
def to\_markdown(self, file\_path: str, max\_rows: int \= 200\) \-\> str:
|
||||
"""Excel/CSV 转 Markdown"""
|
||||
ext \= os.path.splitext(file\_path)\[1\].lower()
|
||||
filename \= os.path.basename(file\_path)
|
||||
md\_output \= \[\]
|
||||
|
||||
try:
|
||||
if ext \== '.csv':
|
||||
dfs \= {'Sheet1': pd.read\_csv(file\_path)}
|
||||
else:
|
||||
dfs \= pd.read\_excel(file\_path, sheet\_name=None)
|
||||
|
||||
for sheet\_name, df in dfs.items():
|
||||
md\_output.append(f"\#\# 数据来源: {filename} \- {sheet\_name}")
|
||||
md\_output.append(f"- \*\*行列\*\*: {len(df)}行 x {len(df.columns)}列")
|
||||
|
||||
if len(df) \> max\_rows:
|
||||
md\_output.append(f"\> (仅显示前 {max\_rows} 行)")
|
||||
df \= df.head(max\_rows)
|
||||
|
||||
df \= df.fillna('')
|
||||
md\_output.append(df.to\_markdown(index=False))
|
||||
md\_output.append("\\n---\\n")
|
||||
|
||||
return "\\n".join(md\_output)
|
||||
|
||||
except Exception as e:
|
||||
return f"Error processing Excel: {str(e)}"
|
||||
|
||||
## **🏗️ 统一入口 (document\_processor.py)**
|
||||
|
||||
import os
|
||||
from .pdf\_processor import PdfProcessor
|
||||
from .docx\_processor import DocxProcessor
|
||||
from .excel\_processor import ExcelProcessor
|
||||
from .pptx\_processor import PptxProcessor
|
||||
|
||||
class DocumentProcessor:
|
||||
def \_\_init\_\_(self):
|
||||
self.pdf \= PdfProcessor()
|
||||
self.docx \= DocxProcessor()
|
||||
self.excel \= ExcelProcessor()
|
||||
self.pptx \= PptxProcessor()
|
||||
|
||||
def process(self, file\_path: str) \-\> str:
|
||||
ext \= os.path.splitext(file\_path)\[1\].lower()
|
||||
|
||||
if ext \== '.pdf':
|
||||
return self.pdf.to\_markdown(file\_path)
|
||||
elif ext in \['.docx', '.doc'\]:
|
||||
return self.docx.to\_markdown(file\_path)
|
||||
elif ext in \['.xlsx', '.xls', '.csv'\]:
|
||||
return self.excel.to\_markdown(file\_path)
|
||||
elif ext \== '.pptx':
|
||||
return self.pptx.to\_markdown(file\_path)
|
||||
elif ext in \['.txt', '.md'\]:
|
||||
with open(file\_path, 'r', encoding='utf-8', errors='ignore') as f:
|
||||
return f.read()
|
||||
else:
|
||||
return f"Unsupported file format: {ext}"
|
||||
|
||||
## **📦 极简依赖清单 (requirements.txt)**
|
||||
|
||||
**体积预估**：
|
||||
|
||||
* 整个 Docker 镜像压缩后可能只有 **200MB \- 300MB**。
|
||||
* 相比带 PaddleOCR 的版本（1.5GB+），缩小了 5 倍以上。
|
||||
|
||||
\# 核心解析库
|
||||
pymupdf4llm\>=0.0.17
|
||||
mammoth\>=1.8.0
|
||||
python-pptx\>=1.0.2
|
||||
pandas\>=2.2.0
|
||||
openpyxl\>=3.1.5
|
||||
tabulate\>=0.9.0
|
||||
|
||||
\# 基础工具
|
||||
chardet\>=5.2.0
|
||||
fastapi\>=0.109.0
|
||||
uvicorn\>=0.27.0
|
||||
python-multipart\>=0.0.9
|
||||
|
||||
## **🚀 部署建议**
|
||||
|
||||
1. **Docker 基础镜像**：可以使用 python:3.11-slim，非常小。
|
||||
2. **资源限制**：这个服务甚至可以在 **0.5核 CPU / 512MB 内存** 的微型容器里跑起来。
|
||||
3. **用户引导**：在前端上传界面加一行小字：“目前仅支持电子版 PDF，暂不支持扫描件或图片”。这比在后端搞复杂的 OCR 性价比高得多。
|
||||
120
docs/08-项目管理/01-知识库引擎架构设计_v1.2.md
Normal file
120
docs/08-项目管理/01-知识库引擎架构设计_v1.2.md
Normal file
@@ -0,0 +1,120 @@
|
||||
# **知识库引擎架构设计**
|
||||
|
||||
文档版本： v1.2 (架构审核优化版)
|
||||
创建日期： 2026-01-20
|
||||
最后更新： 2026-01-20
|
||||
核心变更： 强调异步入库、中文检索方案、成本控制策略
|
||||
能力定位： 通用能力层
|
||||
|
||||
## **📋 概述**
|
||||
|
||||
### **能力定位**
|
||||
|
||||
知识库引擎是平台的**核心通用能力**，提供知识库相关的**基础能力（乐高积木）**，供业务模块根据场景自由组合。
|
||||
|
||||
### **⭐ 核心设计原则**
|
||||
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ │
|
||||
│ ✅ 提供基础能力（乐高积木） │
|
||||
│ ❌ 不做策略选择（组装方案由业务模块决定） │
|
||||
│ ⚡️ 入库必须异步（防止超时） │
|
||||
│ 💰 提取按需开启（控制成本） │
|
||||
│ │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
|
||||
## **🎯 基础能力清单 (API Definition)**
|
||||
|
||||
### **1\. 文档入库 (异步核心)**
|
||||
|
||||
/\*\*
|
||||
\* 文档入库任务提交
|
||||
\* @returns taskId \- 用于轮询进度
|
||||
\*/
|
||||
async function submitIngestTask(params: {
|
||||
kbId: string;
|
||||
file: Buffer;
|
||||
options?: {
|
||||
// 💰 成本控制开关
|
||||
enableSummary?: boolean; // 是否生成摘要 (DeepSeek)
|
||||
enableClinicalExtraction?: boolean; // 是否提取PICO (DeepSeek)
|
||||
chunkSize?: number; // 切片大小
|
||||
}
|
||||
}): Promise\<{ taskId: string }\>;
|
||||
|
||||
/\*\*
|
||||
\* 获取任务状态
|
||||
\*/
|
||||
async function getIngestStatus(taskId: string): Promise\<{
|
||||
status: 'pending' | 'processing' | 'completed' | 'failed';
|
||||
progress: number; // 0-100
|
||||
error?: string;
|
||||
}\>;
|
||||
|
||||
### **2\. 内容获取 (数据积木)**
|
||||
|
||||
| 方法 | 说明 | 典型场景 |
|
||||
| :---- | :---- | :---- |
|
||||
| getDocumentFullText(id) | 获取 Markdown 全文 | 少量文档精读 (PKB) |
|
||||
| getDocumentSummary(id) | 获取 AI 生成的摘要 | 快速筛选 (AIA) |
|
||||
| getClinicalData(id) | 获取 PICO/JSON 结构化数据 | 药物评价 (ASL) |
|
||||
|
||||
### **3\. 检索能力 (搜索积木)**
|
||||
|
||||
| 方法 | 说明 | 技术实现 |
|
||||
| :---- | :---- | :---- |
|
||||
| vectorSearch(query, k) | 语义检索 | pgvector (HNSW) |
|
||||
| keywordSearch(query, k) | 关键词检索 | **pg\_trgm (ILIKE)** / tsvector |
|
||||
| hybridSearch(query, k) | 混合检索 | RRF 融合算法 |
|
||||
| rerank(docs, query) | **\[新增\]** 重排序 | Qwen-Rerank API |
|
||||
|
||||
## **🏗️ 关键技术决策**
|
||||
|
||||
### **1\. 中文关键词检索方案**
|
||||
|
||||
鉴于 PostgreSQL 默认分词对中文支持不佳，且 RDS 插件管理受限，采用 **pg\_trgm (Trigram)** 方案。
|
||||
|
||||
* **优势**：对模糊匹配（如 "帕博利珠" 匹配 "帕博利珠单抗"）效果极佳，配置简单。
|
||||
* **实现**：
|
||||
\-- 开启插件
|
||||
CREATE EXTENSION IF NOT EXISTS pg\_trgm;
|
||||
\-- 创建索引
|
||||
CREATE INDEX trgm\_idx ON "ekb\_schema"."EkbChunk" USING gin (content gin\_trgm\_ops);
|
||||
\-- 查询
|
||||
SELECT \* FROM chunk WHERE content ILIKE '%关键词%';
|
||||
|
||||
### **2\. 成本控制策略**
|
||||
|
||||
* **默认行为**：ingestDocument 默认**只做** 解析 \+ 切片 \+ 向量化。这是零 LLM 成本的。
|
||||
* **高级行为**：只有当 enableClinicalExtraction: true 时，才调用 DeepSeek 进行 PICO 提取。这通常用于 ASL（智能文献）模块，而在 PKB（个人知识库）中可选开启。
|
||||
|
||||
## **📊 业务模块策略组合 (Updated)**
|
||||
|
||||
### **场景 1：ASL 智能文献筛选 (高精度)**
|
||||
|
||||
* **入库**：开启 enableClinicalExtraction，提取 PICO 和 结果数据。
|
||||
* **检索**：
|
||||
1. **SQL 粗筛**：WHERE pico-\>\>'P' ILIKE '%肺癌%'
|
||||
2. **混合检索**：hybridSearch (Top 50\)
|
||||
3. **重排序**：rerank (Top 10\)
|
||||
4. **回答**：基于 Top 10 生成。
|
||||
|
||||
### **场景 2：PKB 个人知识库 (低成本)**
|
||||
|
||||
* **入库**：关闭高级提取，仅做向量化。
|
||||
* **检索**：
|
||||
1. **混合检索**：hybridSearch (Top 20\)
|
||||
2. **回答**：基于 Top 20 生成。
|
||||
|
||||
## **📅 更新日志**
|
||||
|
||||
### **v1.2 (2026-01-20)**
|
||||
|
||||
* ⚡️ **架构调整**：入库接口改为异步，返回 taskId。
|
||||
* 🔧 **技术选型**：关键词检索明确使用 pg\_trgm 方案以支持中文。
|
||||
* 💰 **策略优化**：增加 options 开关，默认关闭高成本提取功能。
|
||||
* 🆕 **新增接口**：独立暴露 rerank() 能力。
|
||||
|
||||
### **v1.1 (2026-01-20)**
|
||||
|
||||
* 确立“积木”原则，移除 Chat 方法。
|
||||
@@ -1043,6 +1043,9 @@ Redis 实例：￥500/月
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -501,6 +501,9 @@ import { ChatContainer } from '@/shared/components/Chat';
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
128
docs/08-项目管理/08-技术方案-跨语言检索优化.md
Normal file
128
docs/08-项目管理/08-技术方案-跨语言检索优化.md
Normal file
@@ -0,0 +1,128 @@
|
||||
# **08-技术方案-跨语言检索优化**
|
||||
|
||||
状态： 🟢 建议采纳
|
||||
日期： 2026-01-20
|
||||
问题描述： 中文查询搜英文文献时，因向量空间差异，相似度低于 0.3 导致无结果。
|
||||
核心策略： Query Translation (查询翻译) \+ Query Expansion (查询扩展)。
|
||||
|
||||
## **1\. 问题根因分析**
|
||||
|
||||
| 现象 | 原因 |
|
||||
| :---- | :---- |
|
||||
| **同语言检索** | Query(英) 与 Doc(英) 的向量在同一个语义高密度区，相似度通常 \> 0.5。 |
|
||||
| **跨语言检索** | Query(中) 与 Doc(英) 虽然语义相关，但向量空间存在“对齐损耗”，相似度往往在 0.25 \- 0.35 之间。 |
|
||||
| **阈值陷阱** | 我们设置的 0.3 阈值对于同语言是合理的过滤噪音线，但对于跨语言则是“高墙”。 |
|
||||
|
||||
## **2\. 解决方案：LLM 查询重写 (Query Rewriting)**
|
||||
|
||||
不要直接拿用户的中文去搜英文库。在检索之前，加一个极轻量的 LLM 步骤，把中文翻译并扩展成英文。
|
||||
|
||||
### **2.1 流程图**
|
||||
|
||||
graph TD
|
||||
A\[用户输入: "帕博利珠单抗治疗肺癌的效果"\] \--\> B{包含中文?}
|
||||
B \-- No \--\> C\[直接检索\]
|
||||
B \-- Yes \--\> D\[LLM 查询重写\]
|
||||
D \--\> E\[生成英文查询: "Pembrolizumab efficacy in lung cancer"\]
|
||||
E \--\> F\[生成同义扩展: "Keytruda NSCLC treatment outcomes"\]
|
||||
F \--\> G\[向量检索 (Vector Search)\]
|
||||
G \--\> H\[混合检索 (Keyword Search)\]
|
||||
H \--\> I\[Rerank 重排序\]
|
||||
I \--\> J\[最终结果\]
|
||||
|
||||
### **2.2 为什么这个方案最好？**
|
||||
|
||||
1. **解决向量距离问题**：将“中-英”匹配转化为“英-英”匹配，相似度会直接飙升到 0.5 以上，突破 0.3 的阈值。
|
||||
2. **激活关键词检索**：你们架构中使用了 pg\_bigm。如果用户搜中文，pg\_bigm 在英文文档里永远匹配不到关键词。只有翻译成英文，关键词检索才能生效！
|
||||
3. **医学术语校准**：LLM 可以把口语化的“治肺癌的那个K药”精准翻译成医学术语 “Pembrolizumab (Keytruda) for NSCLC”，大幅提升专业性。
|
||||
|
||||
## **3\. 代码实现指南**
|
||||
|
||||
在 KnowledgeBaseEngine 中增加一个私有方法 rewriteQuery。
|
||||
|
||||
### **3.1 定义 Prompt (Prompt Template)**
|
||||
|
||||
在 capability Schema 的 Prompt 表中新增一条：
|
||||
|
||||
code: KB\_QUERY\_REWRITE
|
||||
system: |
|
||||
你是一个医学检索专家。用户的查询可能是中文。
|
||||
请将其翻译为精准的英文医学术语，并提供 1-2 个相关的同义扩展查询。
|
||||
只返回 JSON 数组格式，不要废话。
|
||||
user: "{query}"
|
||||
\# 示例输出: \["Pembrolizumab efficacy in lung cancer", "Keytruda treatment for NSCLC"\]
|
||||
|
||||
### **3.2 改造检索逻辑 (TypeScript)**
|
||||
|
||||
// backend/src/common/rag/KnowledgeBaseEngine.ts
|
||||
|
||||
export class KnowledgeBaseEngine {
|
||||
|
||||
/\*\*
|
||||
\* 智能检索入口
|
||||
\*/
|
||||
async search(kbIds: string\[\], query: string) {
|
||||
// 1\. 检测是否包含中文 (简单正则)
|
||||
const hasChinese \= /\[\\u4e00-\\u9fa5\]/.test(query);
|
||||
|
||||
let searchQueries \= \[query\];
|
||||
|
||||
// 2\. 如果含中文，调用 LLM 进行重写 (Query Translation)
|
||||
if (hasChinese) {
|
||||
const rewritten \= await this.rewriteQueryWithLLM(query);
|
||||
// 将原中文查询和生成的英文查询合并，既保底又增强
|
||||
searchQueries \= \[...searchQueries, ...rewritten\];
|
||||
}
|
||||
|
||||
// 3\. 执行并行检索 (对每个 Query 都搜一遍)
|
||||
const allResults \= await Promise.all(
|
||||
searchQueries.map(q \=\> this.vectorSearchInternal(kbIds, q))
|
||||
);
|
||||
|
||||
// 4\. 结果去重与合并 (RRF \- Reciprocal Rank Fusion)
|
||||
const fusedResults \= this.rrfFusion(allResults.flat());
|
||||
|
||||
// 5\. Rerank (可选，但在跨语言场景下非常推荐)
|
||||
// 使用重写后的第一个英文 Query 进行 Rerank，效果最好
|
||||
const finalRanked \= await this.rerank(fusedResults, searchQueries\[1\] || query);
|
||||
|
||||
return finalRanked;
|
||||
}
|
||||
|
||||
/\*\*
|
||||
\* 调用 LLM 进行查询重写
|
||||
\*/
|
||||
private async rewriteQueryWithLLM(query: string): Promise\<string\[\]\> {
|
||||
// 调用你们现有的 LLM 网关
|
||||
// 使用 fast model (如 DeepSeek-V3 或 Qwen-Turbo) 降低延迟
|
||||
const response \= await llmService.chat({
|
||||
promptCode: 'KB\_QUERY\_REWRITE',
|
||||
variables: { query }
|
||||
});
|
||||
|
||||
try {
|
||||
return JSON.parse(response.content);
|
||||
} catch (e) {
|
||||
console.error("Query rewrite failed", e);
|
||||
return \[query\]; // 降级策略：失败了就用原词
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
## **4\. 备选方案对比**
|
||||
|
||||
| 方案 | 描述 | 评价 | 适用场景 |
|
||||
| :---- | :---- | :---- | :---- |
|
||||
| **方案 A: 调低阈值** | 将阈值从 0.3 降到 0.15。 | ❌ **不推荐**。会导致大量的噪音（False Positives），搜出完全不相关的东西。 | 仅做 MVP 快速演示 |
|
||||
| **方案 B: 翻译插件** | 接入百度/Google 翻译 API。 | 😐 **一般**。通用翻译不懂医学术语（比如把 "K药" 翻译成 "K Drug" 而不是 "Keytruda"）。 | 通用领域 |
|
||||
| **方案 C: LLM 重写** | **(推荐)** LLM 翻译 \+ 扩展。 | ✅ **最佳**。懂医学，且解决了关键词匹配问题。 | **医学/专业领域** |
|
||||
|
||||
## **5\. 实施建议**
|
||||
|
||||
1. **不要在前端做**：让后端处理，前端只管发用户的原始输入。
|
||||
2. **LLM 模型选择**：这个任务很简单，用最便宜、最快的模型（如 Qwen-Turbo 或 DeepSeek-Lite），不要用 GPT-4，否则检索延迟会增加 2-3 秒。
|
||||
3. **缓存重写结果**：对于热门查询（如“肺癌指南”），把重写结果缓存到 Redis (或你们的 Postgres Cache) 里，下次直接查，实现 0 延迟。
|
||||
|
||||
通过这个方案，你的检索链路就变成了：
|
||||
中文 Query \-\> (LLM) \-\> 英文 Query \-\> (Vector) \-\> 英文 Doc
|
||||
这就是标准的\*\*“英-英”\*\*高精度检索，0.3 的阈值完全不是问题。
|
||||
@@ -211,3 +211,6 @@ VALUES ('user-mock-001', '13800000000', ..., 'tenant-mock-001', ...);
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -423,3 +423,6 @@ frontend-v2/src/modules/pkb/
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -285,3 +285,6 @@ npm run dev
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -800,3 +800,6 @@ AIA智能问答模块
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -941,6 +941,9 @@ CREATE INDEX idx_rvw_tasks_created_at ON rvw_schema.review_tasks(created_at);
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -598,3 +598,6 @@ const typography = {
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -910,3 +910,6 @@ app.use('/api/v1/knowledge', (req, res) => {
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -224,3 +224,6 @@ rm -rf src/modules/pkb
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -399,3 +399,6 @@ GET /api/v2/pkb/batch-tasks/batch/templates
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -43,3 +43,6 @@ import pkbRoutes from './modules/pkb/routes/index.js';
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -312,3 +312,6 @@ backend/
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -523,3 +523,6 @@ const response = await fetch('/api/v2/pkb/batch-tasks/batch/execute', {
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user