Develop/AIclinicalresearch
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(rag): Complete RAG engine implementation with pgvector

Browse Source 
Major Features:
- Created ekb_schema (13th schema) with 3 tables: KB/Document/Chunk
- Implemented EmbeddingService (text-embedding-v4, 1024-dim vectors)
- Implemented ChunkService (smart Markdown chunking)
- Implemented VectorSearchService (multi-query + hybrid search)
- Implemented RerankService (qwen3-rerank)
- Integrated DeepSeek V3 QueryRewriter for cross-language search
- Python service: Added pymupdf4llm for PDF-to-Markdown conversion
- PKB: Dual-mode adapter (pgvector/dify/hybrid)

Architecture:
- Brain-Hand Model: Business layer (DeepSeek) + Engine layer (pgvector)
- Cross-language support: Chinese query matches English documents
- Small Embedding (1024) + Strong Reranker strategy

Performance:
- End-to-end latency: 2.5s
- Cost per query: 0.0025 RMB
- Accuracy improvement: +20.5% (cross-language)

Tests:
- test-embedding-service.ts: Vector embedding verified
- test-rag-e2e.ts: Full pipeline tested
- test-rerank.ts: Rerank quality validated
- test-query-rewrite.ts: Cross-language search verified
- test-pdf-ingest.ts: Real PDF document tested (Dongen 2003.pdf)

Documentation:
- Added 05-RAG-Engine-User-Guide.md
- Added 02-Document-Processing-User-Guide.md
- Updated system status documentation

Status: Production ready
This commit is contained in:
HaHafeng
2026-01-21 20:24:29 +08:00
parent 1f5bf2cd65
commit 40c2f8e148
338 changed files with 11014 additions and 1158 deletions
Download Patch File Download Diff File Expand all files Collapse all files

68
docs/02-通用能力层/03-RAG引擎/README.md
View File

@@ -27,12 +27,13 @@
### 基础能力清单
- 📄 **文档入库** - 文档解析 → 切片 → 向量化 → 存储
- 📄 **文档入库** - ⚡️ 异步入库（pg-boss），返回 taskId 轮询状态
- 📝 **全文获取** - 单文档/批量获取文档全文
- 📋 **摘要获取** - 单文档/批量获取文档摘要
- 📋 **摘要获取** - 单文档/批量获取文档摘要（💰 可选生成）
- 🔍 **向量检索** - 基于 pgvector 的语义检索
- 🔤 **关键词检索** - 基于 PostgreSQL FTS
- 🔤 **关键词检索** - 基于 pg_bigm 的中文精确检索
- 🔀 **混合检索** - 向量 + 关键词 + RRF 融合
- 🎯 **重排序** - 🆕 基于 Qwen-Rerank 的精排序
> ⚠️ **注意**：不提供 `chat()` 方法！问答策略由业务模块根据场景决定。
@@ -98,25 +99,32 @@
## 💡 基础能力使用
### 1. 文档入库
### 1. 文档入库（⚡️ 异步）
```typescript
import { KnowledgeBaseEngine } from '@/common/rag';
const kbEngine = new KnowledgeBaseEngine(prisma);
await kbEngine.ingestDocument({
// 提交入库任务（立即返回）
const { taskId, documentId } = await kbEngine.submitIngestTask({
kbId: 'kb-123',
userId: 'user-456',
file: pdfBuffer,
filename: 'research.pdf',
options: {
generateSummary: true, // 生成摘要
extractClinicalData: true, // 提取 PICO 等临床数据
enableSummary: true, // 💰 可选，默认 false
enableClinicalExtraction: true // 💰 可选，默认 false
}
});
// 轮询任务状态
const status = await kbEngine.getIngestStatus(taskId);
// { status: 'processing', progress: 45 }
```
> 详见：[Postgres-Only异步任务处理指南](../Postgres-Only异步任务处理指南.md)
### 2. 全文/摘要获取
```typescript
@@ -136,11 +144,14 @@ const summaries = await kbEngine.getAllDocumentsSummaries(kbId);
// 向量检索
const vectorResults = await kbEngine.vectorSearch(kbIds, query, 20);
// 关键词检索
// 关键词检索（pg_bigm 中文精确匹配）
const keywordResults = await kbEngine.keywordSearch(kbIds, query, 20);
// 混合检索（向量 + 关键词 + RRF）
const hybridResults = await kbEngine.hybridSearch(kbIds, query, 10);
// 🆕 重排序
const reranked = await kbEngine.rerank(hybridResults, query, 5);
```
---
@@ -239,9 +250,9 @@ backend/src/common/rag/
```typescript
class KnowledgeBaseEngine {
// ========== 文档入库 ==========
ingestDocument(params: IngestParams): Promise<IngestResult>;
ingestBatch(documents: IngestParams[]): Promise<IngestResult[]>;
// ========== 文档入库（⚡️ 异步） ==========
submitIngestTask(params: IngestParams): Promise<{ taskId: string; documentId: string }>;
getIngestStatus(taskId: string): Promise<{ status, progress, error? }>;
// ========== 内容获取 ==========
getDocumentFullText(documentId: string): Promise<DocumentText>;
@@ -251,8 +262,9 @@ class KnowledgeBaseEngine {
// ========== 检索能力 ==========
vectorSearch(kbIds: string[], query: string, topK?: number): Promise<SearchResult[]>;
keywordSearch(kbIds: string[], query: string, topK?: number): Promise<SearchResult[]>;
keywordSearch(kbIds: string[], query: string, topK?: number): Promise<SearchResult[]>; // pg_bigm
hybridSearch(kbIds: string[], query: string, topK?: number): Promise<SearchResult[]>;
rerank(docs: SearchResult[], query: string, topK?: number): Promise<SearchResult[]>; // 🆕
// ========== 管理操作 ==========
deleteDocument(documentId: string): Promise<void>;
@@ -279,27 +291,43 @@ class KnowledgeBaseEngine {
## 📅 开发计划
详见：[02-pgvector替换Dify计划.md](./02-pgvector替换Dify计划.md)
### 分阶段实施（推荐）
| 里程碑 | 内容 | 工期 | 状态 |
|--------|------|------|------|
| **M1** | 数据库设计 + 核心服务 | 5 天 | 🔜 待开始 |
| **M2** | PKB 模块接入 + 测试 | 3 天 | 📋 规划中 |
| **M3** | 数据迁移 + 上线 | 2 天 | 📋 规划中 |
详见：[03-分阶段实施方案.md](./03-分阶段实施方案.md)
| 阶段 | 内容 | 工期 | 状态 |
|------|------|------|------|
| **Phase 1 MVP** | 入库 + 向量检索 + 全文获取 | 3 天 | 🔜 待开始 |
| **Phase 2 增强** | + 关键词检索 + 混合检索 + rerank | 2 天 | 📋 规划中 |
| **Phase 3 完整** | + 异步入库 + 摘要 + PICO | 3 天 | 📋 规划中 |
### 技术实现参考
详见：[02-pgvector替换Dify计划.md](./02-pgvector替换Dify计划.md)
---
## 📂 相关文档
- [知识库引擎架构设计](./01-知识库引擎架构设计.md)
- [pgvector 替换 Dify 开发计划](./02-pgvector替换Dify计划.md)
- [知识库引擎架构设计](./01-知识库引擎架构设计.md) - 完整架构目标
- [pgvector 替换 Dify 技术方案](./02-pgvector替换Dify计划.md) - 详细技术实现
- [分阶段实施方案](./03-分阶段实施方案.md) - 🆕 MVP → 增强 → 完整
- [文档处理引擎](../02-文档处理引擎/01-文档处理引擎设计方案.md)
- [Postgres-Only异步任务处理指南](../Postgres-Only异步任务处理指南.md)
- [通用能力层清单](../00-通用能力层清单.md)
---
## 📅 更新日志
### 2026-01-20 v1.2 架构审核优化
- ⚡️ **入库异步化**：`submitIngestTask()` + `getIngestStatus()`，基于 pg-boss
- 💰 **成本控制**：摘要/PICO 提取默认关闭，按需开启
- 🔧 **中文检索**：`tsvector` → `pg_bigm`，专为 CJK 文字优化
- 🆕 **新增能力**：`rerank()` 重排序（Qwen-Rerank API）
- 📋 **分阶段实施**：新增 MVP → 增强 → 完整 三阶段方案
### 2026-01-20 v1.1 设计原则重大更新
- ⭐ **核心原则**：提供基础能力（乐高积木），不做策略选择