Files
AIclinicalresearch/docs/00-系统总体设计/00-系统当前状态与开发指南.md
HaHafeng bf10dec4c8 docs(ssa): Complete intelligent dialogue and tool system architecture design
Architecture Design:
- Add intent recognition and dialogue architecture design (Intent Router + DataContext)
- Add tool system planning (4-layer 7-tool fusion solution: READ/INTERACT/THINK/ACT)
- Add 4-layer 7-tool implementation mechanism details (Conversation Layer LLM + Node.js orchestration)

Development Plan (v1.2):
- Create 6-phase development plan (134h/22 days) for intelligent dialogue system
- Add 8 architectural constraints (C1-C8): no Function Calling, Postgres-Only cache,
  streaming output, context guard, Zod dynamic validation
- Correct Session Blackboard to use CacheFactory (Postgres-Only, no Redis)

Status Updates:
- Update SSA module status: QPER complete + dialogue architecture design complete
- Update system-level status: add SSA architecture design milestone

Other:
- R tools minor fixes (chi_square, correlation, logistic_binary, mann_whitney, t_test_paired)
- Frontend AIA chat workspace style adjustment

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-02-22 10:05:14 +08:00

76 KiB
Raw Blame History

AIclinicalresearch 系统当前状态与开发指南

文档版本: v5.8
创建日期: 2025-11-28
维护者: 开发团队
最后更新: 2026-02-22
🎉 重大里程碑:

  • 🆕 2026-02-22SSA 智能对话与工具体系架构设计完成! 四层七工具 + 对话层 LLM + 6 Phase 开发计划 v1.2 定稿134h/22天
  • 2026-02-21SSA QPER 智能化主线闭环完成! Q→P→E→R 四层架构全部开发完成,端到端 40/40 测试通过
  • 2026-02-20SSA Phase 2A 前端集成完成! 多步骤工作流端到端 + V11 UI联调 + Block-based 架构共识
  • 2026-02-19SSA T 检验端到端测试通过! 完整流程验证 + 9 个 Bug 修复 + Phase 1 核心完成 85%
  • 2026-02-19SSA Week 1 开发完成! R Docker 镜像构建成功 + 后端/前端骨架 + 规范对齐
  • 2026-02-18SSA MVP 开发计划 v1.5 完成! Brain-Hand架构 + 统计护栏 + HITL + 专家配置体系
  • 2026-02-18RVW V2.0 Week 3 完成! 统计验证扩展 + 负号归一化 + 文件格式提示 + 用户体验优化
  • 2026-02-18RVW V2.0 Skills 架构完成! Skills 核心框架 + 3个 Skill 实现 + ReviewWorker 改造
  • 2026-02-17RVW V2.0 "数据侦探" Day 6 完成! L2统计验证器 + L2.5一致性取证SE三角验证、SD>Mean
  • 2026-02-08IIT 事件级质控 V3.1 开发完成! record+event 独立质控 + 规则动态过滤 + 报告去重 + AI对话增强
  • 2026-02-08IIT 质控驾驶舱 UI 完成! XML 临床切片格式 + 质控驾驶舱 + 热力图 + 详情抽屉
  • 2026-02-07IIT 实时质控系统开发完成! pg-boss 防抖 + 质控日志 + 录入汇总 + 管理端批量操作
  • 2026-02-05IIT Manager Agent V2.9.1 架构设计完成! 双脑架构 + 三层记忆 + 主动性增强 + 隐私合规
  • 2026-02-02REDCap 生产环境部署完成! ECS + RDS + HTTPS + 域名全部配置完成
  • 2026-01-28Prompt 知识库集成完成! Prompt 可动态引用系统知识库内容
  • 2026-01-27系统知识库管理功能完成 运营管理端新增知识库管理+文档上传下载
  • 2026-01-25Protocol Agent MVP完整交付 一键生成研究方案+Word导出
  • 2026-01-24Protocol Agent 框架完成! 可复用Agent框架+5阶段对话流程
  • 2026-01-22OSS 存储集成完成! 阿里云 OSS 正式接入平台基础层

🆕 最新进展SSA 智能对话与工具体系架构设计 2026-02-22

  • 🎉 智能对话与工具体系架构设计完成 — 四层七工具READ/INTERACT/THINK/ACT+ 对话层 LLM + 意图路由器
  • 开发计划 v1.2 定稿 — 6 Phase / 134h / 22 天,含 8 条架构约束Postgres-Only 缓存、Function Calling 禁止、流式输出等)
  • 3 份系统设计文档 — 意图识别架构设计 + 工具体系融合方案 + 四层七工具实现机制详解
  • 6 条架构审查建议裁定 — 3 预警 + 3 盲区,转化为 8 条强制性实现约束C1-C8

部署状态: 生产环境运行中 | 公网地址:http://8.140.53.236/
REDCap 状态: 生产环境运行中 | 地址:https://redcap.xunzhengyixue.com/
文档目的: 快速了解系统当前状态为新AI助手提供上下文


📋 快速导航

🎯 如果您是新的AI助手,请优先阅读:

  1. 本文档5分钟 - 了解系统当前状态
  2. 前后端模块化架构设计-V2.md15分钟 - 了解技术架构
  3. [AI对接] 快速上下文.md10分钟 - 快速上手指南

🎯 项目概述

项目名称

壹证循科技 - AI临床研究平台

核心定位

一个覆盖临床科研全生命周期、AI驱动的一站式智能科研平台

目标用户

  • 主要用户:临床医生、研究人员(三甲医院)
  • 次要用户:医院科研管理科室、信息中心
  • 商业模式云端SaaS + 私有化部署 + 单机版

📊 业务模块概览8大核心功能

模块代号 模块名称 核心功能 商业价值 当前状态 优先级
AIA AI智能问答 12个智能体 + Protocol Agent全流程方案 🎉 V3.1 MVP完整交付90% - 一键生成+Word导出 P0
PKB 个人知识库 RAG问答、私人文献库 🎉 Dify已替换自研RAG上线95% P1
ASL AI智能文献 文献筛选、Meta分析、证据图谱 🎉 智能检索MVP完成60% - DeepSearch集成 P0
DC 数据清洗整理 ETL + 医学NER百万行级数据 Tool B完成 + Tool C 99%(异步架构+性能优化-99%+多指标转换+7大功能 P0
IIT IIT Manager Agent AI驱动IIT研究助手 - 双脑架构+REDCap集成 🎉 事件级质控V3.1完成设计100%代码60% P0
SSA 智能统计分析 QPER架构 + 四层七工具 + 对话层LLM + 意图路由器 🎉 QPER主线闭环 + 智能对话架构设计完成 - 6 Phase 开发计划 v1.2 定稿134hPhase Deploy待启动 P1
ST 统计分析工具 100+轻量化统计工具 📋 规划中 P2
RVW 稿件审查系统 方法学评估 + 🆕数据侦探L1/L2/L2.5验证)+ Skills架构 + Word导出 🚀 V2.0 Week3完成85% - 统计验证扩展+负号归一化+文件格式提示+用户体验优化 P1
ADMIN 运营管理端 Prompt管理、租户管理、用户管理、运营监控、系统知识库 🎉 Phase 4.6完成88% - Prompt知识库集成+动态注入 P0

🏗️ 技术架构(三层设计)

架构总览

┌─────────────────────────────────────────────────────────┐
│              业务模块层 (Product Layer)                    │
│  AIA | PKB | ASL | DC | IIT | SSA | ST | RVW            │
│  ✅    ✅    🚧   🚧   🚀   📋   📋   📋                   │
└─────────────────────────────────────────────────────────┘
                      ↓ 依赖
┌─────────────────────────────────────────────────────────┐
│             通用能力层 (Capability Layer)                 │
│  后端LLM网关 | 流式响应服务🆕 | 文档处理 | 🆕RAG引擎 | Prompt管理│
│       ✅       ✅ OpenAI Compatible  ✅   🎉pgvector✅  ✅        │
│       • EmbeddingService (text-embedding-v4)            │
│       • VectorSearchService (多查询+Rerank)             │
│       • QueryRewriter (DeepSeek V3 查询理解)           │
│  🆕 R统计引擎ssa-r-statistics:1.0.1 Docker ✅         │
│       • plumber API | 统计护栏 | 预签名URL | 非特权用户 │
│  前端Chat组件V2Ant Design X🆕 ✅                   │
│       AIStreamChat | ThinkingBlock | useAIStream Hook   │
└─────────────────────────────────────────────────────────┘
                      ↓ 依赖
┌─────────────────────────────────────────────────────────┐
│              平台基础层 (Platform Layer)                  │
│  🏆 **Postgres-Only架构**(新)                          │
│  ├── 统一缓存platform_schema.app_cache        ✅       │
│  ├── 统一队列platform_schema.job (pg-boss)    ✅       │
│  ├── 任务管理job.data 统一存储                ✅       │
│  └── 断点续传CheckpointService 通用化         ✅       │
│                                                          │
│  🆕 **OSS 存储服务**2026-01-22                       │
│  ├── 阿里云 OSS4 Bucket生产/开发 × 数据/静态)       │
│  ├── StorageAdapterOSSAdapter + LocalAdapter           │
│  └── 私有化部署STORAGE_TYPE=local 支持本地存储         │
│                                                          │
│  存储 | 日志 | 缓存 | 任务 | 健康检查 | 监控 | 连接池     │
│  ✅    ✅    ✅    ✅    ✅        ✅    ✅                │
└─────────────────────────────────────────────────────────┘

技术栈

前端

  • React 19 + TypeScript 5 + Vite 7
  • Ant Design 6.0 + Ant Design X 2.1 新增!
  • TailwindCSS 3 + React Query v5 + React Router DOM v7
  • 架构frontend-v2模块化顶部导航

后端

  • Fastify v4 (Node.js 22)
  • Prisma 6 (10个Schema隔离)
  • LLMDeepSeek-V3, Qwen-Max, GPT-5-Pro, Claude-4.5
  • 架构增量演进legacy + common + modules

数据库

  • PostgreSQL 15 Docker: pgvector/pgvector:pg15
  • pgvector 0.8.1 2026-01-19 新增(向量数据库扩展,支持 RAG
  • pg_bigm 1.2 2026-01-24 新增中日韩全文搜索10-100倍性能提升
  • 14个Schema隔离platform/aia/pkb/asl/dc/iit/ssa/ssa_schema🆕/st/rvw/admin/common/capability/ekb

云原生部署

  • 阿里云 SAE (Serverless 应用引擎)
    • Python微服务v1.0- 内网172.17.173.66:8000
    • Node.js后端v1.3- 内网172.17.173.73:3001
    • 前端Nginxv1.0- 内网172.17.173.72:80
    • CLB负载均衡 - 公网:http://8.140.53.236/
  • RDS PostgreSQL 15生产环境运行中
  • OSS对象存储 2026-01-22 已集成4个Bucket
  • ACR容器镜像仓库已推送3个镜像
  • 阿里云 ACR (容器镜像服务) 已推送3个镜像Frontend、Backend、Python
  • 阿里云 RDS (PostgreSQL 15) 已迁移数据
  • RDS PostgreSQL 15 + OSS (对象存储) + NAT网关
  • ACR (容器镜像服务 - 个人版免费)
  • 部署状态🚀 进行中PostgreSQL、Python微服务、前端镜像、Node.js后端

🚀 当前开发状态2026-02-22

🎉 最新进展SSA 智能对话与工具体系架构设计完成2026-02-22

SSA 智能对话架构设计完成2026-02-22

重大里程碑:从"统计分析执行器"到"数据感知的统计顾问"的架构升级设计全部完成!

设计产出 核心内容 状态
意图识别与对话架构设计 Intent Router规则+LLM混合+ DataContext + 6 种意图分类
工具体系规划方案(融合方案) 四层七工具READ/INTERACT/THINK/ACT+ Session 黑板 + Token 控制
四层七工具实现机制详解 三层架构Node.js 编排 + 对话层 LLM + 工具层)+ System Prompt 架构
开发计划 v1.2 6 Phase / 134h / 22 天 + 8 条架构约束C1-C8

架构关键决策

  • 对话层 LLM:六段式 System Prompt 动态组装 + 流式输出(禁止 Function Calling
  • Postgres-Only 缓存Session 黑板使用 CacheFactory无 Redis遵循云原生规范
  • 上下文守卫数据依赖意图explore/analyze/discuss/feedback在无数据时自动降级为 chat
  • Zod 动态校验LLM 输出的列名、方法名、意图类型等枚举值均动态校验

下一步Phase DeployR 工具补齐 37h→ Phase ISession 黑板 + READ 层 30h→ Phase II对话层 LLM + 意图路由器 35h

相关文档

  • 开发计划:docs/03-业务模块/SSA-智能统计分析/04-开发计划/11-智能对话与工具体系开发计划.md
  • 系统设计:docs/03-业务模块/SSA-智能统计分析/00-系统设计/SSA-Pro 四层七工具实现机制详解.md

SSA QPER 四层架构全部完成2026-02-21

重大里程碑Q→P→E→R 完整链路闭环,端到端 40/40 测试通过!

Phase 核心产出 状态
E+ 7 个 R 工具 Block-based 标准化输出 + DynamicReport + Word 导出
Q QueryService + LLM Intent + Zod 动态防幻觉 + 追问卡片
P ConfigLoader + DecisionTable + FlowTemplate + PlannedTrace + 热更新
R ReflectionService + 槽位注入 + Zod 校验 + 敏感性冲突准则 + 结论缓存

架构亮点

  • 四层降级体系:每层 LLM 失败时自动 fallback系统不中断
  • 配置化驱动:决策表/模板/工具注册表为 JSONPOST /reload 热更新
  • 统计量槽位注入LLM 被剥夺生成数值权限,所有数值来自 R 引擎

相关文档

  • 开发计划:docs/03-业务模块/SSA-智能统计分析/04-开发计划/10-QPER架构开发计划-智能化主线.md
  • 开发总结:docs/03-业务模块/SSA-智能统计分析/06-开发记录/SSA-QPER架构开发总结-2026-02-21.md

🎉 SSA Week 1 开发完成 + R Docker 构建成功2026-02-19

实时质控系统 + 管理端批量操作 + 质控驾驶舱设计

2026-02-07 开发完成:

  • 4 个新数据库表:iit_qc_logsiit_record_summaryiit_qc_project_statsiit_field_metadata
  • pg-boss 防抖机制:singletonKey 5 分钟去重
  • Worker 双产出:质控日志(仅新增)+ 录入汇总upsert
  • 管理端批量操作:一键全量质控 + 一键全量汇总

2026-02-08 计划制定:

  • 📋 XML 临床切片格式:对 LLM 更友好,减少幻觉
  • 📋 质控驾驶舱页面:风险热力图 + 统计卡片
  • 📋 变量标签系统:按语义标签切片数据

双脑架构 + 三层记忆 + 主动性增强 + 隐私合规V2.9.1

重大里程碑

  • 🎉 完整架构设计V2.9.1 开发计划发布6份模块化文档
  • 🎉 双脑路由SOP 状态机处理结构化任务ReAct 引擎处理模糊查询
  • 🎉 三层记忆:流水账(全量日志)+ 热记忆(高频注入)+ 历史书(按需检索)
  • 🎉 隐私合规PII 脱敏中间件P0 合规必需

核心设计

组件 功能 设计文档
双脑架构 SOP写操作+ ReAct只读查询 02-核心引擎实现指南.md
三层记忆 周报卷叠 + 意图驱动检索 01-数据库设计.md
主动性增强 Cron Skill + 用户画像 + 反馈循环 03-服务层实现指南.md
隐私合规 AnonymizerService + PII 审计日志 03-服务层实现指南.md
自动化工具 AutoMapper REDCap Schema 对齐 03-服务层实现指南.md

开发阶段规划

Phase 内容 优先级
Phase 1 基础工具层ToolsService + HardRuleEngine P0
Phase 1.5 隐私安全AnonymizerService P0 合规必需
Phase 2 SOP 引擎 + 热记忆 P0
Phase 3 ReAct 引擎 + 流水账 P0
Phase 4 调度系统Cron Skill + ProfilerService P1
Phase 5 智能路由IntentService P1

相关文档

  • 综合开发计划:docs/03-业务模块/IIT Manager Agent/04-开发计划/IIT Manager Agent V2.6 综合开发计划.md
  • 模块状态:docs/03-业务模块/IIT Manager Agent/00-模块当前状态与开发指南.md

🎉 Protocol Agent MVP 完整交付2026-01-25

一键生成研究方案 + Word 导出

重大里程碑

  • 🎉 MVP 完整可用:从关键要素收集到完整研究方案输出的全流程
  • 🎉 Word 导出Pandoc 转换,格式完美,支持自定义模板
  • 🎉 代码量:累计 ~8,500 行前端3,300+后端4,700+Python500

核心功能

功能 实现 状态
一键生成研究方案 流式输出+A4预览+12章节
Word文档导出 pypandoc + Pandoc
动态双面板布局 ResizableSplitPane
研究摘要展示 CollapsibleContent 折叠/展开
延迟创建对话 类ChatGPT体验
对话历史管理 保存+加载+标题更新

技术亮点

  • 无编辑器方案对话生成→Markdown预览→Pandoc导出开发快速
  • Prompt工程:阶段约束+数据凝练放宽,避免模型混乱
  • 流式渲染SSE + 自定义Markdown组件打字机效果

相关文档

  • 开发记录:docs/03-业务模块/AIA-AI智能问答/06-开发记录/2026-01-25-Protocol_Agent_MVP完整交付.md
  • 开发计划V2docs/03-业务模块/AIA-AI智能问答/04-开发计划/06-一键生成研究方案开发计划V2.md

🆕 运营监控系统 MVP 完成2026-01-25

全模块埋点 + 运营看板

功能完成

  • 🎉 数据采集7个业务模块埋点全部完成
  • 🎉 运营看板DAU/DAT/模块统计/实时活动流
  • 🎉 用户画像360度用户资产统计知识库、审查任务等

埋点模块覆盖

模块 埋点功能 状态
SYSTEM 用户登录
AIA 智能体对话完成
PKB 知识库创建/删除、RAG检索
ASL 文献筛选完成
DC Tool B提取、Tool C代码处理
RVW 稿件审查完成
IIT REDCap数据同步

技术实现

  • ActivityService火烧即忘模式带 try-catch 保护
  • SimpleLog 表admin_schema5个索引优化查询
  • Stats APIoverview/live-feed/user-overview/cleanup

相关文档

  • 开发计划:docs/03-业务模块/ADMIN-运营管理端/04-开发计划/03-运营监控系统MVP开发计划.md
  • 实施记录:docs/03-业务模块/ADMIN-运营管理端/04-开发计划/04-运营监控系统MVP实施记录.md

🆕 登录体验优化2026-01-25

默认跳转 AI 问答 + 模块权限修复

优化内容

  • 用户登录后默认进入 /ai-qaAI问答模块而非首页
  • 修复用户模块权限显示逻辑(有自定义配置时正确显示)
  • SUPER_ADMIN 用户返回完整模块权限列表
  • 顶部导航 LOGO 更换为品牌图标52px高度
  • LoginPage 路径映射与 moduleRegistry.ts 保持一致

修复文件

  • backend/src/modules/admin/services/userService.ts - 模块权限显示逻辑
  • backend/src/common/auth/auth.service.ts - getUserModules SUPER_ADMIN处理
  • frontend-v2/src/pages/LoginPage.tsx - 路径映射修正
  • frontend-v2/src/framework/layout/TopNavigation.tsx - LOGO更换

🆕 PKB 布局修复2026-01-25

解决 CSS 类名冲突

问题PKB 工作区问答页面只显示部分内容

原因Protocol Agent 的 .chat-container 样式覆盖了共享组件的同名样式

解决:将 Protocol Agent 模块的 CSS 类名重命名为 .pa-chat-container

修复文件

  • frontend-v2/src/modules/aia/protocol-agent/components/ChatArea.tsx
  • frontend-v2/src/modules/aia/protocol-agent/styles/protocol-agent.css

🆕 OSS 存储集成完成2026-01-22

阿里云 OSS 正式接入平台基础层

重大里程碑

  • 🎉 存储服务上线:文件持久化从本地存储升级到云端 OSS
  • 🎉 双模式架构:支持 SaaS 云端部署和医疗机构私有化部署
  • 🎉 PKB 首个集成:个人知识库文档已对接 OSS 存储

核心组件

组件 说明 状态
OSSAdapter 阿里云 OSS 存储实现
LocalAdapter 本地文件系统实现(私有化部署)
StorageFactory 根据环境变量自动选择适配器
签名URL 支持原始文件名下载

Bucket 配置

Bucket 用途 权限
ai-clinical-data 生产数据 私有 + SSE-OSS 加密
ai-clinical-data-dev 开发数据 私有
ai-clinical-static 生产静态资源 公共读
ai-clinical-static-dev 开发静态资源 公共读

目录结构规范

tenants/{tenantId}/users/{userId}/pkb/{kbId}/{uuid}.{ext}

相关文档

  • 实施方案:docs/01-平台基础层/02-存储服务/OSS存储实施方案-MVP版.md
  • 开发规范:docs/04-开发规范/11-OSS存储开发规范.md
  • 开发记录:docs/01-平台基础层/02-存储服务/OSS集成开发记录-2026-01-22.md

数据库变更

  • difyDocumentId 字段重命名为 storageKey(存储 OSS 路径)

🏆 里程碑:成功替换 DifyPKB 完全使用自研 RAG 引擎2026-01-21

Dify 已完全移除pgvector RAG 引擎生产可用

重大里程碑

  • 🎉 彻底移除 Dify 依赖PKB 模块不再依赖任何外部 RAG 服务
  • 🎉 自研引擎上线:完全使用 PostgreSQL + pgvector 的本地 RAG 方案
  • 🎉 Postgres-Only 架构完成:所有核心功能都在 PostgreSQL 内实现

核心技术栈

组件 技术 状态
数据库 PostgreSQL 15 + pgvector 0.8.1
文档处理 Python pymupdf4llm
向量化 阿里云 text-embedding-v4 (1024维)
查询理解 DeepSeek V3
重排序 阿里云 qwen3-rerank

本次完成工作2026-01-21

  • 移除 Dify 代码
    • 重构 ragService.ts - 移除双轨模式,只保留 pgvector
    • 重构 knowledgeBaseService.ts - 移除 Dify 创建逻辑
    • 重构 documentService.ts - 移除 Dify 上传/轮询逻辑
    • 删除 DifyClient.ts - 改为废弃桩文件(兼容 Legacy 代码)
    • 移除 env.ts 中的 Dify 配置项
  • 端到端测试通过:创建知识库 → 上传文档 → 向量检索 全流程验证

架构亮点

Brain-Hand 模型:
  业务层 (Brain) → DeepSeek V3 查询理解 → 生成检索词
  引擎层 (Hand) → 向量+关键词 → RRF → Rerank → 结果

完整链路:
  PDF → Markdown → 分块 → 向量化 → 存储(pgvector)
  用户查询 → DeepSeek翻译 → 向量检索 → Rerank → Top K

性能指标

  • 单次检索2.5秒
  • 单次成本¥0.0025
  • 跨语言准确率提升:+20.5%

遗留问题

  • OSS 存储集成已完成2026-01-22
  • pg_bigm 扩展已安装2026-01-24
  • 🔧 Legacy 代码保留 Dify 桩文件(兼容性考虑)

使用文档


🏆 历史进展pgvector 向量数据库集成2026-01-19

pgvector 0.8.1 安装成功

背景

  • PKB 模块需要实现 RAG 检索功能
  • 原计划依赖 Dify 知识库,现改为 PostgreSQL 原生 pgvector 方案
  • 与 Postgres-Only 架构理念一致,减少外部依赖

完成工作

  • Docker 镜像迁移:postgres:15-alpinepgvector/pgvector:pg15
  • pgvector 扩展安装:版本 0.8.1
  • 数据安全执行双重备份SQL dump + Volume tarball
  • 功能验证:前后端服务重启后功能全部正常
  • 数据完整性用户数据、pg-boss 队列函数全部正常

技术细节

项目 说明
Docker 镜像 pgvector/pgvector:pg15
pgvector 版本 0.8.1
支持索引类型 HNSW、IVFFlat
最大向量维度 16000 维
阿里云 RDS 兼容性 完全兼容RDS 为 0.8.0

版本兼容性说明

  • 开发环境pgvector 0.8.1
  • 生产环境(阿里云 RDSpgvector 0.8.0
  • 兼容性0.8.x 系列向后兼容,数据格式和 API 一致

文件变更

  • docker-compose.yml:更新 postgres 服务镜像
  • Dockerfile.postgres-pgvector:自定义构建文件(备用)
  • backup_before_pgvector_20260119.sql:迁移前备份
  • postgres_volume_backup_20260119.tarVolume 备份

下一步

  • 已完成RAG 引擎完整实现2026-01-21
  • 🔜 Phase 2: 安装 pg_bigm 扩展(关键词检索增强)
  • 🔜 PKB 模块切换到 pgvector 后端(替换 Dify

🏆 历史进展AIA V2.1 Prompt管理集成2026-01-18

AIA 模块 Prompt 管理系统集成

功能:

  • 10 个智能体 Prompt 迁移到数据库(capability_schema.prompt_templates
  • 管理端可在线编辑和调试提示词
  • 灰度预览(调试者看 DRAFT普通用户看 ACTIVE
  • 三级容灾(数据库 → 缓存 → 兜底)
  • 版本管理和回滚

Prompt Code 列表:

Prompt Code 智能体
AIA_SCIENTIFIC_QUESTION 科学问题梳理
AIA_PICO_ANALYSIS PICO 梳理
AIA_TOPIC_EVALUATION 选题评价
AIA_OUTCOME_DESIGN 观察指标设计
AIA_CRF_DESIGN 病例报告表设计
AIA_SAMPLE_SIZE 样本量计算
AIA_PROTOCOL_WRITING 临床研究方案撰写
AIA_METHODOLOGY_REVIEW 方法学评审智能体
AIA_PAPER_POLISH 论文润色
AIA_PAPER_TRANSLATE 论文翻译

修改文件:

  • backend/scripts/migrate-aia-prompts.ts - 迁移脚本
  • backend/src/common/prompt/prompt.fallbacks.ts - 兜底 Prompt
  • backend/src/modules/aia/services/agentService.ts - 集成 PromptService
  • backend/src/modules/aia/services/conversationService.ts - 传递 userId

🆕 ASL 智能文献检索 DeepSearch MVP2026-01-18

功能完成

核心功能:

  • 集成 unifuncs DeepSearch APIOpenAI 兼容协议)
  • 自然语言输入研究问题AI 自动生成 PubMed 检索策略
  • SSE 实时流式显示 AI 思考过程
  • 提取并展示 PubMed 文献链接
  • 数据库存储任务记录

技术实现:

  • 后端:researchService.ts + researchController.tsSSE 流式接口)
  • 前端:ResearchSearch.tsx(统一内容流展示)
  • 数据库:asl_schema.asl_research_tasks

API 端点:

方法 路径 说明
POST /api/v1/asl/research/stream SSE 流式检索
POST /api/v1/asl/research/tasks 异步任务(备用)
GET /api/v1/asl/research/tasks/:taskId/status 任务状态

前端入口:

  • 路由:/literature/research/search
  • 菜单AI智能文献 → 2. 智能文献检索

已知限制:

  • ⚠️ SSE 模式,离开页面任务中断
  • ⚠️ 每次检索成本约 0.3 元unifuncs API

🏆 历史进展:通用能力层重大升级 + AIA V2.02026-01-14

Phase 1: 通用流式响应服务OpenAI Compatible

后端能力:

  • 创建 common/streaming/ 模块4个文件~400行
  • OpenAIStreamAdapter - SSE适配器
  • StreamingService - 流式响应服务
  • 支持 contentreasoning_content 双流
  • 深度思考标签处理(<think>...</think>
  • Token统计和错误处理

输出格式:

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"你好"}}]}\n\n
data: {"id":"chatcmpl-xxx","choices":[{"delta":{"reasoning_content":"思考..."}}]}\n\n
data: [DONE]\n\n

Phase 2: Chat通用组件V2Ant Design X深度集成

前端能力:

  • 升级 shared/components/Chat/12个文件~2000行
  • AIStreamChat - 流式对话组件(现代感设计)
  • ThinkingBlock - 深度思考展示组件
  • ConversationList - 会话列表组件
  • useAIStream Hook - 流式响应处理
  • useConversations Hook - 会话管理
  • 现代感样式Ultramodern风格

核心特性:

  • 逐字流式显示(打字机效果)
  • 深度思考可折叠展示
  • 会话列表分组(今天/昨天/更早)
  • 欢迎页配置
  • 快捷提示
  • 附件上传UI完成后端待实现

Phase 3: AIA模块V2.0完整实现

前端开发:

  • AgentHub - 智能体大厅100%还原原型图V11
    • 12个智能体卡片
    • 时间轴设计5个阶段
    • 主题色区分(蓝/黄/青/紫)
    • 序号水印
    • 悬停动画效果
  • ChatWorkspace - 对话工作台
    • 全屏沉浸式体验
    • 左侧会话列表256px
    • 欢迎语(左上角单行)
    • 流式响应集成
    • 深度思考展示
    • 自动创建对话

后端开发:

  • agentService - 12个智能体配置
  • conversationService - 重构使用 StreamingService
  • attachmentService - 附件处理骨架
  • API端点12个
  • 认证授权(符合规范)
  • 流式响应测试通过

代码统计:

  • 前端业务:~1,500行10个文件
  • 后端业务:~900行9个文件
  • 通用能力(前端):~2,000行12个文件
  • 通用能力(后端):~400行4个文件
  • 总计:~4,800行

测试结果:

  • 智能体大厅展示正常
  • 卡片点击进入对话
  • 自动创建对话
  • 流式响应测试通过HTTP 200
  • 深度思考展示正常
  • 认证授权正常

待完成功能:

  • 🔜 附件上传API实现
  • 🔜 历史消息加载
  • 🔜 知识库集成RAG
  • 🔜 Prompt管理系统对接

技术创新:

  • 🏆 OpenAI Compatible标准化 - 业界主流格式
  • 🏆 通用能力抽象 - 前后端Chat能力可复用
  • 🏆 现代感设计 - Ant Design X Ultramodern风格

🎉 历史进展ADMIN 运营管理端2026-01-11

Phase 3.5.1-3.5.4 已完成83%

Phase 3.5.1: 基础设施搭建

  • 创建 capability_schema
  • 添加 prompt_templatesprompt_versions
  • 添加 prompt:view/edit/debug/publish 权限
  • 迁移 RVW Prompt 到数据库2个RVW_EDITORIAL, RVW_METHODOLOGY

Phase 3.5.2: PromptService 核心服务

  • 灰度预览逻辑(调试者看 DRAFT用户看 ACTIVE
  • 模块级调试控制(setDebugMode(userId, ['RVW'], true)
  • Handlebars 模板渲染
  • 变量提取与校验(自动从 {{xxx}} 提取)
  • 三级容灾(数据库→缓存→兜底 hardcoded

Phase 3.5.3: 管理 API

  • 8个 RESTful 接口(/api/admin/prompts/*
  • 权限控制PROMPT_ENGINEER 只能编辑SUPER_ADMIN 才能发布)

Phase 3.5.4: 前端管理界面

  • 管理端基础架构AdminLayout, OrgLayout
  • 路由系统(/admin/*, /org/*
  • 头像下拉菜单切换入口
  • PromptListPage筛选、搜索、调试开关
  • PromptEditorCodeMirror 6 简化版中文友好15px字体
  • PromptEditorPage编辑、保存、发布、测试、版本历史

Phase 3.5.5 待完成

  • 改造 RVW 服务使用 promptService.get()(替代文件读取)
  • 端到端测试

📄 相关文档

  • 详细计划:docs/03-业务模块/ADMIN-运营管理端/04-开发计划/02-Prompt管理系统开发计划.md
  • TODO清单docs/03-业务模块/ADMIN-运营管理端/04-开发计划/01-TODO清单可追踪.md

已完成模块

1. 平台基础层 🏆 Postgres-Only 架构完成!2025-12-13

核心架构Platform-Only 模式

  • 统一缓存PostgresCacheAdapterplatform_schema.app_cache
  • 统一队列PgBossQueueplatform_schema.job (pg-boss)
  • 任务管理:所有任务信息存储在 job.data (JSONB)
  • 断点续传CheckpointService 通用化(操作 job.data
  • 智能阈值小任务直接处理大任务队列处理THRESHOLD=50

原有能力:

  • 存储服务LocalAdapter ↔ OSSAdapter
  • 日志系统Winston + 结构化JSON
  • 健康检查Liveness + Readiness
  • 监控指标(数据库连接/内存/API
  • 数据库连接池Serverless优化

测试覆盖:

  • 单元测试8个全部通过
  • 集成测试2个全部通过
  • 架构验证Platform-Only 验证通过

技术债务:

  • ⚠️ Phase 8 全面测试断点续传压力测试、1000篇文献完整流程
  • ⚠️ Phase 9 SAE 部署验证

2. AIA模块 - AI智能问答 🎉 V2.0 重构完成!2026-01-14

重大升级:

  • 🆕 通用能力层架构StreamingService + Chat组件V2
  • 🆕 OpenAI Compatible:标准流式格式 + 深度思考支持
  • 🎨 现代感UI100%还原原型图V11
  • 12个智能体:覆盖选题→方案→评审→统计→写作全流程

5个阶段12个智能体

  1. 选题优化3个科学问题梳理、PICO梳理、选题评价
  2. 方案设计4个观察指标、CRF设计、样本量计算、方案撰写
  3. 方案预评审1个方法学评审
  4. 数据与统计2个数据预处理、统计分析工具类跳转DC
  5. 写作助手2个论文润色、论文翻译

技术栈:

  • 前端React 19 + Ant Design X 2.1 + Lucide Icons
  • 后端Fastify + Prisma + OpenAI Compatible API
  • 通用能力StreamingService + AIStreamChat + ThinkingBlock

当前状态:

  • 前端AgentHub100%还原原型图)
  • 前端ChatWorkspace流式对话 + 深度思考)
  • 后端API12个端点
  • 流式响应测试通过
  • 🔜 附件上传(待完成)
  • 🔜 历史消息加载(待完成)

完成度85% - 核心功能完成,附件和历史功能待开发

详细文档: AIA模块状态与开发指南

3. PKB模块 - 个人知识库 🎉 成功替换 Dify自研 RAG 引擎上线!

开发进度

  • 后端API100%完成v1 + v2双路由运行
  • 前端Dashboard95%完成基于知识库仪表盘V5原型
  • 前端Workspace95%完成基于工作台V3原型
  • 全文阅读模式95%完成Chat组件集成
  • 逐篇精读模式95%完成(文档选择+对话)
  • 批处理模式95%完成(完整流程+结果导出)
  • RAG检索模式100%完成(🎉 2026-01-21 替换 Dify 完成!

核心功能

  • 知识库CRUD + 文档管理
  • 4种工作模式全文阅读、逐篇精读、批处理、RAG检索
  • 自研 pgvector RAG 引擎(替代 Dify
  • Ant Design X Chat组件集成
  • 响应式全屏布局

技术亮点

  • 模块化架构迁移(/modules/pkb
  • Zustand状态管理
  • 复用shared/components/Chat通用组件
  • 单层Header + 紧凑工作模式栏设计
  • pgvector 0.8.1 已集成2026-01-19
  • 自研 RAG 引擎上线Dify 已移除2026-01-21
  • 跨语言检索DeepSeek V3 查询理解 + 中英双语
  • OSS 存储集成2026-01-22文档存储云端化

待解决问题

  • 🔧 OSS 存储集成待完善
  • 🔧 pg_bigm 扩展待安装(优化中文关键词检索)

详细文档PKB模块当前状态

🚧 正在开发模块

4. ASL模块 - AI智能文献 🏆 Postgres-Only 架构改造完成!

开发进度

  • 标题摘要初筛MVP:完整流程(设置→启动→审核→结果→导出)
  • 全文复筛后端LLM服务、数据库、批处理、API
  • 🏆 Postgres-Only 架构改造智能阈值、任务拆分、断点续传Phase 6完成
  • 🚧 全文复筛前端UI4个核心页面待开发

核心功能

  • 双模型并行筛选DeepSeek-V3 + Qwen-Max
  • PICOS标准判断
  • 12字段结构化提取全文复筛
  • 医学逻辑验证 + 证据链验证
  • Excel批量导出

🚀 Postgres-Only 架构亮点

  • 智能双模式<50篇直接处理≥50篇队列处理
  • 任务拆分1000篇 → 20个批次每批50篇
  • 断点续传支持2-24小时长任务实例重启可恢复
  • Platform层统一:任务管理信息存储在 job.data,不在业务表中
  • 零额外成本:使用 pg-boss无需 Redis
  • 高可靠性自动重试3次6小时过期保护

技术实现

  • screeningService.ts:智能阈值判断,推送批次任务
  • screeningWorker.ts:批次处理,断点续传
  • CheckpointService:操作 job.data所有模块通用

详细文档ASL模块当前状态

5. DC模块 - 数据清洗整理 🏆 Tool C MVP + Postgres-Only 架构改造完成!

开发进度

  • Tool B后端100%完成1,658行代码

    • 4个核心服务HealthCheck、Template、DualModel、Conflict
    • 1个控制器6个API端点
    • 路由集成(/api/v1/dc/tool-b
    • Prisma Schema4个表
    • 100%云原生(复用平台能力)
    • 🏆 Postgres-Only 架构改造智能阈值、任务拆分、断点续传Phase 7完成
  • Tool B前端0%有V4原型设计未实现

  • Tool C数据编辑器MVP + NA处理 + Pivot优化 + UX重大改进完成

    • Python微服务~1800行- Day 1 + NA处理优化 + 全量数据处理
    • Node.js后端~3500行- Day 2-3, Day 5-8增强 + 全量返回
    • 前端界面(~4000行- Day 4-8, 筛选/行号/滚动条/全量加载
    • 通用 Chat 组件(~968行- Day 5
    • 7个功能按钮筛选、映射、分箱、条件、删NA、计算、Pivot
    • NA处理优化4个功能支持空值处理
    • Pivot优化保留未选列+原始列顺序)
    • 计算列方案B安全列名映射支持特殊字符 + 全角字符转换)
    • UX重大改进Day 8
      • 列头筛选Excel风格Community版本中文本地化
      • 行号列(固定左侧,灰色背景)
      • 滚动条修复修改MainLayout整个页面无滚动条
      • 全量数据不再限制50行筛选精确
      • 删除预览提示条
    • 总计:~13068行 | 完成度98%
  • Tool A:未开发

  • Portal已完成Tool B + Tool C 入口)

核心功能Tool C2025-12-10最新

  • 7个功能按钮高级筛选、数值映射、生成分类变量、条件生成列、删除缺失值、计算列、Pivot转换
  • NA处理支持数值映射保持/映射/删除)、分箱(保持/标记/分配)、条件(为空/不为空)
  • Pivot优化保留未选择的列、保持原始列顺序
  • 计算列方案B安全列名映射支持中文括号等特殊字符 + 全角字符自动转换
  • UX重大改进
    • 列头筛选Excel风格Community版本中文本地化显示值计数
    • 行号列(固定左侧,灰色背景,#列头)
    • 滚动条修复修改MainLayout整个页面无滚动条只有表格内部滚动
    • 全量数据不再限制50行筛选精确所有操作全量返回

核心功能Tool B

  • 双模型并发提取DeepSeek-V3 + Qwen-Max
  • 自动冲突检测(字段级对比)
  • Excel健康检查空值率、Token估算、拦截策略
  • 预设模板系统(肺癌、糖尿病、高血压)

🚀 Postgres-Only 架构亮点

  • 智能双模式<50条直接处理≥50条队列处理
  • 任务拆分1000条 → 20个批次每批50条
  • 断点续传:支持长时间提取任务,实例重启可恢复
  • Platform层统一:与 ASL 共用 CheckpointService
  • 零额外成本:使用 pg-boss无需 Redis

技术实现

  • ExtractionController.ts:智能阈值判断,推送批次任务
  • extractionWorker.ts:批次处理,断点续传
  • CheckpointService:操作 job.data所有模块通用

技术亮点

  • Excel内存处理零落盘云原生
  • 双模型交叉验证减少AI幻觉
  • 3层JSON解析容错机制
  • 复用LLMFactory、storage、cache、jobQueue
  • 预写Python函数架构稳定、安全、高性能
  • 安全列名映射(支持特殊字符列名)

待开发功能

  • 缺失值填补(均值/中位数/众数/固定值)
  • 多重插补MICE- 高优先级

详细文档DC模块当前状态


🚀 IIT Manager Agent代号IIT2025-12-31启动

定位AI驱动的IIT研究者发起的临床研究智能助手

核心价值

  • 🎯 主动工作的AI Agent - 不是被动工具而是24/7主动监控的智能助手
  • 🎯 REDCap深度集成 - 与医院现有EDC系统无缝对接
  • 🎯 影子状态机制 - AI建议+人类确权符合医疗合规要求FDA 21 CFR Part 11
  • 🎯 企业微信实时通知 - 质控预警秒级推送,移动端查看

MVP目标2周冲刺

  • 打通 REDCap → AI质控 → 企微通知 完整闭环
  • 实现智能数据质控基于Protocol的入排标准检查
  • 支持历史数据全量扫描
  • PC Workbench复核界面

Day 1 完成情况2025-12-31 100%

  • 数据库Schema5个表IitProject, IitPendingAction, IitTaskRun, IitUserMapping, IitAuditLog
  • 模块结构controllers/services/agents/adapters/routes/types/workers
  • 类型系统223行完整TypeScript类型定义
  • 系统集成:健康检查端点正常(/api/v1/iit/health
  • 企业微信配置Access Token获取成功核心验证通过
  • 企业微信可信域名iit.xunzhengyixue.com网页授权+JS-SDK授权
  • Prisma Schema含V1.1新增字段cachedRules, lastSyncAt, miniProgramOpenId

REDCap环境就绪2026-01-02 100%

  • REDCap本地部署15.8.0版本Docker Compose3容器架构
  • 测试项目创建test0102 (PID 16),已录入测试数据
  • DET功能验证Data Entry Trigger真实存在源码验证通过
  • 技术调研完成:源码分析 + External Module文档研究
  • 对接方案确定DET实时触发 + REST API数据读写
  • 技术方案文档《REDCap对接技术方案与实施指南》1070行完整文档
  • 代码设计完成RedcapAdapter、WebhookController、SyncManager
  • REDCap文档体系部署手册、问题排查、API对接指南

REDCap生产环境部署完成2026-02-02 100%

  • ECS服务器:阿里云 ecs.u2a-c1m2.large2核4GB公网IP39.105.153.58
  • RDS MySQLMySQL 8.02核4GB数据库redcap_prod
  • Docker部署Docker CE 26.1.3 + Docker Compose v2.27.0
  • HTTPS配置Nginx反向代理 + 阿里云免费SSL证书
  • 域名上线https://redcap.xunzhengyixue.com/
  • 管理员账户:已创建,可正常登录
  • 完整文档:部署方案 + 信息记录 + 问题排查手册

Day 1 技术验证

# 数据库CRUD测试 - 全部通过 ✅
✅ IIT项目创建成功
✅ 影子状态记录创建成功
✅ 任务运行记录创建成功
✅ 用户映射创建成功
✅ 审计日志创建成功
✅ 关联查询成功

# 企业微信API测试 - Access Token获取成功 ✅
✅ CorpID: ww6ab493470ab4f377
✅ AgentID: 1000002
✅ Access Token获取成功核心验证通过

技术架构REDCap对接方案V1.0

  • DET实时触发Data Entry TriggerREDCap原生0秒延迟
  • REST API集成exportRecords数据拉取+ importRecords数据回写
  • 双保险机制Webhook95% + 定时轮询补充30分钟
  • Postgres-Only架构复用平台缓存app_cache和队列pg-boss
  • Dify RAG集成Protocol知识检索 + 规则预缓存(性能优化)
  • 影子状态机制PROPOSED → APPROVED → EXECUTED 状态流转
  • 前端技术栈Taro 4.xReact语法支持小程序+H5双端

核心创新

  • 🔥 DET实时触发CRC保存数据→5秒内收到企微质控通知实时性100%
  • 🔥 零侵入性只用REDCap原生API和DET无需修改源码维护成本<10%
  • 🔥 双保险机制Webhook幂等性 + 轮询补充数据不丢失可靠性99.9%
  • 🔥 历史数据扫描BulkScanService支持存量数据质控智能阈值+断点续传)
  • 🔥 规则预缓存Protocol上传时提取关键规则简单检查<100ms

开发进度

  • Day 1/14 基础架构就位(数据库、模块结构、企微配置)
  • REDCap准备 本地环境部署 + 对接方案确定 + 技术方案文档
  • Day 2 REDCap API Adapter + WebhookController + SyncManager完成
  • Day 3 企微推送 + 端到端测试通过REDCap → Node.js → 企微)
  • Phase 1.5 AI对话集成完成2026-01-03
    • ChatService + SessionMemory + REDCap数据查询
    • 意图识别 + 数据注入LLM + 解决LLM幻觉
    • 测试通过查询ID 710条记录统计
  • Phase 2待开始 - Function Calling + Dify知识库
  • Day 6-9影子状态管理 + 历史数据扫描
  • Day 10-14PC Workbench前端 + 端到端测试 + Demo录制

已创建文件Day 1 + REDCap准备

backend/prisma/schema.prisma               # 新增iit_schema5个表
backend/src/modules/iit-manager/          # 模块目录结构
├── types/index.ts                        # 223行类型定义
├── routes/index.ts                       # 路由骨架
├── test-iit-database.ts                  # 数据库测试(通过)
└── test-wechat-push.ts                   # 企微测试Access Token成功
backend/src/config/env.ts                 # 新增企微配置
backend/src/index.ts                      # IIT模块集成

redcap-docker-dev/                        # REDCap Docker环境新增
├── docker-compose.yml                    # 开发环境配置
├── docker-compose.prod.yml               # 生产环境配置
├── Dockerfile.redcap                     # REDCap镜像
├── docker-entrypoint.sh                  # 容器启动脚本
├── config/
│   ├── apache/redcap.conf               # Apache配置
│   ├── php/php.ini                      # PHP配置
│   └── database.php                     # REDCap数据库配置
└── scripts/                             # 管理脚本setup/start/stop/logs/clean

docs/03-业务模块/IIT Manager Agent/        # 完整文档架构
├── 00-系统设计/                          # 技术架构白皮书、实施战略
├── 02-技术设计/                          # 完整技术开发方案V1.12170行
├── 04-开发计划/
│   ├── MVP开发任务清单.md               # 开发任务清单
│   ├── 企业微信注册指南.md              # 企微配置指南
│   └── REDCap对接技术方案与实施指南.md   # ⭐ 1070行完整方案新增
└── 06-开发记录/                          # V1.1更新完成报告

docs/03-业务模块/Redcap/                   # REDCap文档体系新增
├── 00-模块概览/                          # REDCap文档导航
├── 01-部署与配置/                        # Docker部署手册、问题排查
└── 03-API对接与开发/                     # 二次开发指南、API对接

下一步Day 2

  • 🔄 RedcapAdapter开发exportRecords/exportMetadata/importRecords
  • 🔄 WebhookController开发DET接收器、<100ms响应、异步处理
  • 🔄 SyncManager开发(定时轮询、增量同步、幂等性保护)
  • 🔄 集成测试DET配置、API测试、端到端验证

详细文档


🚀 阿里云生产环境部署状态2025-12-24

已完成部署

1. 基础设施层

  • VPC网络vpc-2ze055cptkew9c38w4r06172.17.0.0/16
  • NAT网关ngw-2zeec9ulzgw7ywvx1pst6公网IP: 182.92.176.14
  • 安全组sg-2zedk6fi8sgmmcwdu7tu
  • 交换机2个可用区F + 可用区A
  • SAE命名空间cn-beijing:test-airesearch

2. 数据存储层

  • RDS PostgreSQL 15

    • 实例ID: pgm-2zex1m2y3r23hdn5
    • 规格: 2核4GB
    • 内网地址: pgm-2zex1m2y3r23hdn5.pg.rds.aliyuncs.com:5432
    • 数据库: ai_clinical_research
    • 数据迁移: 完成90MB SQL文件约12秒导入
    • Schema验证: 11个Schema全部迁移成功
    • 数据验证: 用户3条、项目2条、文献1204条
    • 部署时间: 2025-12-24
  • OSS对象存储

    • Bucket: ai-clinical-research
    • 存储类型: 标准存储(同城冗余)
    • 内网域名: ai-clinical-research.oss-cn-beijing-internal.aliyuncs.com
    • RAM用户: oss-bucket-put-object@1991407246109125.onaliyun.com
    • AccessKey: 已配置(不公开)

3. 容器镜像服务ACR

  • 命名空间: ai-clinical
  • Registry: crpi-cd5ij4pjt65mweeo.cn-beijing.personal.cr.aliyuncs.com
  • 已推送镜像:
    • 前端Nginx: ai-clinical_frontend-nginx:v1.0约50MB

      • 构建时间: 2025-12-24
      • 基础镜像: nginx:alpine
      • 功能: React SPA + Nginx反向代理 + 动态环境变量
      • 配置文件: frontend-v2/Dockerfile, nginx.conf, .dockerignore
    • Python微服务: python-extraction:v1.01.12GB

      • 构建时间: 2025-12-24
      • 基础镜像: python:3-slim
      • 功能: PDF提取PyMuPDF+ 数据清洗pandas/numpy/polars
      • 特性: 移除Nougat减小1.5GB、使用阿里云Debian源
      • 配置文件: extraction_service/Dockerfile, requirements-prod.txt, .dockerignore
    • Node.js后端: backend-service:v1.0838MB压缩后~186MB 新增!

      • 构建时间: 2025-12-24约5分钟
      • 基础镜像: node:alpine
      • 构建策略: 改进版方案B本地编译+Docker打包
      • 技术突破: 修复200+TypeScript错误、手动补全30+Prisma关系字段
      • 架构特性: Postgres-Onlypg-boss队列+PostgreSQL缓存
      • 配置文件: backend/Dockerfile, backend/.dockerignore, backend/prisma/schema.prisma

🚧 进行中

4. SAE应用部署

  • Python微服务: 已成功部署到SAE轻量版

    • 应用名称: python-extraction-test
    • 规格: 1核2GB
    • 内网地址: http://172.17.173.66:8000
    • 状态: 运行中
  • Node.js后端: 镜像已推送待部署到SAE

    • 目标规格: 1核2GB测试环境
    • 端口: 8000
    • 健康检查: /api/health
  • Node.js后端: Docker镜像待构建

    • 目标规格: 2核4GB
    • 端口: 3001
    • 依赖: RDS PostgreSQL
  • 前端Nginx: 镜像已推送待部署到SAE

    • 目标规格: 1核2GB
    • 端口: 80
    • 需配置: 后端API内网地址

📋 待完成

  • Python微服务部署到SAE
  • Node.js后端Docker镜像构建
  • Node.js后端部署到SAE
  • 前端Nginx部署到SAE
  • 配置服务间内网通信
  • 全链路验证测试
  • Dify AI服务部署可选

📊 部署文档

部署进度总览

操作手册

技术指南

🎯 部署关键成就

  1. PostgreSQL数据迁移

    • 采用pg_dump全量导出/导入方案
    • 11个Schema完整迁移
    • 数据一致性验证通过
    • 安全加固(外网访问已关闭)
  2. 前端Nginx镜像优化

    • 解决Docker Hub网络问题使用通用标签
    • 修复30个TypeScript编译错误
    • 多阶段构建优化
    • 健康检查通过
  3. Python微服务镜像优化

    • 移除Nougat OCR减小1.5GB
    • 使用阿里云Debian镜像源解决apt-get网络问题
    • 保留数据清洗功能pandas/numpy/polars
    • 运行时依赖优化libgl1、libglib2.0
  4. 镜像配置文件Git管理

    • Dockerfile: 已提交Git构建蓝图
    • .dockerignore: 已提交Git优化构建
    • 依赖文件: 已提交Git可复现
    • 敏感信息: 禁止提交(.env等

💰 当前运行成本估算

服务 规格 月成本 状态
RDS PostgreSQL 2核4GB ¥260 运行中
OSS存储 10GB ¥2 运行中
NAT网关 小型 ¥60 运行中
EIP流量 5Mbps ¥40 运行中
ACR镜像仓库 个人版 ¥0免费 运行中
SAE - Python 1核2GB×1 ¥60 待部署
SAE - Node.js 2核4GB×1 ¥120 待部署
SAE - Frontend 1核2GB×1 ¥60 待部署
总计 - ¥602/月 部署中

📁 项目结构概览

AIclinicalresearch/
├── frontend-v2/              # 🌐 前端React 19 + TS
│   └── src/
│       ├── framework/        # 框架层(布局、路由、权限)
│       ├── modules/          # 业务模块
│       │   ├── asl/          # ✅ AI智能文献
│       │   ├── aia/          # 🎉 AI智能问答 V2.012个智能体
│       │   ├── pkb/          # ✅ 个人知识库
│       │   ├── dc/           # ✅ 数据清洗Tool C 完成)
│       │   └── ...
│       └── shared/           # 共享组件和工具
│           └── components/   # ✨ 通用能力层
│               └── Chat/     # ✅ Chat 通用组件 V2Ant Design X
│                   ├── AIStreamChat.tsx      # 🆕 流式对话(推荐)
│                   ├── ThinkingBlock.tsx     # 🆕 深度思考展示
│                   ├── ConversationList.tsx  # 🆕 会话列表
│                   └── hooks/useAIStream.ts  # 🆕 流式响应Hook
│
├── backend/                  # ⚙️ 后端Fastify + Prisma
│   └── src/
│       ├── common/           # ⭐ 平台基础设施(云原生)
│       │   ├── storage/      # 存储抽象层
│       │   ├── logging/      # 日志系统
│       │   ├── cache/        # 缓存服务
│       │   ├── jobs/         # 异步任务
│       │   ├── llm/          # LLM 适配器层5个模型
│       │   ├── streaming/    # 🆕 流式响应服务OpenAI Compatible
│       │   ├── rag/          # RAG 引擎Dify集成
│       │   ├── document/     # 文档处理引擎
│       │   ├── prompt/       # Prompt 管理系统
│       │   └── ...
│       ├── legacy/           # 🔸 现有业务代码(稳定)
│       └── modules/          # 🌟 新架构模块
│           ├── asl/          # ✅ AI智能文献
│           └── dc/           # 🚧 数据清洗(开发中)
│
├── docs/                     # 📚 文档体系
│   ├── 00-系统总体设计/      # 架构设计
│   ├── 01-平台基础层/        # 平台能力
│   ├── 02-通用能力层/        # LLM、RAG等
│   ├── 03-业务模块/          # 各模块文档
│   ├── 04-开发规范/          # 云原生规范等
│   └── 08-项目管理/          # 计划和进度
│
└── prisma/
    └── schema.prisma         # 10个Schema定义

🎯 核心设计原则

1. 云原生架构 ☁️

  • 无状态应用:不依赖本地文件系统
  • 存储抽象层:适配器模式,零代码环境切换
  • 异步任务避免Serverless超时30秒
  • 数据库连接池:防止连接数耗尽
  • 详细规范云原生开发规范 必读

2. 模块化与独立部署 🔧

  • 前后端分离:每个模块前后端完全独立
  • Schema隔离数据库层面模块隔离10个Schema
  • 路由独立每个模块有独立的API路由前缀
  • 支持独立销售:任何模块都可独立打包

3. 商业模式灵活性 💰

  • 4种部署形态云端SaaS、私有化部署、单机版、混合部署
  • 多版本支持:专业版/高级版/旗舰版Feature Flag控制
  • AI成本可控动态切换LLM模型
  • 模块化售卖:任何模块都可独立销售

4. 渐进式演进 📈

  • 新旧并存Frontend-v2+ Frontend旧保留
  • 增量改造Legacy模块保持稳定新模块标准化
  • Just-in-time:聚焦当前,架构预留,避免过度设计

📅 开发时间线

时间 阶段 主要成果
2025-11-12 Week 1 数据库Schema隔离10个Schema
2025-11-13~14 Week 2 前端模块化架构 + 后端分层
2025-11-17 Week 2+ 平台基础设施8个核心模块
2025-11-18~21 Week 3~4 ASL标题摘要初筛MVP
2025-11-22~23 ASL Day 2-5 ASL全文复筛后端完成
2025-11-26~27 DC Day 2-3 DC工具B健康检查+模板管理
2025-11-28 DC Day 4-8 DC Tool C MVP + UX重大改进完成
2025-12-13 架构优化 Postgres-Only架构改造完成
2025-12-24 上午 部署启动 🚀 PostgreSQL数据迁移 + 前端/Python镜像推送ACR
2025-12-24 下午 后端镜像构建 🎉 Node.js后端镜像构建成功修复200+TS错误
2025-12-31 IIT Agent启动 🎯 Day 1完成数据库+企微配置+模块骨架)
2026-01-01 企微可信域名 🌐 iit.xunzhengyixue.com域名验证完成
2026-01-02 REDCap对接方案 🏆 REDCap环境部署 + DET+REST API方案确定
2026-01-07 上午 PKB前端V3 🎉 PKB模块前端V3设计实现完成Dashboard+Workspace+3种工作模式
2026-01-07 下午 PKB批处理完善 🏆 批处理完整流程调试通过(执行+进度+结果导出)+ 文档上传功能 + UI优化
2026-01-19 pgvector集成 🎉 pgvector 0.8.1 安装成功PKB RAG基础设施就绪
2026-01-21 🎉 Dify替换完成 PKB 成功替换 Dify完全使用自研 pgvector RAG 引擎
2026-01-22 🆕 OSS存储集成 阿里云OSS接入PKB文档存储云端化建立存储开发规范
当前 PKB模块生产可用 核心功能全部实现95%自研RAG+OSS存储上线
2026-01-07 晚 RVW模块开发完成 🎉 Phase 1-3完成后端迁移+数据库扩展+前端重构)

🎯 下一步计划

🔥 最高优先级(当前)- 部署到生产环境

  1. Python微服务部署到SAE - 已完成

    • 创建SAE应用轻量版
    • 配置环境变量OSS、数据库
    • 健康检查验证
    • 获取内网地址:http://172.17.173.66:8000
  2. Node.js后端Docker镜像构建 - 已完成

    • Prisma反向同步32个模型
    • 手动补全Prisma关系字段30+个)
    • 修复TypeScript编译错误200+ → 0
    • 创建Dockerfile改进版方案B
    • 构建并推送到ACR838MB镜像
  3. Node.js后端部署到SAE - 待执行

    • 创建SAE应用1核2GB测试环境
    • 配置ACR镜像拉取认证
    • 配置环境变量数据库、Python服务、OSS、LLM API
    • 健康检查验证
    • 获取内网地址
  4. Node.js后端部署到SAE

    • 创建SAE应用2核4GB
    • 配置环境变量DATABASE_URL、OSS等
    • 配置Python微服务内网地址
    • 健康检查验证
  5. 前端Nginx部署到SAE

    • 创建SAE应用1核2GB
    • 配置后端API内网地址
    • 公网域名绑定
    • SSL证书配置
  6. 全链路验证测试

    • 前端→Node.js后端→Python微服务→RDS
    • ASL文献筛选完整流程
    • DC数据清洗完整流程
    • 性能和稳定性测试

短期1-2周- 功能完善

  1. ASL全文复筛前端Day 6-8

    • 4个核心页面设置、进度、工作台、结果
    • PDF上传和预览功能
    • 双模型判断对比UI
    • 实时进度监控
  2. DC工具B前端开发

    • 健康检查界面
    • 模板管理界面
    • 批量提取界面
    • 冲突解决界面

中期1-2月- 模块完善

  1. DC模块完整实现工具A、Portal优化
  2. ASL模块优化Prompt优化、并发处理
  3. 监控和告警系统配置
  4. CI/CD流程建立

长期3月+- 新模块开发

  1. SSA模块智能统计分析
  2. ST模块统计分析工具
  3. RVW模块稿件审查系统

📚 重要文档索引

🎯 必读文档新AI助手

  1. 本文档 - 系统当前状态
  2. 前后端模块化架构设计-V2.md - 架构总纲
  3. 云原生开发规范.md - 开发规范(必读)
  4. 🔴 数据库开发规范.md - 数据库操作安全(必读!)
  5. 01-系统架构分层设计.md - 三层架构详解
  6. 09-总体需求文档(PRD).md - 产品需求

🚀 当前开发相关

🚀 部署文档(新增)

🏗️ 架构设计


🔧 开发环境

环境要求

Node.js: v22.18.0+
PostgreSQL: 15+当前使用15.14Docker镜像: pgvector/pgvector:pg15
pgvector: 0.8.1(向量数据库扩展)
npm: 10+

快速启动

后端

cd backend
npm install
npx prisma generate
npm run dev  # http://localhost:3001

前端

cd frontend-v2
npm install
npm run dev  # http://localhost:3000

环境变量配置

参考:环境配置指南


⚠️ 重要注意事项

对新AI助手

  1. 优先阅读云原生开发规范:所有代码必须遵守
  2. 使用平台基础设施:不要重复实现存储、日志、缓存等
  3. 遵循Schema隔离每个模块的表必须在对应的Schema中
  4. 查看最新开发记录:了解当前开发状态和已知问题

常见陷阱

  1. 不要在业务模块中自己实现存储:使用 import { storage } from '@/common/storage'
  2. 不要硬编码配置:使用环境变量
  3. 不要依赖本地文件系统使用OSS或内存处理
  4. 不要创建新的Prisma实例:使用全局 prisma 实例

🔴 数据库操作安全2026-01-11 事故教训)

⚠️ 严重警告2026-01-11 因误用 prisma db push --force-reset 导致数据库事故,详见 事故总结报告

禁止使用的危险命令:

命令 危险等级 说明
prisma db push --force-reset 🔴 极高 会删除所有数据和非Prisma管理的对象
prisma migrate reset 🔴 极高 重置整个数据库

必须遵守的规范:

  1. 操作前必须备份docker exec ai-clinical-postgres pg_dump -U postgres -d ai_clinical_research > backup.sql
  2. 使用安全命令prisma migrate dev(开发)或 prisma migrate deploy(生产)
  3. 了解 Prisma 管理边界pg-boss 的 job_common 表和函数不由 Prisma 管理

Prisma 不管理的对象(需手动恢复):

  • platform_schema.job_common 表 → 恢复脚本:restore_job_common.sql
  • platform_schema.create_queue() 函数 → 恢复脚本:restore_pgboss_functions.sql
  • platform_schema.delete_queue() 函数

📚 完整规范数据库开发规范


📊 项目统计

代码量

  • 前端:约 15,000 行TypeScript + TSX
  • 后端:约 20,000 行TypeScript
  • 文档:约 50,000 行Markdown
  • 总计:约 85,000 行

模块完成度

  • 已完成AIA V2.085%核心功能完成、平台基础层100%、RVW95%、通用能力层升级100%)、PKB95%Dify已替换 🎉
  • 🚧 开发中ASL80%、DCTool C 98%Tool B后端100%Tool B前端0%、IIT60%Phase 1.5完成)、SSAQPER主线100% + 智能对话架构设计完成Phase Deploy待启动 🎉
  • 📋 未开始ST

部署完成度

  • 基础设施VPC100%、NAT网关100%、安全组100%
  • 数据存储RDS PostgreSQL100%、OSS100%
  • 容器镜像前端Nginx100%、Python微服务100%、Node.js后端100% 新增!
  • SAE应用Python微服务100%已运行、Node.js后端镜像已推送待部署、前端Nginx待部署
  • 📋 验证测试:全链路测试(待进行)

测试覆盖率

  • 平台基础层100%8/8模块全部通过
  • 通用能力层100%StreamingService + Chat组件V2
  • AIA模块 V2.0:流式响应测试通过
  • PKB模块:手动测试通过
  • ASL模块部分自动化测试31个REST Client测试用例
  • DC模块:开发中

🏆 Postgres-Only 架构2025-12-13 重大创新)

核心理念

Platform-Only 模式:所有平台级功能(缓存、队列、任务管理)统一在 Platform 层实现,业务层只关注业务逻辑。

架构演进

改造前:
  业务层 (分散)
  ├── ASL: 任务管理字段 (6个)
  └── DC:  任务管理字段 (6个)
      ❌ 代码重复
      ❌ 维护困难

改造后Platform-Only
  平台层 (统一)
  ├── platform_schema.job.data  (pg-boss)
  │   └── 所有任务管理信息
  └── CheckpointService (通用)
      └── 操作 job.data所有模块复用
  
  业务层 (简洁)
  ├── ASL: 只存储业务信息
  └── DC:  只存储业务信息
      ✅ 无重复
      ✅ 易维护
      ✅ 符合3层架构

核心组件

组件 位置 功能 通用性
PostgresCacheAdapter common/cache/ Postgres 缓存 所有模块
PgBossQueue common/jobs/ pg-boss 队列封装 所有模块
CheckpointService common/jobs/ 操作 job.data 所有模块
任务拆分工具 common/jobs/utils.ts 智能拆分批次 所有模块

智能双模式处理

const QUEUE_THRESHOLD = 50;

if (items.length >= 50) {
  // 队列模式:可靠性优先
  - 任务拆分(50/批)
  - 断点续传(每10条保存)
  - 自动重试(3次)
  - 支持24小时长任务
} else {
  // 直接模式:性能优先
  - 快速响应(<1分钟
  - 无队列延迟
  - 适合小任务
}

技术亮点

  1. Platform-Only 模式(首创)

    • 利用 pg-boss 的 job.data 字段统一管理
    • 业务表保持简洁,只存储业务信息
    • CheckpointService 真正做到平台级通用
  2. 智能阈值判断

    • 根据数据量自动选择处理模式
    • 性能与可靠性的完美平衡
    • 用户体验优化
  3. 零额外成本

    • 不引入 Redis年省¥8400
    • 使用已有 Postgres 实现缓存和队列
    • 适合小团队快速迭代
  4. 企业级可靠性

    • 断点续传:任务中断后可恢复
    • 自动重试失败任务重试3次
    • 并发处理:支持多实例并行
    • 长任务支持可运行24小时

适用模块

  • ASL 筛选服务(已改造)
  • DC 提取服务(已改造)
  • 📋 SSA 统计分析(未来)
  • 📋 RVW 文献综述(未来)

详细文档


🌟 技术亮点

  1. Platform-Only 架构:统一任务管理,零代码重复 🏆
  2. 智能双模式处理:小任务快速响应,大任务可靠执行 🏆
  3. 🎉 Dify 成功替换!自研 RAG 引擎生产上线! 🏆 2026-01-21
    • 彻底移除 Dify 依赖PKB 模块完全使用自研 pgvector 引擎
    • pgvector 向量检索 + DeepSeek V3 查询理解 + qwen3-rerank 重排序
    • 跨语言支持:中文查询匹配英文文档(准确率 +20.5%
  4. 🆕 OSS 存储集成完成! 🏆 2026-01-22
    • 阿里云 OSS 接入4个 Bucket生产/开发 × 数据/静态)
    • 存储适配器架构OSSAdapter + LocalAdapter支持云端和私有化部署
    • PKB 集成:文档存储云端化,目录结构规范化
    • 开发规范建立11-OSS存储开发规范.md
    • Brain-Hand 架构:业务层思考,引擎层执行
    • 成本¥0.0025/次延迟2.5秒
  5. 适配器模式:存储/缓存/日志支持本地↔云端零代码切换
  6. 13个Schema隔离:架构一次到位(新增 ekb_schema
  7. Prisma自动路由Schema迁移后代码无需修改
  8. 4个LLM集成DeepSeek、Qwen、GPT、Claude
  9. 增量演进:新旧并存,降低风险
  10. 云原生就绪为SAE部署做好准备

📞 联系方式

  • 项目负责人:技术架构师
  • 文档维护:开发团队
  • 问题反馈GitHub Issues

文档版本v4.2
最后更新2026-01-24
本次更新pg_bigm 扩展安装完成、异步队列安全规范升级


🎉 祝新的AI助手工作顺利所有信息已梳理完毕可以无缝衔接


📝 最新更新2026-01-07

PKB模块核心功能全部实现 🎉

上午前端V3设计实现

  1. 后端模块迁移:迁移到 /modules/pkbv2 API路由注册
  2. Dashboard页面基于知识库仪表盘V5原型实现
  3. Workspace页面基于工作台V3原型实现

下午:批处理完整流程验证通过

  1. 三种工作模式:全文阅读、逐篇精读、批处理全部实现
  2. 批处理功能
    • 模板选择临床研究信息提取8个字段
    • 文档选择3-50篇
    • 实时进度显示
    • 结果表格(多行显示+Tooltip
    • CSV导出
  3. Chat组件集成Ant Design X支持流式响应和自定义渲染
  4. 文档上传功能:拖拽上传 + 进度显示 + Modal弹窗
  5. UI优化:参考文献格式化、表格多行显示、输入框清除、自动滚动

技术亮点

  • 问题解决修复10+个技术问题API路径、字段映射、状态同步等
  • 性能优化批处理3篇文档~17-28秒
  • 用户体验:严格按照原型图实现,界面美观易用

里程碑意义

PKB模块已具备生产环境可用性,为后续功能扩展奠定坚实基础! 4. 3种工作模式:全文阅读、逐篇精读、批处理 5. Chat组件集成复用Ant Design X通用Chat组件 6. 响应式布局单层Header + 紧凑工作模式栏 + 最大化聊天区域

技术亮点

  • 🔥 模块化架构:前后端完整迁移到新架构
  • 🔥 复用通用组件shared/components/Chat
  • 🔥 Zustand状态管理:轻量级状态管理
  • 🔥 双路由兼容v1 + v2 API同时运行

待解决问题

  • 🔧 批处理API执行待调试
  • 🔧 知识资产页面导航条待完善
  • 🔧 UI与原型图精细化对比

模块进度75%完成


IIT Manager Agent Phase 1.5 完成2026-01-03

  • AI对话集成完成ChatService + SessionMemory
  • REDCap数据查询集成意图识别 + 数据注入LLM
  • 解决LLM幻觉问题AI基于真实数据回答
  • 测试通过查询test0102项目ID 7患者详细信息

模块进度60%完成Phase 1.5


RVW稿件审查模块开发完成2026-01-07 ~ 2026-01-10

Phase 1后端模块迁移与扩展

  • 创建 backend/src/modules/rvw/ 模块结构
  • 迁移 reviewService、editorialService、methodologyService
  • 实现智能体选择selectedAgents
  • 实现批量运行APIbatchRunReviewTasks
  • 替换 console.log 为 logger 服务
  • 注册 v2 API路由/api/v2/rvw
  • 实现 pg-boss 异步任务处理reviewWorker

Phase 2数据库字段扩展

  • 添加 selectedAgents、editorialScore、methodologyScore、methodologyStatus 字段
  • 添加 picoExtract、isArchived、archivedAt 字段
  • 使用 prisma db push 同步到数据库

Phase 3前端重构frontend-v2

  • 创建 frontend-v2/src/modules/rvw/ 完整模块目录结构
  • 实现 Dashboard 页面(任务列表、筛选、批量操作)
  • 实现 TaskDetail 组件(审稿进度条、实时状态轮询)
  • 实现 EditorialReport/MethodologyReport 组件
  • 实现 AgentModal 组件(智能体选择弹窗)
  • 注册到 moduleRegistry.ts

Phase 4集成测试与Bug修复2026-01-10

  • 修复方法学分数不显示问题
  • 修复只选方法学时详情页不显示报告问题
  • 完整测试单智能体和双智能体审稿流程

Phase 5报告导出2026-01-10

  • 安装 docx 和 file-saver 库
  • 实现 Word 文档导出功能
  • 支持结构化报告(标题、基本信息、稿约规范性、方法学评估)

Phase 6Schema隔离迁移2026-01-10

  • 将 review_tasks 表从 public 迁移到 rvw_schema
  • 更新 Prisma schema 中的 @@schema 指令
  • 重新生成 Prisma Client
  • 验证所有查询和关联正常工作

技术亮点

  • 🔥 新旧API兼容v1 + v2 API同时运行
  • 🔥 智能体可选:用户可选择运行稿约规范性/方法学/两者
  • 🔥 异步任务处理:使用 pg-boss 队列处理长时间审稿任务
  • 🔥 Word导出:使用 docx 库生成专业格式的审稿报告
  • 🔥 Schema隔离:数据库表已迁移到独立的 rvw_schema
  • 🔥 云原生改造:使用 logger 服务,遵循开发规范

模块进度95%完成Phase 1-6