feat(deploy): Complete PostgreSQL migration and Docker image build

Summary: - PostgreSQL database migration to RDS completed (90MB SQL, 11 schemas) - Frontend Nginx Docker image built and pushed to ACR (v1.0, ~50MB) - Python microservice Docker image built and pushed to ACR (v1.0, 1.12GB) - Created 3 deployment documentation files Docker Configuration Files: - frontend-v2/Dockerfile: Multi-stage build with nginx:alpine - frontend-v2/.dockerignore: Optimize build context - frontend-v2/nginx.conf: SPA routing and API proxy - frontend-v2/docker-entrypoint.sh: Dynamic env injection - extraction_service/Dockerfile: Multi-stage build with Aliyun Debian mirror - extraction_service/.dockerignore: Optimize build context - extraction_service/requirements-prod.txt: Production dependencies (removed Nougat) Deployment Documentation: - docs/05-部署文档/00-部署进度总览.md: One-stop deployment status overview - docs/05-部署文档/07-前端Nginx-SAE部署操作手册.md: Frontend deployment guide - docs/05-部署文档/08-PostgreSQL数据库部署操作手册.md: Database deployment guide - docs/00-系统总体设计/00-系统当前状态与开发指南.md: Updated with deployment status Database Migration: - RDS instance: pgm-2zex1m2y3r23hdn5 (2C4G, PostgreSQL 15.0) - Database: ai_clinical_research - Schemas: 11 business schemas migrated successfully - Data: 3 users, 2 projects, 1204 literatures verified - Backup: rds_init_20251224_154529.sql (90MB) Docker Images: - Frontend: crpi-cd5ij4pjt65mweeo.cn-beijing.personal.cr.aliyuncs.com/ai-clinical/ai-clinical_frontend-nginx:v1.0 - Python: crpi-cd5ij4pjt65mweeo.cn-beijing.personal.cr.aliyuncs.com/ai-clinical/python-extraction:v1.0 Key Achievements: - Resolved Docker Hub network issues (using generic tags) - Fixed 30 TypeScript compilation errors - Removed Nougat OCR to reduce image size by 1.5GB - Used Aliyun Debian mirror to resolve apt-get network issues - Implemented multi-stage builds for optimization Next Steps: - Deploy Python microservice to SAE - Build Node.js backend Docker image - Deploy Node.js backend to SAE - Deploy frontend Nginx to SAE - End-to-end verification testing Status: Docker images ready, SAE deployment pending
2025-12-24 18:21:55 +08:00
parent 5fa7b0bbe1
commit b64896a307
134 changed files with 4185 additions and 53 deletions
--- a/docs/00-系统总体设计/00-系统当前状态与开发指南.md
+++ b/docs/00-系统总体设计/00-系统当前状态与开发指南.md
@@ -1,10 +1,10 @@
 # AIclinicalresearch 系统当前状态与开发指南

-> **文档版本：** v2.0  
+> **文档版本：** v2.1  
 > **创建日期：** 2025-11-28  
 > **维护者：** 开发团队  
-> **最后更新：** 2025-12-22  
-> **重大进展：** 🏆 **DC Tool C Postgres-Only异步架构改造完成** - 性能提升99%，异步任务处理标准建立  
+> **最后更新：** 2024-12-24  
+> **重大进展：** 🚀 **阿里云生产环境部署启动** - PostgreSQL数据迁移完成、前端Nginx与Python微服务镜像已推送ACR  
 > **文档目的：** 快速了解系统当前状态，为新AI助手提供上下文

 ---
@@ -98,11 +98,13 @@

 **云原生部署**：
 - 阿里云 SAE (Serverless 应用引擎)
- RDS PostgreSQL 15 + OSS (对象存储) + Redis (可选，Dify需要)
+- RDS PostgreSQL 15 + OSS (对象存储) + NAT网关
+- ACR (容器镜像服务 - 个人版免费)
+- **部署状态**：🚀 **进行中**（PostgreSQL✅、前端镜像✅、Python镜像✅）

 ---

-## 🚀 当前开发状态（2025-12-10）
+## 🚀 当前开发状态（2024-12-24）

 ### ✅ 已完成模块

@@ -254,6 +256,137 @@

 ---

+## 🚀 阿里云生产环境部署状态（2024-12-24）
+
+### ✅ 已完成部署
+
+#### 1. 基础设施层
+- ✅ **VPC网络**：`vpc-2ze055cptkew9c38w4r06`（172.17.0.0/16）
+- ✅ **NAT网关**：`ngw-2zeec9ulzgw7ywvx1pst6`（公网IP: 182.92.176.14）
+- ✅ **安全组**：`sg-2zedk6fi8sgmmcwdu7tu`
+- ✅ **交换机**：2个（可用区F + 可用区A）
+- ✅ **SAE命名空间**：`cn-beijing:test-airesearch`
+
+#### 2. 数据存储层
+- ✅ **RDS PostgreSQL 15**
+  - 实例ID: `pgm-2zex1m2y3r23hdn5`
+  - 规格: 2核4GB
+  - 内网地址: `pgm-2zex1m2y3r23hdn5.pg.rds.aliyuncs.com:5432`
+  - 数据库: `ai_clinical_research`
+  - **数据迁移**: ✅ 完成（90MB SQL文件，约12秒导入）
+  - **Schema验证**: ✅ 11个Schema全部迁移成功
+  - **数据验证**: ✅ 用户3条、项目2条、文献1204条
+  - **部署时间**: 2024-12-24
+  
+- ✅ **OSS对象存储**
+  - Bucket: `ai-clinical-research`
+  - 存储类型: 标准存储（同城冗余）
+  - 内网域名: `ai-clinical-research.oss-cn-beijing-internal.aliyuncs.com`
+  - RAM用户: `oss-bucket-put-object@1991407246109125.onaliyun.com`
+  - AccessKey: 已配置（不公开）
+
+#### 3. 容器镜像服务（ACR）
+- ✅ **命名空间**: `ai-clinical`
+- ✅ **Registry**: `crpi-cd5ij4pjt65mweeo.cn-beijing.personal.cr.aliyuncs.com`
+- ✅ **已推送镜像**:
+  - **前端Nginx**: `ai-clinical_frontend-nginx:v1.0`（约50MB）
+    - 构建时间: 2024-12-24
+    - 基础镜像: `nginx:alpine`
+    - 功能: React SPA + Nginx反向代理 + 动态环境变量
+    - 配置文件: `frontend-v2/Dockerfile`, `nginx.conf`, `.dockerignore`
+  
+  - **Python微服务**: `python-extraction:v1.0`（1.12GB）
+    - 构建时间: 2024-12-24
+    - 基础镜像: `python:3-slim`
+    - 功能: PDF提取（PyMuPDF）+ 数据清洗（pandas/numpy/polars）
+    - 特性: 移除Nougat（减小1.5GB）、使用阿里云Debian源
+    - 配置文件: `extraction_service/Dockerfile`, `requirements-prod.txt`, `.dockerignore`
+
+### 🚧 进行中
+
+#### 4. SAE应用部署
+- ⏳ **Python微服务**: 镜像已推送，待部署到SAE
+  - 目标规格: 1核2GB
+  - 端口: 8000
+  - 健康检查: `/api/health`
+  
+- ⏳ **Node.js后端**: Docker镜像待构建
+  - 目标规格: 2核4GB
+  - 端口: 3001
+  - 依赖: RDS PostgreSQL
+  
+- ⏳ **前端Nginx**: 镜像已推送，待部署到SAE
+  - 目标规格: 1核2GB
+  - 端口: 80
+  - 需配置: 后端API内网地址
+
+### 📋 待完成
+
+- [ ] Python微服务部署到SAE
+- [ ] Node.js后端Docker镜像构建
+- [ ] Node.js后端部署到SAE
+- [ ] 前端Nginx部署到SAE
+- [ ] 配置服务间内网通信
+- [ ] 全链路验证测试
+- [ ] Dify AI服务部署（可选）
+
+### 📊 部署文档
+
+**部署进度总览**：
+- [00-部署进度总览.md](../05-部署文档/00-部署进度总览.md) - 🎯 **一站式部署状态查看**
+
+**操作手册**：
+- [07-前端Nginx-SAE部署操作手册.md](../05-部署文档/07-前端Nginx-SAE部署操作手册.md)
+- [08-PostgreSQL数据库部署操作手册.md](../05-部署文档/08-PostgreSQL数据库部署操作手册.md)
+- Python微服务SAE部署操作手册（待创建）
+
+**技术指南**：
+- [01-快速部署SOP-零基础版.md](../05-部署文档/01-快速部署SOP-零基础版.md) - 完整部署流程
+- [04-Python微服务-SAE容器部署指南.md](../05-部署文档/04-Python微服务-SAE容器部署指南.md)
+- [06-前端Nginx-SAE容器部署指南.md](../05-部署文档/06-前端Nginx-SAE容器部署指南.md)
+
+### 🎯 部署关键成就
+
+1. **PostgreSQL数据迁移** ✅
+   - 采用`pg_dump`全量导出/导入方案
+   - 11个Schema完整迁移
+   - 数据一致性验证通过
+   - 安全加固（外网访问已关闭）
+
+2. **前端Nginx镜像优化** ✅
+   - 解决Docker Hub网络问题（使用通用标签）
+   - 修复30个TypeScript编译错误
+   - 多阶段构建优化
+   - 健康检查通过
+
+3. **Python微服务镜像优化** ✅
+   - 移除Nougat OCR（减小1.5GB）
+   - 使用阿里云Debian镜像源（解决apt-get网络问题）
+   - 保留数据清洗功能（pandas/numpy/polars）
+   - 运行时依赖优化（libgl1、libglib2.0）
+
+4. **镜像配置文件Git管理** ✅
+   - Dockerfile: ✅ 已提交Git（构建蓝图）
+   - .dockerignore: ✅ 已提交Git（优化构建）
+   - 依赖文件: ✅ 已提交Git（可复现）
+   - 敏感信息: ❌ 禁止提交（.env等）
+
+### 💰 当前运行成本估算
+
+| 服务 | 规格 | 月成本 | 状态 |
+|------|------|-------|------|
+| RDS PostgreSQL | 2核4GB | ¥260 | ✅ 运行中 |
+| OSS存储 | 10GB | ¥2 | ✅ 运行中 |
+| NAT网关 | 小型 | ¥60 | ✅ 运行中 |
+| EIP流量 | 5Mbps | ¥40 | ✅ 运行中 |
+| ACR镜像仓库 | 个人版 | ¥0（免费） | ✅ 运行中 |
+| SAE - Python | 1核2GB×1 | ¥60 | ⏳ 待部署 |
+| SAE - Node.js | 2核4GB×1 | ¥120 | ⏳ 待部署 |
+| SAE - Frontend | 1核2GB×1 | ¥60 | ⏳ 待部署 |
+| **总计** | - | **¥602/月** | 部署中 |
+
+---
+
 ## 📁 项目结构概览

 ```
@@ -336,33 +469,68 @@ AIclinicalresearch/
 | **2025-11-18~21** | Week 3~4 | ✅ ASL标题摘要初筛MVP |
 | **2025-11-22~23** | ASL Day 2-5 | ✅ ASL全文复筛后端完成 |
 | **2025-11-26~27** | DC Day 2-3 | ✅ DC工具B健康检查+模板管理 |
-| **2025-11-28** | 当前 | 🚧 ASL全文复筛前端 + DC工具B开发 |
+| **2025-11-28** | DC Day 4-8 | ✅ DC Tool C MVP + UX重大改进完成 |
+| **2025-12-13** | 架构优化 | ✅ Postgres-Only架构改造完成 |
+| **2024-12-24** | **部署启动** 🚀 | ✅ PostgreSQL数据迁移 + 前端/Python镜像推送ACR |
+| **当前** | 部署进行中 | 🚧 SAE应用部署 + Node.js后端构建 |

 ---

 ## 🎯 下一步计划

-### 短期（1-2周）
-1. **ASL全文复筛前端**（Day 6-8）
+### 🔥 最高优先级（1-2天）- 部署到生产环境
+1. **Python微服务部署到SAE**
+   - 创建SAE应用
+   - 配置环境变量
+   - 健康检查验证
+   - 获取内网地址
+   
+2. **Node.js后端Docker镜像构建**
+   - 创建Dockerfile
+   - 配置数据库连接（RDS内网地址）
+   - 构建并推送到ACR
+   
+3. **Node.js后端部署到SAE**
+   - 创建SAE应用（2核4GB）
+   - 配置环境变量（DATABASE_URL、OSS等）
+   - 配置Python微服务内网地址
+   - 健康检查验证
+
+4. **前端Nginx部署到SAE**
+   - 创建SAE应用（1核2GB）
+   - 配置后端API内网地址
+   - 公网域名绑定
+   - SSL证书配置
+
+5. **全链路验证测试**
+   - 前端→Node.js后端→Python微服务→RDS
+   - ASL文献筛选完整流程
+   - DC数据清洗完整流程
+   - 性能和稳定性测试
+
+### 短期（1-2周）- 功能完善
+6. **ASL全文复筛前端**（Day 6-8）
   - 4个核心页面：设置、进度、工作台、结果
   - PDF上传和预览功能
   - 双模型判断对比UI
   - 实时进度监控

-2. **DC工具B完成**（Day 4-7）
-   - ExtractionService实现
-   - 批量提取API
-   - 前端集成和测试
+7. **DC工具B前端开发**
+   - 健康检查界面
+   - 模板管理界面
+   - 批量提取界面
+   - 冲突解决界面

-### 中期（1-2月）
-3. DC模块完整实现（工具A、工具C、Portal）
-4. ASL模块优化（Prompt优化、并发处理）
-5. LLM网关统一抽取
+### 中期（1-2月）- 模块完善
+8. DC模块完整实现（工具A、Portal优化）
+9. ASL模块优化（Prompt优化、并发处理）
+10. 监控和告警系统配置
+11. CI/CD流程建立

-### 长期（3月+）
-6. SSA模块（智能统计分析）
-7. ST模块（统计分析工具）
-8. RVW模块（稿件审查系统）
+### 长期（3月+）- 新模块开发
+12. SSA模块（智能统计分析）
+13. ST模块（统计分析工具）
+14. RVW模块（稿件审查系统）

 ---

@@ -380,6 +548,12 @@ AIclinicalresearch/
 - [DC模块README](../03-业务模块/DC-数据清洗整理/README.md)
 - [DC Day3完成总结](../03-业务模块/DC-数据清洗整理/06-开发记录/Day3完成总结.md)

+### 🚀 部署文档（新增）
+- ⭐ [00-部署进度总览.md](../05-部署文档/00-部署进度总览.md) - **一站式部署状态查看**
+- [01-快速部署SOP-零基础版.md](../05-部署文档/01-快速部署SOP-零基础版.md) - 完整部署流程
+- [07-前端Nginx-SAE部署操作手册.md](../05-部署文档/07-前端Nginx-SAE部署操作手册.md)
+- [08-PostgreSQL数据库部署操作手册.md](../05-部署文档/08-PostgreSQL数据库部署操作手册.md)
+
 ### 🏗️ 架构设计
 - [平台基础设施规划](../09-架构实施/04-平台基础设施规划.md)
 - [云原生部署架构指南](../09-架构实施/03-云原生部署架构指南.md)
@@ -447,6 +621,13 @@ npm run dev  # http://localhost:3000
 - 🚧 **开发中**：ASL（80%）、DC（Tool C 98%，Tool B后端100%，Tool B前端0%）
 - 📋 **未开始**：SSA、ST、RVW

+### 部署完成度
+- ✅ **基础设施**：VPC（100%）、NAT网关（100%）、安全组（100%）
+- ✅ **数据存储**：RDS PostgreSQL（100%）、OSS（100%）
+- ✅ **容器镜像**：前端Nginx（100%）、Python微服务（100%）
+- 🚧 **SAE应用**：Python微服务（待部署）、Node.js后端（镜像待构建）、前端Nginx（待部署）
+- 📋 **验证测试**：全链路测试（待进行）
+
 ### 测试覆盖率
 - **平台基础层**：100%（8/8模块全部通过）
 - **AIA模块**：手动测试通过
@@ -574,9 +755,9 @@ if (items.length >= 50) {

 ---

-**文档版本**：v1.8  
-**最后更新**：2025-12-13  
-**下次更新**：Phase 8 全面测试完成 或 Phase 9 SAE 部署完成
+**文档版本**：v2.1  
+**最后更新**：2024-12-24  
+**下次更新**：SAE应用部署完成 或 全链路验证测试完成

 ---