HaHafeng
4c6eaaecbf
Summary: - Implement async file upload processing (Platform-Only pattern) - Add parseExcelWorker with pg-boss queue - Implement React Query polling mechanism - Add clean data caching (avoid duplicate parsing) - Fix pivot single-value column tuple issue - Optimize performance by 99 percent Technical Details: 1. Async Architecture (Postgres-Only): - SessionService.createSession: Fast upload + push to queue (3s) - parseExcelWorker: Background parsing + save clean data (53s) - SessionController.getSessionStatus: Status query API for polling - React Query Hook: useSessionStatus (auto-serial polling) - Frontend progress bar with real-time feedback 2. Performance Optimization: - Clean data caching: Worker saves processed data to OSS - getPreviewData: Read from clean data cache (0.5s vs 43s, -99 percent) - getFullData: Read from clean data cache (0.5s vs 43s, -99 percent) - Intelligent cleaning: Boundary detection + ghost column/row removal - Safety valve: Max 3000 columns, 5M cells 3. Bug Fixes: - Fix pivot column name tuple issue for single value column - Fix queue name format (colon to underscore: asl:screening -> asl_screening) - Fix polling storm (15+ concurrent requests -> 1 serial request) - Fix QUEUE_TYPE environment variable (memory -> pgboss) - Fix logger import in PgBossQueue - Fix formatSession to return cleanDataKey - Fix saveProcessedData to update clean data synchronously 4. Database Changes: - ALTER TABLE dc_tool_c_sessions ADD COLUMN clean_data_key VARCHAR(1000) - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_rows DROP NOT NULL - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_cols DROP NOT NULL - ALTER TABLE dc_tool_c_sessions ALTER COLUMN columns DROP NOT NULL 5. Documentation: - Create Postgres-Only async task processing guide (588 lines) - Update Tool C status document (Day 10 summary) - Update DC module status document - Update system overview document - Update cloud-native development guide Performance Improvements: - Upload + preview: 96s -> 53.5s (-44 percent) - Filter operation: 44s -> 2.5s (-94 percent) - Pivot operation: 45s -> 2.5s (-94 percent) - Concurrent requests: 15+ -> 1 (-93 percent) - Complete workflow (upload + 7 ops): 404s -> 70.5s (-83 percent) Files Changed: - Backend: 15 files (Worker, Service, Controller, Schema, Config) - Frontend: 4 files (Hook, Component, API) - Docs: 4 files (Guide, Status, Overview, Spec) - Database: 4 column modifications - Total: ~1388 lines of new/modified code Status: Fully tested and verified, production ready
业务模块层
层级定位： 面向用户的产品功能
核心原则： 独立部署、独立销售、低耦合、高内聚
📋 模块清单
| 模块 | 名称 | 商业价值 | 独立性 | 状态 | 优先级 |
|---|---|---|---|---|---|
| AIA | AI智能问答 | ⭐⭐⭐⭐ | ⭐⭐⭐ | ✅ 已完成 | - |
| ASL | AI智能文献 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⏳ 下一步 | P0 |
| PKB | 个人知识库 | ⭐⭐⭐ | ⭐⭐⭐ | ✅ 已完成 | - |
| DC | 数据清洗整理 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⏳ 规划中 | P1 |
| SSA | 智能统计分析 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⏳ 规划中 | P2 |
| ST | 统计分析工具 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⏳ 规划中 | P2 |
| RVW | 稿件审查系统 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⚡ 独立系统 | P1 |
| ADMIN | 运营管理端 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⏳ 规划中 | P1 |
🎯 设计原则
1. 独立部署
- 每个模块可以单独部署
- 支持Docker打包
- 支持Electron单机版
2. 独立销售
- 每个模块可以单独售卖
- 完整的文档和部署指南
- 独立的定价策略
3. 低耦合
- 模块间不直接依赖
- 通过通用能力层交互
4. 高内聚
- 模块内功能完整
- 业务逻辑闭环
📊 模块分类
核心差异化模块（可独立销售）
-
ASL - AI智能文献 ⭐⭐⭐⭐⭐
- 目标客户：系统评价研究者、循证医学中心
- 商业模式：独立售卖
-
DC - 数据清洗整理 ⭐⭐⭐⭐⭐
- 目标客户：临床科室、数据管理员
- 商业模式：独立售卖
-
RVW - 稿件审查系统 ⭐⭐⭐⭐⭐
- 目标客户：期刊编辑部、出版社
- 商业模式：按期刊订阅
协同模块（组合销售）
- SSA + ST - 统计分析套件
- 协同效应强
- 组合售卖
基础模块（平台功能）
- AIA + PKB - AI助手套件
- 平台标配功能
管理模块
- ADMIN - 运营管理端
- SaaS运营必备
📚 快速导航
快速上下文
- [AI对接] 业务模块快速上下文.md - 2-3分钟了解业务模块层
核心模块（按优先级）
- ASL-AI智能文献 - P0，下一步开发
- DC-数据清洗整理 - P1，核心竞争力
- RVW-稿件审查系统 - P1，独立系统
- ADMIN-运营管理端 - P1，商业基础
已完成模块
- AIA-AI智能问答 - 已完成
- PKB-个人知识库 - 已完成
规划中模块
- SSA-智能统计分析 - P2
- ST-统计分析工具 - P2
🔗 相关文档
最后更新： 2025-11-06
维护人： 技术架构师