feat(dc): Implement Postgres-Only async architecture and performance optimization
Summary: - Implement async file upload processing (Platform-Only pattern) - Add parseExcelWorker with pg-boss queue - Implement React Query polling mechanism - Add clean data caching (avoid duplicate parsing) - Fix pivot single-value column tuple issue - Optimize performance by 99 percent Technical Details: 1. Async Architecture (Postgres-Only): - SessionService.createSession: Fast upload + push to queue (3s) - parseExcelWorker: Background parsing + save clean data (53s) - SessionController.getSessionStatus: Status query API for polling - React Query Hook: useSessionStatus (auto-serial polling) - Frontend progress bar with real-time feedback 2. Performance Optimization: - Clean data caching: Worker saves processed data to OSS - getPreviewData: Read from clean data cache (0.5s vs 43s, -99 percent) - getFullData: Read from clean data cache (0.5s vs 43s, -99 percent) - Intelligent cleaning: Boundary detection + ghost column/row removal - Safety valve: Max 3000 columns, 5M cells 3. Bug Fixes: - Fix pivot column name tuple issue for single value column - Fix queue name format (colon to underscore: asl:screening -> asl_screening) - Fix polling storm (15+ concurrent requests -> 1 serial request) - Fix QUEUE_TYPE environment variable (memory -> pgboss) - Fix logger import in PgBossQueue - Fix formatSession to return cleanDataKey - Fix saveProcessedData to update clean data synchronously 4. Database Changes: - ALTER TABLE dc_tool_c_sessions ADD COLUMN clean_data_key VARCHAR(1000) - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_rows DROP NOT NULL - ALTER TABLE dc_tool_c_sessions ALTER COLUMN total_cols DROP NOT NULL - ALTER TABLE dc_tool_c_sessions ALTER COLUMN columns DROP NOT NULL 5. Documentation: - Create Postgres-Only async task processing guide (588 lines) - Update Tool C status document (Day 10 summary) - Update DC module status document - Update system overview document - Update cloud-native development guide Performance Improvements: - Upload + preview: 96s -> 53.5s (-44 percent) - Filter operation: 44s -> 2.5s (-94 percent) - Pivot operation: 45s -> 2.5s (-94 percent) - Concurrent requests: 15+ -> 1 (-93 percent) - Complete workflow (upload + 7 ops): 404s -> 70.5s (-83 percent) Files Changed: - Backend: 15 files (Worker, Service, Controller, Schema, Config) - Frontend: 4 files (Hook, Component, API) - Docs: 4 files (Guide, Status, Overview, Spec) - Database: 4 column modifications - Total: ~1388 lines of new/modified code Status: Fully tested and verified, production ready
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
# 工具C（Tool C）- 科研数据编辑器 - 当前状态与开发指南
|
||||
|
||||
> **最后更新**: 2025-12-21
|
||||
> **当前版本**: Day 5-8 MVP + 功能按钮 + NA处理 + Pivot优化 + UX重大改进 + **多指标转换✅**
|
||||
> **开发进度**: Python微服务 ✅ | Session管理 ✅ | AI代码生成 ✅ | 前端完整 ✅ | 通用组件 ✅ | 功能按钮✅（7个）| NA处理✅ | Pivot优化✅ | UX优化✅ | **多指标转换✅（方向1+2）**
|
||||
> **最后更新**: 2025-12-22
|
||||
> **当前版本**: Day 5-10 MVP + 功能按钮 + NA处理 + Pivot优化 + UX重大改进 + 多指标转换 + **异步架构✅** + **性能优化✅**
|
||||
> **开发进度**: Python微服务 ✅ | Session管理 ✅ | AI代码生成 ✅ | 前端完整 ✅ | 通用组件 ✅ | 功能按钮✅（7个）| NA处理✅ | Pivot优化✅ | UX优化✅ | 多指标转换✅ | **Postgres-Only异步架构✅** | **性能优化✅（-99%）**
|
||||
|
||||
---
|
||||
|
||||
@@ -21,7 +21,113 @@
|
||||
|
||||
---
|
||||
|
||||
## ✅ 已完成功能（Day 1-9）
|
||||
## ✅ 已完成功能（Day 1-10）
|
||||
|
||||
### 🏆 Day 10 Postgres-Only异步架构 + 性能优化（2025-12-22）✅
|
||||
|
||||
#### 1. 核心改造：文件上传异步处理架构
|
||||
|
||||
**问题背景**：
|
||||
- ❌ 大文件（3339行×151列，4MB）上传超时（47秒 > 30秒限制）
|
||||
- ❌ 后端同步解析导致HTTP请求阻塞
|
||||
- ❌ getPreviewData/getFullData 每次重复解析（耗时43秒）
|
||||
- ❌ 用户体验差：长时间等待，无进度反馈
|
||||
|
||||
**解决方案：Postgres-Only 异步架构**
|
||||
|
||||
| 架构层 | 实现 | 耗时 | 改善 |
|
||||
|-------|------|------|------|
|
||||
| **上传接口** | 快速上传OSS + 推送队列 + 立即返回 | 3秒 | ✅ -94%（47→3秒） |
|
||||
| **Worker处理** | pg-boss异步解析 + 保存clean data | 53秒 | 后台执行 |
|
||||
| **前端轮询** | React Query智能轮询 + 进度条 | 实时反馈 | 体验优秀 |
|
||||
| **数据读取** | 优先读取clean data缓存 | 0.5秒 | ✅ -99%（43→0.5秒） |
|
||||
|
||||
#### 2. 技术实现
|
||||
|
||||
**2.1 Prisma Schema改动**
|
||||
```prisma
|
||||
model DcToolCSession {
|
||||
// 新增字段
|
||||
cleanDataKey String? // 清洗后的数据（避免重复计算）
|
||||
|
||||
// 字段改为可选（异步填充）
|
||||
totalRows Int?
|
||||
totalCols Int?
|
||||
columns Json?
|
||||
}
|
||||
```
|
||||
|
||||
**2.2 后端异步架构**
|
||||
- ✅ SessionService.createSession：上传OSS + 推送任务（<3秒）
|
||||
- ✅ parseExcelWorker：后台解析 + 保存clean data（53秒）
|
||||
- ✅ SessionController.getSessionStatus：状态查询API（轮询用）
|
||||
- ✅ SessionService.getPreviewData：优先读clean data（0.5秒）
|
||||
- ✅ SessionService.getFullData：优先读clean data（0.5秒）
|
||||
- ✅ SessionService.saveProcessedData：同步更新clean data
|
||||
|
||||
**2.3 前端React Query轮询**
|
||||
- ✅ useSessionStatus Hook：智能轮询（自动串行、防并发）
|
||||
- ✅ 进度条UI：实时显示0-100%
|
||||
- ✅ useEffect监听：status='ready'时自动加载数据
|
||||
|
||||
**2.4 性能优化**
|
||||
- ✅ 智能清洗算法：边界检测 + 安全阀（3000列、500万单元格限制）
|
||||
- ✅ 轻量级验证：validateFile不做完整解析（<1秒）
|
||||
- ✅ clean data缓存：Worker保存，所有操作复用
|
||||
|
||||
#### 3. 关键技术突破
|
||||
|
||||
| 技术点 | 问题 | 解决方案 |
|
||||
|-------|------|---------|
|
||||
| 幽灵列 | 16384列中只有151列有效 | 边界检测算法，裁剪右侧空列 |
|
||||
| 幽灵行 | 格式污染导致虚高 | 过滤全空行 |
|
||||
| 队列名称 | `asl:screening:batch` 不合法 | 改为 `asl_screening_batch`（下划线） |
|
||||
| 轮询风暴 | 同时15+并发请求 | React Query自动串行 |
|
||||
| 重复计算 | 每次操作重新解析（43秒） | clean data缓存复用（0.5秒） |
|
||||
| MemoryQueue | 不支持异步持久化 | 环境变量 `QUEUE_TYPE=pgboss` |
|
||||
|
||||
#### 4. 性能提升对比
|
||||
|
||||
**单次操作**：
|
||||
```
|
||||
上传+预览：96秒 → 53.5秒（-44%）
|
||||
筛选操作：44秒 → 2.5秒（-94%）
|
||||
Pivot操作：45秒 → 2.5秒（-94%）
|
||||
并发请求：15+个 → 1个（-93%）
|
||||
```
|
||||
|
||||
**完整工作流（上传+7次操作）**：
|
||||
```
|
||||
之前：96秒 + 44秒×7 = 404秒（6.7分钟）
|
||||
现在：53秒 + 2.5秒×7 = 70.5秒（1.2分钟）
|
||||
改善：-83%
|
||||
```
|
||||
|
||||
#### 5. 代码统计
|
||||
|
||||
| 文件类型 | 新增/修改 | 代码量 |
|
||||
|---------|---------|--------|
|
||||
| **Worker** | parseExcelWorker.ts（新建） | ~410行 |
|
||||
| **Hook** | useSessionStatus.ts（新建） | ~90行 |
|
||||
| **后端修改** | SessionService/Controller | ~200行 |
|
||||
| **前端修改** | index.tsx（重构轮询） | ~100行 |
|
||||
| **数据库** | clean_data_key字段 | 1字段 |
|
||||
| **文档** | 异步任务处理指南 | ~588行 |
|
||||
| **总计** | | **~1388行** |
|
||||
|
||||
#### 6. 测试验证
|
||||
|
||||
| 测试场景 | 结果 | 说明 |
|
||||
|---------|------|------|
|
||||
| 11KB小文件 | ✅ 通过 | 3秒上传 + 数据加载 |
|
||||
| 4MB大文件（3339×151） | ✅ 通过 | 不再超时，数据正确 |
|
||||
| 16384列幽灵列文件 | ✅ 通过 | 智能裁剪到151列 |
|
||||
| 轮询机制 | ✅ 通过 | 单个串行请求，无并发 |
|
||||
| clean data缓存 | ✅ 通过 | getPreviewData 0.5秒 |
|
||||
| 7大功能性能 | ✅ 通过 | 每次操作2-3秒 |
|
||||
| 导出功能 | ✅ 通过 | 导出处理后的数据 |
|
||||
|
||||
---
|
||||
|
||||
### 🎉 Day 9 多指标转换功能（2025-12-21）✅
|
||||
|
||||
|
||||
@@ -1,10 +1,10 @@
|
||||
# DC数据清洗整理模块 - 当前状态与开发指南
|
||||
|
||||
> **文档版本：** v3.3
|
||||
> **文档版本：** v3.4
|
||||
> **创建日期：** 2025-11-28
|
||||
> **维护者：** DC模块开发团队
|
||||
> **最后更新：** 2025-12-21 ✨ **多指标转换功能上线！**
|
||||
> **重大里程碑：** Tool C MVP完成 + Tool B Postgres-Only架构改造 + **Tool C多指标转换（方向1+2）**
|
||||
> **最后更新：** 2025-12-22 🏆 **Tool C异步架构+性能优化完成！**
|
||||
> **重大里程碑：** Tool C Postgres-Only异步架构改造 + 性能优化（-99%）+ 多指标转换
|
||||
> **文档目的：** 反映模块真实状态，记录开发历程
|
||||
|
||||
---
|
||||
@@ -67,10 +67,10 @@ DC数据清洗整理模块提供4个智能工具，帮助研究人员清洗、
|
||||
- ✅ 断点续传支持（支持长时间提取任务）
|
||||
- ✅ Platform层统一管理（job.data存储）
|
||||
- ✅ Worker注册（extractionWorker.ts）
|
||||
- ✅ **Tool C 完整实现**（2025-12-06 ~ 2025-12-21）：
|
||||
- ✅ Python微服务（~2400行，Day 1 + NA处理优化 + 全量数据处理 + 多指标转换）
|
||||
- ✅ Node.js后端（~3600行，Day 2-3，Day 5-8增强 + 全量返回 + 多指标转换）
|
||||
- ✅ 前端界面（~4500行，Day 4-8，筛选/行号/滚动条/全量加载 + 多指标转换）
|
||||
- ✅ **Tool C 完整实现**（2025-12-06 ~ 2025-12-22）：
|
||||
- ✅ Python微服务（~2400行，Day 1 + NA处理优化 + 多指标转换）
|
||||
- ✅ Node.js后端（~3900行，Day 2-3 + Day 5-10 + 异步架构 + Worker）
|
||||
- ✅ 前端界面（~4500行，Day 4-10 + React Query轮询 + 进度条）
|
||||
- ✅ **通用 Chat 组件**（~968行，Day 5）🎉
|
||||
- ✅ 7个功能按钮（Day 6）
|
||||
- ✅ NA处理优化（4个功能，Day 7）
|
||||
@@ -78,7 +78,9 @@ DC数据清洗整理模块提供4个智能工具，帮助研究人员清洗、
|
||||
- ✅ 计算列方案B（安全列名映射，Day 7-8）
|
||||
- ✅ **UX重大改进**（列头筛选/行号/滚动条修复/全量数据，Day 8）
|
||||
- ✅ **多指标转换**（方向1+2，智能分组，原始顺序保持，Day 9）
|
||||
- **总计：~14528行** | **完成度：99%**
|
||||
- ✅ **Postgres-Only异步架构**（上传不超时，Worker后台处理，Day 10）
|
||||
- ✅ **性能优化**（clean data缓存，-99%耗时，Day 10）
|
||||
- **总计：~16500行** | **完成度：99%**
|
||||
- **重大成就**：
|
||||
- 🎉 **前端通用能力层建设完成**
|
||||
- ✨ 基于 Ant Design X 的 Chat 组件库
|
||||
|
||||
@@ -544,4 +544,6 @@ df['creatinine'] = pd.to_numeric(df['creatinine'], errors='coerce')
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -383,3 +383,5 @@ npm run dev
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -959,4 +959,6 @@ export const aiController = new AIController();
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1293,4 +1293,6 @@ npm install react-markdown
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -202,3 +202,5 @@ FMA___基线 | FMA___1个月 | FMA___2个月
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -360,3 +360,5 @@ formula = "FMA总分（0-100） / 100"
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -194,3 +194,5 @@ async handleFillnaMice(request, reply) {
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -166,3 +166,5 @@ method: 'mean' | 'median' | 'mode' | 'constant' | 'ffill' | 'bfill'
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -313,6 +313,8 @@ Changes:
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -386,5 +386,7 @@ cd path; command
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -615,5 +615,7 @@ import { logger } from '../../../../common/logging/index.js';
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -621,3 +621,5 @@ Content-Length: 45234
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -272,4 +272,6 @@ Response:
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -425,4 +425,6 @@ Response:
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -419,4 +419,6 @@ import { ChatContainer } from '@/shared/components/Chat';
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -329,4 +329,6 @@ const initialMessages = defaultMessages.length > 0 ? defaultMessages : [{
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -369,4 +369,6 @@ python main.py
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -617,4 +617,6 @@ http://localhost:5173/data-cleaning/tool-c
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -227,4 +227,6 @@ Day 5 (6-8小时):
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -403,6 +403,8 @@ Docs: docs/03-业务模块/DC-数据清洗整理/06-开发记录/DC模块重建
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -378,6 +378,8 @@ const mockAssets: Asset[] = [
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -362,6 +362,8 @@ frontend-v2/src/modules/dc/
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -322,6 +322,8 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -276,6 +276,8 @@ ConflictDetectionService // 冲突检测（字段级对比）
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -325,6 +325,8 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -288,6 +288,8 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -352,6 +352,8 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -440,6 +440,8 @@ Tool B后端代码**100%复用**了平台通用能力层，无任何重复开发
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -286,6 +286,8 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -217,6 +217,8 @@ $ node scripts/check-dc-tables.mjs
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -450,6 +450,8 @@ ${fields.map((f, i) => `${i + 1}. ${f.name}：${f.desc}`).join('\n')}
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user