feat(admin): Add user management and upgrade to module permission system

Features - User Management (Phase 4.1):
- Database: Add user_modules table for fine-grained module permissions
- Database: Add 4 user permissions (view/create/edit/delete) to role_permissions
- Backend: UserService (780 lines) - CRUD with tenant isolation
- Backend: UserController + UserRoutes (648 lines) - 13 API endpoints
- Backend: Batch import users from Excel
- Frontend: UserListPage (412 lines) - list/filter/search/pagination
- Frontend: UserFormPage (341 lines) - create/edit with module config
- Frontend: UserDetailPage (393 lines) - details/tenant/module management
- Frontend: 3 modal components (592 lines) - import/assign/configure
- API: GET/POST/PUT/DELETE /api/admin/users/* endpoints

Architecture Upgrade - Module Permission System:
- Backend: Add getUserModules() method in auth.service
- Backend: Login API returns modules array in user object
- Frontend: AuthContext adds hasModule() method
- Frontend: Navigation filters modules based on user.modules
- Frontend: RouteGuard checks requiredModule instead of requiredVersion
- Frontend: Remove deprecated version-based permission system
- UX: Only show accessible modules in navigation (clean UI)
- UX: Smart redirect after login (avoid 403 for regular users)

Fixes:
- Fix UTF-8 encoding corruption in ~100 docs files
- Fix pageSize type conversion in userService (String to Number)
- Fix authUser undefined error in TopNavigation
- Fix login redirect logic with role-based access check
- Update Git commit guidelines v1.2 with UTF-8 safety rules

Database Changes:
- CREATE TABLE user_modules (user_id, tenant_id, module_code, is_enabled)
- ADD UNIQUE CONSTRAINT (user_id, tenant_id, module_code)
- INSERT 4 permissions + role assignments
- UPDATE PUBLIC tenant with 8 module subscriptions

Technical:
- Backend: 5 new files (~2400 lines)
- Frontend: 10 new files (~2500 lines)
- Docs: 1 development record + 2 status updates + 1 guideline update
- Total: ~4900 lines of code

Status: User management 100% complete, module permission system operational
This commit is contained in:
2026-01-16 13:42:10 +08:00
parent 98d862dbd4
commit 66255368b7
560 changed files with 70424 additions and 52353 deletions

View File

@@ -1,9 +1,9 @@
# 长时间任务可靠性分析MemoryQueue vs Redis队列
> **蝨コ譎ッ<EFBFBD>?* 1000遽<30>枚迪ョ遲幃€会シ碁「<E7A281>ョ。2蟆乗慮螟<E685AE>炊譌カ髣エ
> **蠖灘燕譁ケ譯茨シ?* MemoryQueue<EFBFBD><EFBFBD>蟄倬弌蛻暦シ<EFBFBD>
> **髣ョ鬚假シ?* 閭ス蜷ヲ蜿ッ髱<EFBDAF>螳梧<E89EB3><E6A2A7>?
> **扈楢ョコ<EFBFBD>?* 笶?**荳崎<E88DB3>**
> **场景:** 1000篇文献筛选预计2小时处理时间
> **当前方案:** MemoryQueue(内存队列)
> **问题:** 能否可靠完成?
> **结论:** ❌ **不能**
---
@@ -11,103 +11,103 @@
### 任务特征
```
莉サ蜉。邀サ蝙具シ壽枚迪ョ遲幃€会シ域<EFBFBD><EFBFBD>「俶遭隕∝<EFBFBD>遲幢シ?
<EFBFBD>鍵謨ー驥擾シ?000遽?
蜊慕ッ<EFBFBD>€玲慮<EFBFBD>?-10遘抵シ亥曙讓。蝙句ケカ陦鯉シ<E9AF89>
諤サ閠玲慮<EFBFBD>?000-10000遘?= 100-167<EFBFBD>帖 竕?2蟆乗慮
任务类型:文献筛选(标题摘要初筛)
文献数量1000
单篇耗时6-10秒双模型并行
总耗时6000-10000= 100-167分钟 ≈ 2小时
```
### 当前实现
```typescript
// backend/src/modules/asl/services/screeningService.ts (隨?5陦?
// backend/src/modules/asl/services/screeningService.ts (第65行)
// 4. 蠑よュ・螟<EFBFBD>炊譁<EFBFBD><EFBFBD>育ョ€蛹也沿<EFBFBD>夂峩謗・蝨ィ霑咎㈹螟<EFBFBD><EFBFBD>?
// 逕滉コァ邇ッ蠅<EFBFBD>コ碑ッ・蜿鷹€∝芦豸域<EFBFBD>髦溷<EFBFBD> 竊?豕ィ諢剰ソ呵。梧ウィ驥奇シ?
// 4. 异步处理文献(简化版:直接在这里处理)
// 生产环境应该发送到消息队列 ← 注意这行注释!
processLiteraturesInBackground(task.id, projectId, literatures);
// 这个函数会:
// 1. 霑占。悟惠蠖灘燕Node霑帷ィ倶ク?
// 2. 荳イ陦悟、<EFBFBD>炊1000遽<EFBFBD>枚迪?
// 3. 豐。譛画戟荵<EFBFBD><EFBFBD><EFBFBD>蝨ィ蜀<EFBFBD>ュ假シ?
// 1. 运行在当前Node进程中
// 2. 串行处理1000篇文献
// 3. 没有持久化(全在内存)
```
---
## 笶?**MemoryQueue<EFBFBD><EFBFBD>蜻ス髣ョ鬚?*
## **MemoryQueue的致命问题**
### 髣ョ鬚<EFBFBD>1<EFBFBD>售AE螳樔セ倶シ夊「ォ閾ェ蜉ィ髞€豈?<3F>櫨 **譛€荳・驥<EFBDA5>**
### 问题1SAE实例会被自动销毁 🔥 **最严重**
#### **Serverless<EFBFBD>悽雍ィ<EFBFBD>壽潔髴€隶。雍ケ = 謖蛾怙髞€豈?*
#### **Serverless的本质:按需计费 = 按需销毁**
```
阿里云SAE的自动缩容策略
笏懌楳 譌<><EFBFBD>㍼譌カ<E8AD8C>?5蛻<35>帖蜷守シゥ螳ケ蛻ー0
├─ 无流量时15分钟后缩容到0
├─ 低流量时:缩减实例数
笏懌楳 螟憺龍譌カ谿オ<E8B0BF><EFBFBD>蜉ィ郛ゥ螳ケ<E89EB3>郁鰍逵∵<E980B5>譛ャ<E8AD9B>?
笏披楳 邉サ扈溷合郤ァ<E983A4>壼ョ樔セ矩㍾蜷?
├─ 夜间时段:自动缩容(节省成本)
└─ 系统升级:实例重启
```
#### **2蟆乗慮莉サ蜉。逧<EFBFBD>」朱勦隸<EFBFBD>シ?*
#### **2小时任务的风险评估**
| 譌カ谿オ | SAE螳樔セ矩楳豈∵ヲら<EFBFBD>?| 隸エ譏<EFBDB4> |
| 时段 | SAE实例销毁概率 | 说明 |
|------|----------------|------|
| **蟾・菴懈慮髣エ<EFBFBD>?:00-18:00<EFBFBD>?* | <EFBFBD> 30-50% | <EFBFBD>㍼豕「蜉ィ蟇シ閾エ郛ゥ螳ケ |
| **螟憺龍譌カ谿オ<EFBFBD>?2:00-06:00<EFBFBD>?* | <EFBFBD> 80-95% | 閾ェ蜉ィ郛ゥ螳ケ遲也払 |
| **蜻ィ譛ォ/闃ょ∞譌?* | <EFBFBD> 70-90% | 菴取オ<EFBFBD>㍼譌カ谿?|
| **工作时间9:00-18:00** | 🟡 30-50% | 流量波动导致缩容 |
| **夜间时段22:00-06:00** | 🔴 80-95% | 自动缩容策略 |
| **周末/节假日** | 🔴 70-90% | 低流量时段 |
**逵溷ョ槫惻譎ッ讓。諡<EFBFBD>**<EFBFBD>?
**真实场景模拟**
```
21:00 逕ィ謌キ謠蝉コ、1000遽<EFBFBD>枚迪ョ遲幃€?
21:00 SAE螳樔セ句シ€蟋句、<EFBFBD><EFBFBD>磯「<EFBFBD>ョ。2蟆乗慮螳梧<EFBFBD><EFBFBD>?
21:15 蜑咲ォッ譛臥畑謌キ隶ソ髣ョ<EFBFBD>亥ョ樔セ句ュ俶エサ<EFBFBD>?
21:00 用户提交1000篇文献筛选
21:00 SAE实例开始处理预计2小时完成
21:15 前端有用户访问(实例存活)
22:00 用户下班回家(无新访问)
22:15 SAE€豬具シ<EFBFBD>15蛻<EFBFBD>帖譌<EFBFBD><EFBFBD><EFBFBD>?竊?蜃<><EFBFBD>シゥ螳ケ
22:16 笶?螳樔セ玖「ォ髞€豈?
笏披楳 莉サ蜉。霑帛コヲ<EFBDBA>?50/1000<EFBFBD>?5%<25>?
22:15 SAE检测15分钟无流量 → 准备缩容
22:16 ❌ 实例被销毁
└─ 任务进度150/100015%
└─ 结果:任务丢失,前功尽弃
```
---
### 髣ョ鬚<EFBFBD>2<EFBFBD>夊ソ帷ィ句エゥ貅<EFBFBD>裏豕墓△螟?
### 问题2进程崩溃无法恢复
```typescript
// 蠖灘燕螳樒鴫<EFBFBD>育ョ€蛹也沿<EFBFBD>?
// 当前实现(简化版)
async function processLiteraturesInBackground(taskId, projectId, literatures) {
for (const lit of literatures) {
try {
// 处理单篇文献耗时6-10秒
await processLiterature(lit);
} catch (error) {
// 譟千ッ<EFBFBD>、ア雍・<EFBFBD>檎サァ扈ュ荳倶ク€遽?
// 某篇失败,继续下一篇
logger.error('Failed to process literature', { error });
}
}
}
// 鬟朱勦<EFBFBD>?
// 风险:
// 1. 如果Node进程崩溃OOM、未捕获异常→ 全部丢失
// 2. 螯よ棡DB霑樊磁譁ュ蠑€ 竊?譌<>豕穂ソ晏ュ倩ソ帛コヲ
// 3. 螯よ棡API髯先オ<EFBFBD> 竊?莉サ蜉。蜊。豁サ
// 4. 豐。譛画妙轤ケ扈ュ莨<EFBFBD> 竊?蠢<>。サ驥榊、エ蠑€蟋?
// 2. 如果DB连接断开 → 无法保存进度
// 3. 如果API限流 → 任务卡死
// 4. 没有断点续传 → 必须重头开始
```
---
### 髣ョ鬚<EFBFBD>3<EFBFBD>壽裏豕慕尅謗ァ逵溷ョ櫁ソ帛コ?
### 问题3无法监控真实进度
```typescript
// 蠖灘燕螳樒鴫逧<EFBFBD>ソ帛コヲ譖エ譁?
// 当前实现的进度更新
await prisma.aslScreeningTask.update({
where: { id: taskId },
data: { processedItems: processedCount }
});
// 髣ョ鬚假シ?
// 问题:
// - 进度只存在数据库
// - 莉サ蜉。迥カ諤∝惠蜀<EFBFBD>ュ倅ク?
// - 任务状态在内存中
// - 实例销毁后,数据库显示 processedItems: 150
// - <EFBFBD>ササ蜉。螳樣刔蟾イ荳「螟ア<EFBFBD>梧裏豕墓△螟?
// - 但任务实际已丢失,无法恢复
```
---
@@ -115,24 +115,24 @@ await prisma.aslScreeningTask.update({
### 问题4多实例冲突
```
蝨コ譎ッ<EFBFBD>售AE譛?荳ェ螳樔セ?
场景SAE有2个实例
逕ィ謌キ謠蝉コ、莉サ蜉。 竊?螳樔セ帰蠑€蟋句、<E58FA5><EFBDA4>?
竊?
<EFBFBD>炊蛻?00遽<30><EFBFBD>悟ョ樔セ帰髞€豈?
竊?
逕ィ謌キ蛻キ譁ー鬘オ髱「 竊?隸キ豎りキッ逕ア蛻ー螳樔セ毅
竊?
用户提交任务 → 实例A开始处理
处理到500篇时实例A销毁
用户刷新页面 → 请求路由到实例B
实例B读取任务状态processedItems: 500
竊?
实例B不知道任务已中断
竊?
笶?莉サ蜉。譏セ遉コ"霑幄。御ク?<3F>御ス<E5BEA1>ョ樣刔豐。莠コ蝨ィ螟<EFBDA8><E89E9F>?
❌ 任务显示"进行中",但实际没人在处理
```
---
## 笨?**Redis髦溷<EFBFBD><EFBFBD>シ伜<EFBFBD>?*
## **Redis队列的优势**
### 优势1任务持久化
@@ -145,12 +145,12 @@ await jobQueue.push('asl:screening', {
});
// 任务保存在Redis中
// - 螳樔セ矩楳豈?竊?笨?莉サ蜉。莉榊惠Redis
// - 譁ー螳樔セ句星蜉?竊?笨?閾ェ蜉ィ諡セ蜿紋ササ蜉。
// - 霑帷ィ句エゥ貅<EFBFBD> 竊?笨?蜈カ莉妨orker謗・邂。
// - 实例销毁 → ✅ 任务仍在Redis
// - 新实例启动 → ✅ 自动拾取任务
// - 进程崩溃 → ✅ 其他Worker接管
```
### 莨伜漢2<EFBFBD>壽妙轤ケ扈ュ莨?
### 优势2断点续传
```typescript
// Worker处理任务
@@ -161,234 +161,234 @@ jobQueue.process('asl:screening', async (job) => {
// 处理文献
await processLiterature(literatureIds[i]);
// 譖エ譁ー霑帛コヲ<EFBFBD>井ソ晏ュ伜芦Redis<EFBFBD>?
// 更新进度(保存到Redis
await job.updateProgress((i + 1) / literatureIds.length * 100);
// 如果Worker在这里崩溃
// - BullMQ莨壼ー<EFBFBD>ササ蜉。譬<EFBFBD>ョー荳?蛛懈サ<E68788>"
// - 蜈カ莉妨orker莨夐㍾譁ー諡セ蜿?
// - BullMQ会将任务标记为"停滞"
// - 其他Worker会重新拾取
// - 从上次进度继续(而不是重头开始)
}
});
```
### 莨伜漢3<EFBFBD><EFBFBD>蜉ィ驥崎ッ?
### 优势3自动重试
```typescript
// BullMQ配置
const queue = new Queue('asl:screening', {
connection: { host: 'redis' },
defaultJobOptions: {
attempts: 3, // 螟ア雍・蜷朱㍾隸?谺?
attempts: 3, // 失败后重试3次
backoff: {
type: 'exponential',
delay: 2000 // 2遘偵€?遘偵€?遘?
delay: 2000 // 2秒、4秒、8秒
},
removeOnComplete: true, // 螳梧<EFBFBD>蜷取ク<EFBFBD><EFBFBD>?
removeOnFail: false // 螟ア雍・蜷惹ソ晉蕗<EFBFBD>井セソ莠取賜譟・<EFBFBD>?
removeOnComplete: true, // 完成后清理
removeOnFail: false // 失败后保留(便于排查)
}
});
// 蝨コ譎ッ<EFBFBD>?
// - LLM API荳エ譌カ謨<EFBFBD>囿 竊?笨?閾ェ蜉ィ驥崎ッ<E5B48E>
// - 鄂醍サ懈竃蜉ィ 竊?笨?閾ェ蜉ィ驥崎ッ<E5B48E>
// - DB霑樊磁譁ュ蠑€ 竊?笨?閾ェ蜉ィ驥崎ッ<E5B48E>
// 场景:
// - LLM API临时故障 → ✅ 自动重试
// - 网络抖动 → ✅ 自动重试
// - DB连接断开 → ✅ 自动重试
```
### 优势4分布式任务分配
```
SAE譛?荳ェ螳樔セ具シ<E585B7>
SAE有3个实例
Redis髦溷<EFBFBD><EFBFBD>?000荳ェ莉サ蜉。<E89C89><EFBDA1>
竊?
閾ェ蜉ィ蛻<EFBFBD><EFBFBD><EFBFBD>?
笏懌楳 螳樔セ帰 Worker<EFBFBD>壼、<EFBFBD><EFBFBD>?Task 1-350
笏懌楳 螳樔セ毅 Worker<EFBFBD>壼、<EFBFBD><EFBFBD>?Task 351-700
笏披楳 螳樔セ気 Worker<EFBFBD>壼、<EFBFBD><EFBFBD>?Task 701-1000
Redis队列1000个任务
自动分配:
├─ 实例A Worker:处理 Task 1-350
├─ 实例B Worker:处理 Task 351-700
└─ 实例C Worker:处理 Task 701-1000
如果实例B销毁
笏懌楳 Task 351-700 <EFBFBD>ョー荳?蛛懈サ<E68788>"
├─ Task 351-700 标记为"停滞"
├─ 实例A或C的Worker自动接管
└─ 继续处理,无需人工干预
```
---
## <EFBFBD> **蜿ッ髱<EFBFBD>諤ァ蟇ケ豈?*
## 📊 **可靠性对比**
| 维度 | MemoryQueue | Redis队列 | 差异 |
|------|------------|----------|------|
| **2蟆乗慮莉サ蜉。螳梧<EFBFBD>邇?* | 10-30% | 99%+ | **300%謠仙合** |
| **螳樔セ矩楳豈∝錘** | 笶?莉サ蜉。荳「螟ア | 笨?閾ェ蜉ィ諱「螟<EFBDA2> | **蜈ウ髞ョ** |
| **霑帷ィ句エゥ貅<EFBFBD><EFBFBD>?* | 笶?蜈ィ驛ィ荳「螟ア | 笨?譁ュ轤ケ扈ュ莨<EFBDAD> | **蜈ウ髞ョ** |
| **API荳エ譌カ謨<EFBFBD>** | 笶?莉サ蜉。螟ア雍・ | 笨?閾ェ蜉ィ驥崎ッ<E5B48E> | **蜈ウ髞ョ** |
| **螟壼ョ樔セ句刻隹?* | 笶?譌<>豕募刻隹<E588BB> | 笨?閾ェ蜉ィ蛻<EFBDA8><E89BBB> | **蜈ウ髞ョ** |
| **莉サ蜉。逶第而** | <EFBFBD><EFBFBD><EFBFBD><>B | 笨?螳樊慮迥カ諤?| 蜿ッ騾?|
| **謌先悽** | ツ・0 | ツ・108/蟷?| 蜿ッ謗・蜿?|
| **2小时任务完成率** | 10-30% | 99%+ | **300%提升** |
| **实例销毁后** | ❌ 任务丢失 | ✅ 自动恢复 | **关键** |
| **进程崩溃后** | ❌ 全部丢失 | ✅ 断点续传 | **关键** |
| **API临时故障** | ❌ 任务失败 | ✅ 自动重试 | **关键** |
| **多实例协调** | ❌ 无法协调 | ✅ 自动分配 | **关键** |
| **任务监控** | ⚠️ 仅DB | ✅ 实时状态 | 可选 |
| **成本** | ¥0 | ¥108/年 | 可接受 |
---
## 🎯 **真实场景模拟**
### 蝨コ譎ッ1<EFBFBD>壼キ・菴懈慮髣エ謠蝉コ、<EFBFBD><EFBFBD>蜉溽<EFBFBD>?0%<25>?
### 场景1工作时间提交成功率30%
```
10:00 逕ィ謌キ謠蝉コ、1000遽<EFBFBD>枚迪ョ遲幃€?
10:00 用户提交1000篇文献筛选
├─ MemoryQueue开始处理预计12:00完成
笏?
11:30 <EFBFBD>㍼髯堺ス趣シ郡AE郛ゥ螳ケ<EFBFBD>亥唖髯?荳ェ螳樔セ具シ<E585B7>
笏懌楳 螯よ棡莉サ蜉。蝨ィ陲ォ蛻<EFBDAB>髯、逧<EFBDA4>ョ樔セ倶ク<E580B6> 竊?笶?荳「螟ア<E89E9F>域ヲら<EFBDA6>?0%<25>?
笏?
12:00 螯よ棡蟷ク霑先悴陲ォ蛻<EFBFBD>髯、 竊?笨?螳梧<E89EB3><E6A2A7>域ヲら<EFBDA6>?0%<25>?
11:30 流量降低SAE缩容删除1个实例
├─ 如果任务在被删除的实例上 → ❌ 丢失概率50%
12:00 如果幸运未被删除 → ✅ 完成概率50%
諤サ謌仙粥邇<EFBFBD>シ?0%
总成功率50%
```
### 蝨コ譎ッ2<EFBFBD>壼、憺龍謠蝉コ、<EFBFBD><EFBFBD>蜉溽<EFBFBD>?%<25>?
### 场景2夜间提交成功率5%
```
21:00 逕ィ謌キ謠蝉コ、1000遽<EFBFBD>枚迪ョ遲幃€?
21:00 用户提交1000篇文献筛选
├─ MemoryQueue开始处理预计23:00完成
笏?
21:15 <EFBFBD>譁ー逕ィ謌キ隶ソ髣ョ<EFBFBD>梧オ<EFBFBD>㍼髯堺ク?
笏?
21:30 SAE€豬具シ<EFBFBD>15蛻<EFBFBD>帖譌<EFBFBD><EFBFBD><EFBFBD>?竊?蜃<><EFBFBD>シゥ螳ケ
笏?
21:31 笶?螳樔セ矩楳豈<E6A5B3>シ御ササ蜉。荳「螟ア<E89E9F>域ヲら<EFBDA6>?5%<25>?
21:15 无新用户访问流量降为0
21:30 SAE检测15分钟无流量 → 准备缩容
21:31 ❌ 实例销毁任务丢失概率95%
諤サ謌仙粥邇<EFBFBD>シ?%
总成功率5%
```
### 蝨コ譎ッ3<EFBFBD>啌edis髦溷<EFBFBD><EFBFBD><EFBFBD>蜉溽紫99%+<EFBFBD>?
### 场景3Redis队列成功率99%+
```
21:00 逕ィ謌キ謠蝉コ、1000遽<EFBFBD>枚迪ョ遲幃€?
笏懌楳 Redis髦溷<EFBFBD><EFBFBD>壻ササ蜉。蜈・髦?
笏懌楳 Worker<EFBFBD>壼シ€蟋句、<EFBFBD><EFBFBD>?
笏?
21:31 螳樔セ矩楳豈?
21:00 用户提交1000篇文献筛选
├─ Redis队列:任务入队
├─ Worker:开始处理
21:31 实例销毁
├─ 任务保存在Redis
笏?
21:32 新实例启动(或其他实例)
笏懌楳 Worker<EFBFBD><EFBFBD>蜉ィ諡セ蜿紋ササ蜉?
笏懌楳 莉山edis隸サ蜿冶ソ帛コヲ<EFBDBA>壼キイ螟<EFBDB2>150遽?
笏懌楳 扈ァ扈ュ螟<EFBDAD>炊蜑ゥ菴<EFBDA9>850遽?
笏?
23:00 笨?莉サ蜉。螳梧<E89EB3>
├─ Worker:自动拾取任务
├─ 从Redis读取进度已处理150
├─ 继续处理剩余850
23:00 ✅ 任务完成
諤サ謌仙粥邇<EFBFBD>シ?9%+
总成功率99%+
```
---
## 💰 **成本分析**
### MemoryQueue<EFBFBD>嚼阯乗<EFBFBD>譛?
### MemoryQueue的隐藏成本
```
任务失败率70%(夜间)
逕ィ謌キ驥肴眠謠蝉コ、谺。謨ー<EFBFBD>壼ケウ蝮?谺。謇肴<E8AC87><EFBFBD>
LLM API豬ェ雍ケ<EFBFBD>?
- 隨?谺。<E8B0BA>壼、<E5A3BC>炊200遽<30>錘螟ア雍・ 竊?豬ェ雍ケ ツ・86
- 隨?谺。<E8B0BA>壼、<E5A3BC>炊500遽<30>錘螟ア雍・ 竊?豬ェ雍ケ ツ・215
- 隨?谺。<E8B0BA>壼ョ梧<EFBDAE> 竊?ツ・430
諤サ謌先悽<EFBFBD>堋・731<EFBFBD>亥コ碑ッ・蜿ェ髴€ツ・430<EFBFBD>?
用户重新提交次数平均3次才成功
LLM API浪费:
- 第1次处理200篇后失败 → 浪费 ¥86
- 第2次处理500篇后失败 → 浪费 ¥215
- 第3次完成 → ¥430
总成本¥731应该只需¥430
逕ィ謌キ菴馴ェ鯉シ?
- 蜿榊、榊、ア雍・ 竊?謚戊ッ臥紫荳雁<E88DB3>?
- 荳肴覆螟憺龍謠蝉コ、 竊?菴ソ逕ィ蜿鈴剞
- 蟇ケ邉サ扈溷、ア蜴サ菫。莉?竊?豬∝、ア鬟朱勦
用户体验:
- 反复失败 → 投诉率上升
- 不敢夜间提交 → 使用受限
- 对系统失去信任 → 流失风险
```
### Redis髦溷<EFBFBD><EFBFBD>悄螳樊<EFBFBD>譛?
### Redis队列的真实成本
```
Redis蟷エ雍ケ<EFBFBD>堋?08
Redis年费¥108
任务成功率99%+
用户重新提交次数几乎为0
LLM API謌先悽<EFBFBD>堋?30<33>域裏豬ェ雍ケ<E99B8D>?
LLM API成本¥430无浪费
鬚晏、匁噺逶奇シ?
- 逕ィ謌キ貊。諢丞コヲ謠仙<EFBFBD>?
- 蜿ッ莉・謾ッ謖∵峩螟ァ謇ケ驥擾シ?000遽?<3F>?
额外收益:
- 用户满意度提升
- 可以支持更大批量5000篇+
- 夜间任务可靠运行
```
**ROI隶。邂<EFBFBD>**<EFBFBD>?
**ROI计算**
```
闃ら怐謌先悽<EFBFBD>堋?31 - ツ・430 = ツ・301/谺?
节省成本¥731 - ¥430 = ¥301/
如果每月10次批量任务
闃ら怐 = ツ・301 <EFBFBD> 10 = ツ・3,010/譛?
Redis謌先悽 = ツ・9/譛?
€謾カ逶<EFBFBD> = ツ・3,001/譛?
节省 = ¥301 × 10 = ¥3,010/
Redis成本 = ¥9/月
净收益 = ¥3,001/
ROI = 33,344%<EFBFBD>域兜蜈・ツ?<3F>悟屓謚・ツ?,010<EFBFBD>?
ROI = 33,344%投入¥9回报¥3,010
```
---
## <EFBFBD><EFBFBD><EFBFBD> **扈楢ョコ荳主サコ隶?*
## ⚠️ **结论与建议**
### 明确结论
```
髣ョ鬚假シ哺emoryQueue閭ス蜷ヲ螳梧<EFBFBD>2蟆乗慮莉サ蜉。<EFBFBD>?
问题MemoryQueue能否完成2小时任务
答案:❌ 不能可靠完成
蜴溷屏<EFBFBD>?
原因:
1. SAE实例会自动销毁15分钟无流量
2. 2蟆乗慮莉サ蜉。蜃<EFBFBD>荵主ソ<EFBFBD>┯驕<EFBFBD>芦螳樔セ矩楳豈?
3. 莉サ蜉。荳「螟ア蜷取裏豕墓△螟?
4. 謌仙粥邇?< 30%<25>悟、憺<EFBDA4>?< 5%
2. 2小时任务几乎必然遇到实例销毁
3. 任务丢失后无法恢复
4. 成功率 < 30%,夜间 < 5%
```
### 强烈建议
```
蟇ケ莠手カ<EFBFBD>ソ<EFBFBD>10蛻<EFBFBD>帖逧<EFBFBD>ササ蜉。<EFBFBD>悟ソ<EFBFBD>。サ菴ソ逕ィRedis髦溷<EFBFBD><EFBFBD>?
对于超过10分钟的任务必须使用Redis队列
时间阈值:
- < 10秒可以用MemoryQueue同步处理
- 10遘?- 10<EFBFBD><EFBFBD>壼サコ隶ョ逕ィRedis髦溷<EFBFBD>
- 10- 10分钟:建议用Redis队列
- > 10分钟必须用Redis队列
- > 1小时强制要求Redis队列
```
### 螳樊命莨伜<EFBFBD>郤?
### 实施优先级
```
阶段1本周Redis缓存
├─ 解决LLM成本问题
笏披楳 蟾・菴憺㍼<E686BA><E38DBC>2螟?
└─ 工作量2天
髦カ谿オ2<EFBFBD>井ク句捉<EFBFBD>会シ啌edis髦溷<EFBFBD> 竊?**蠢<>。サ蛛夲シ<E5A4B2>**
笏懌楳 隗」蜀ウ髟ソ莉サ蜉。蜿ッ髱<EFBDAF>諤?
笏懌楳 蟾・菴憺㍼<E686BA><E38DBC>3螟?
笏披楳 荳榊★逧<E29885>」朱勦<E69CB1><E58BA6>70%莉サ蜉。螟ア雍・邇?
阶段2下周Redis队列 ← **必须做!**
├─ 解决长任务可靠性
├─ 工作量3天
└─ 不做的风险70%任务失败率
```
---
## <EFBFBD> **€譛ッ扈<EFBFBD><EFBFBD>壻クコ莉€荵?0蛻<30>帖譏ッ蛻<EFBDAF>ーエ蟯ュ<E89FAF>?*
## 📝 **技术细节为什么10分钟是分水岭**
### SAE实例缩容策略
```
髦ソ驥御コ全AE鮟倩ョ、遲也払<EFBFBD>?
阿里云SAE默认策略
- 检测周期5分钟
- 无流量阈值15分钟
- 郛ゥ螳ケ蟒カ霑滂シ?蛻<>
- 缩容延迟5分钟
諤サ隶。<EFBFBD>?5蛻<35>帖蜷主庄閭ス郛ゥ螳?
总计15分钟后可能缩容
```
### 莉サ蜉。譌カ髟ソ荳朱」朱<EFBFBD>?
### 任务时长与风险
```
莉サ蜉。譌カ髟ソ 螳樔セ矩楳豈<E6A5B3>」朱<EFBDA3>? 蟒コ隶ョ
任务时长 实例销毁风险 建议
─────────────────────────────────────
< 1<EFBFBD> <EFBFBD>荵惹ク?% 蜷梧ュ・螟<EFBFBD>
< 1分钟 几乎为0% 同步处理
1-5分钟 < 5% 可用MemoryQueue
5-10分钟 10-20% 建议Redis队列
10-30分钟 50-70% 必须Redis队列
@@ -399,73 +399,72 @@ ROI = 33,344%(投入
## 🎯 **立即行动**
### 螯よ棡謔ィ諠ウ邇ー蝨ィ蟆ア豬玖ッ暮柄莉サ蜉。<EFBFBD>?
### 如果您想现在就测试长任务:
**荳肴耳闕?*<2A>夂畑MemoryQueue豬玖ッ<EFBFBD>1000遽?
- 鬟朱勦<EFBFBD>?0%讎ら紫螟ア雍・
**不推荐**:用MemoryQueue测试1000
- 风险70%概率失败
- 浪费重复调用LLM API
**謗ィ闕<EFBFBD>**<EFBFBD><EFBFBD>逕?00遽<30>オ玖ッ包シ<E58C85>10蛻<30><EFBFBD>?
**推荐**先用100篇测试10分钟
```typescript
// 限制测试数量
const testLiteratures = literatures.slice(0, 100);
processLiteraturesInBackground(task.id, projectId, testLiteratures);
```
辟カ蜷手ァょッ滂シ?
然后观察:
- 是否遇到实例销毁?
- 莉サ蜉。譏ッ蜷ヲ螳梧紛<EFBFBD>?
- 任务是否完整?
- 如果失败立即改用Redis队列
### 如果您准备改造:
**蜿り€<EFBFBD>枚譯?*<2A>?
- `04-Redis謾ケ騾<EFBFBD>螳樊命隶。蛻?md`
**参考文档**
- `04-Redis改造实施计划.md`
- `05-Redis缓存与队列的区别说明.md`
**謾ケ騾<EFBFBD>鬘コ蠎?*<2A>?
1. 笨?Redis郛灘ュ假シ域悽蜻ィ<EFBFBD><EFBFBD>
2. 笨?Redis髦溷<EFBFBD><EFBFBD>井ク句捉<EFBFBD><EFBFBD>?**驥咲せ**
3. 笨?豬玖ッ<E78E96>2蟆乗慮莉サ蜉。
**改造顺序**
1. Redis缓存(本周)
2. Redis队列(下周)← **重点**
3. ✅ 测试2小时任务
---
## <EFBFBD> **<EFBFBD>ス包シ壼ョ樣刔豬玖ッ募サコ隶?*
## 📊 **附录:实际测试建议**
### 豬玖ッ墓婿譯<EFBFBD><EFBFBD>夐ェ瑚ッemoryQueue<EFBFBD>ク榊庄髱<EFBFBD>諤?
### 测试方案A验证MemoryQueue的不可靠性
```bash
# 豁・鬪、1<EFBFBD>壽署莠?000遽<30>枚迪ョ遲幃€我ササ蜉?
# 豁・鬪、2<EFBFBD>夂ュ牙セ?5蛻<35>
# 豁・鬪、3<EFBFBD>壽」€譟・莉サ蜉。迥カ諤?
# - 螯よ棡螟ア雍・ 竊?隸∵<E99AB8>螳樔セ玖「ォ髞€豈?
# - 螯よ棡謌仙粥 竊?霑先ー泌・ス<EFBDA5>御ク堺サ」陦ィ蜿ッ髱?
# 步骤1提交1000篇文献筛选任务
# 步骤2等待15分钟
# 步骤3检查任务状态
# - 如果失败 → 证明实例被销毁
# - 如果成功 → 运气好,不代表可靠
# 重复测试5次
# - 謌仙粥邇<EFBFBD>コ碑ッ?< 30%
# - 成功率应该 < 30%
```
### 测试方案BRedis队列验证
```bash
# 步骤1部署Redis队列版本
# 豁・鬪、2<EFBFBD>壽署莠?000遽<30>枚迪ョ遲幃€我ササ蜉?
# 步骤2提交1000篇文献筛选任务
# 步骤3主动停止SAE实例
# 豁・鬪、4<EFBFBD>夐㍾譁ー蜷ッ蜉ィ螳樔セ?
# 豁・鬪、5<EFBFBD>壽」€譟・莉サ蜉。譏ッ蜷ヲ閾ェ蜉ィ諱「螟?
# 步骤4重新启动实例
# 步骤5检查任务是否自动恢复
# <EFBFBD>悄扈捺棡<EFBFBD>?
# - 莉サ蜉。閾ェ蜉ィ諱「螟<EFBFBD> 笨?
# - 莉取妙轤ケ扈ァ扈?笨?
# - €扈亥ョ梧<EFBFBD>?笨?
# 预期结果:
# - 任务自动恢复 ✅
# - 从断点继续 ✅
# - 最终完成 ✅
```
---
**<EFBFBD>。」扈エ謚、閠<EFBFBD><EFBFBD>** 謚€譛ッ蝗「髦?
**文档维护者:** 技术团队
**最后更新:** 2025-12-12
**蜈ウ髞ョ扈楢ョコ<EFBFBD>?* MemoryQueue<EFBFBD>豕募庄髱<EFBFBD>螳梧<EFBFBD>2蟆乗慮莉サ蜉。<EFBFBD>悟ソ<EFBFBD>。サ霑∫ァサ蛻ーRedis髦溷<EFBFBD>
**关键结论:** MemoryQueue无法可靠完成2小时任务必须迁移到Redis队列