docs: complete documentation system (250+ files)
- System architecture and design documentation - Business module docs (ASL/AIA/PKB/RVW/DC/SSA/ST) - ASL module complete design (quality assurance, tech selection) - Platform layer and common capabilities docs - Development standards and API specifications - Deployment and operations guides - Project management and milestone tracking - Architecture implementation reports - Documentation templates and guides
This commit is contained in:
24
docs/03-业务模块/ASL-AI智能文献/05-测试文档/01-测试计划.md
Normal file
24
docs/03-业务模块/ASL-AI智能文献/05-测试文档/01-测试计划.md
Normal file
@@ -0,0 +1,24 @@
|
||||
# 测试计划
|
||||
|
||||
> **文档版本：** v1.0
|
||||
> **创建日期：** 2025-10-29
|
||||
> **维护者：** AI智能文献开发团队
|
||||
|
||||
---
|
||||
|
||||
## ⏳ 待完善
|
||||
|
||||
本文档内容待规划完善，目前仅作为占位文档。
|
||||
|
||||
---
|
||||
|
||||
**文档版本：** v1.0
|
||||
**最后更新：** 2025-10-29
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
24
docs/03-业务模块/ASL-AI智能文献/05-测试文档/02-标题摘要初筛测试用例.md
Normal file
24
docs/03-业务模块/ASL-AI智能文献/05-测试文档/02-标题摘要初筛测试用例.md
Normal file
@@ -0,0 +1,24 @@
|
||||
# 标题摘要初筛测试用例
|
||||
|
||||
> **文档版本：** v1.0
|
||||
> **创建日期：** 2025-10-29
|
||||
> **维护者：** AI智能文献开发团队
|
||||
|
||||
---
|
||||
|
||||
## ⏳ 待完善
|
||||
|
||||
本文档内容待规划完善，目前仅作为占位文档。
|
||||
|
||||
---
|
||||
|
||||
**文档版本：** v1.0
|
||||
**最后更新：** 2025-10-29
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
272
docs/03-业务模块/ASL-AI智能文献/05-测试文档/03-测试数据/README.md
Normal file
272
docs/03-业务模块/ASL-AI智能文献/05-测试文档/03-测试数据/README.md
Normal file
@@ -0,0 +1,272 @@
|
||||
# ASL 测试数据集
|
||||
|
||||
> **创建日期：** 2025-11-15
|
||||
> **维护人：** ASL 开发团队
|
||||
> **用途：** 用于测试 AI 智能文献模块的准确率和质量
|
||||
|
||||
---
|
||||
|
||||
## 📋 数据集概览
|
||||
|
||||
本目录包含用于测试 ASL 模块各项功能的测试数据集，包括：
|
||||
|
||||
| 测试类型 | 文件夹 | 数据量 | 状态 |
|
||||
|---------|--------|--------|------|
|
||||
| **标题摘要初筛** | `screening/` | 199 篇 | ✅ 待导入 |
|
||||
| **PDF 全文提取** | `pdf-extraction/` | 待补充 | ⏳ 待补充 |
|
||||
|
||||
---
|
||||
|
||||
## 📁 文件夹结构
|
||||
|
||||
```
|
||||
03-测试数据/
|
||||
├── README.md ← 当前文件
|
||||
│
|
||||
├── screening/ ← 标题摘要初筛测试数据
|
||||
│ ├── literature-list-199.xlsx ← 199 篇文献列表（标题+摘要）
|
||||
│ ├── picos-criteria.txt ← PICOS 标准定义
|
||||
│ ├── inclusion-criteria.txt ← 纳入标准
|
||||
│ ├── exclusion-criteria.txt ← 排除标准
|
||||
│ └── gold-standard.json ← 人工标注的正确结果（金标准）
|
||||
│
|
||||
└── pdf-extraction/ ← PDF 全文提取测试数据
|
||||
├── sample-01-rct.pdf ← RCT 研究样本
|
||||
├── sample-02-cohort.pdf ← 队列研究样本
|
||||
├── sample-03-with-tables.pdf ← 包含复杂表格的样本
|
||||
├── sample-04-chinese.pdf ← 中文文献样本
|
||||
└── README.md
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎯 使用方法
|
||||
|
||||
### 1. 导入测试数据
|
||||
|
||||
**请按以下步骤导入您的测试数据：**
|
||||
|
||||
#### （1）标题摘要初筛测试数据
|
||||
|
||||
**文件清单：**
|
||||
- `literature-list-199.xlsx`：199 篇英文文献列表
|
||||
- `picos-criteria.txt`：PICOS 标准（Population, Intervention, Comparison, Outcome, Study Design）
|
||||
- `gold-standard.json`：人工标注的正确结果
|
||||
|
||||
**Excel 文件格式要求：**
|
||||
```
|
||||
列名（必须）：
|
||||
- Title（标题）
|
||||
- Abstract（摘要）
|
||||
- DOI（可选）
|
||||
- Authors（作者，可选）
|
||||
- Year（年份，可选）
|
||||
- Journal（期刊，可选）
|
||||
|
||||
示例：
|
||||
| Title | Abstract | DOI | Authors | Year | Journal |
|
||||
|--------------------------------|---------------------------|---------------|--------------|------|---------|
|
||||
| Effect of aspirin on ... | Background: ... | 10.1038/... | Smith J, ... | 2020 | NEJM |
|
||||
```
|
||||
|
||||
**PICOS 标准格式：**
|
||||
```txt
|
||||
# PICOS 标准
|
||||
|
||||
## Population（人群）
|
||||
- 成年高血压患者（年龄 ≥ 18 岁）
|
||||
- 无心血管疾病史
|
||||
|
||||
## Intervention（干预）
|
||||
- 每日服用阿司匹林 100mg
|
||||
|
||||
## Comparison（对照）
|
||||
- 安慰剂或无治疗
|
||||
|
||||
## Outcome（结局）
|
||||
- 主要结局：心血管事件发生率
|
||||
- 次要结局：全因死亡率
|
||||
|
||||
## Study Design（研究设计）
|
||||
- 随机对照试验（RCT）
|
||||
- 队列研究（Cohort Study）
|
||||
```
|
||||
|
||||
**金标准格式（JSON）：**
|
||||
```json
|
||||
{
|
||||
"metadata": {
|
||||
"total": 199,
|
||||
"annotatedBy": "医学专家姓名",
|
||||
"annotatedDate": "2025-11-15",
|
||||
"expectedAccuracy": 0.90
|
||||
},
|
||||
"results": [
|
||||
{
|
||||
"id": 1,
|
||||
"doi": "10.1038/nature12373",
|
||||
"title": "...",
|
||||
"decision": "include",
|
||||
"reason": "符合 PICO 标准：人群为成年高血压患者，干预为阿司匹林...",
|
||||
"confidence": 1.0
|
||||
},
|
||||
{
|
||||
"id": 2,
|
||||
"decision": "exclude",
|
||||
"reason": "不符合纳入标准：人群为儿童患者",
|
||||
"confidence": 0.95
|
||||
}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
#### （2）PDF 全文提取测试数据
|
||||
|
||||
**建议准备的样本类型：**
|
||||
- RCT 研究（随机对照试验）
|
||||
- 队列研究（Cohort Study）
|
||||
- 包含复杂表格的文献
|
||||
- 包含数学公式的文献
|
||||
- 中文医学文献（测试语言检测）
|
||||
|
||||
**样本数量建议：** 5-10 篇
|
||||
|
||||
### 2. 运行测试
|
||||
|
||||
#### （1）标题摘要初筛测试
|
||||
|
||||
```bash
|
||||
# 进入后端目录
|
||||
cd AIclinicalresearch/backend
|
||||
|
||||
# 运行初筛测试
|
||||
npm run test:asl:screening
|
||||
|
||||
# 或者手动测试：
|
||||
# 1. 启动后端服务
|
||||
npm run dev
|
||||
|
||||
# 2. 通过前端上传 literature-list-199.xlsx
|
||||
# 3. 配置 PICOS 标准（复制 picos-criteria.txt 内容）
|
||||
# 4. 运行批量筛选
|
||||
# 5. 导出结果，与 gold-standard.json 对比
|
||||
```
|
||||
|
||||
#### （2）评估准确率
|
||||
|
||||
```bash
|
||||
# 自动评估准确率（与金标准对比）
|
||||
npm run test:asl:evaluate -- \
|
||||
--result ./screening-result.json \
|
||||
--gold-standard ./gold-standard.json
|
||||
|
||||
# 输出示例：
|
||||
# ✅ 准确率: 92.5%
|
||||
# ✅ 一致率: 88.9%
|
||||
# ⚠️ 假阳性率: 5.2%
|
||||
# ⚠️ 假阴性率: 2.3%
|
||||
```
|
||||
|
||||
### 3. 质量指标
|
||||
|
||||
| 指标 | MVP 目标 | V1.0 目标 | V2.0 目标 |
|
||||
|------|---------|----------|----------|
|
||||
| **准确率** | ≥ 85% | ≥ 90% | ≥ 95% |
|
||||
| **一致率**（双模型） | ≥ 80% | ≥ 85% | ≥ 90% |
|
||||
| **假阳性率** | ≤ 10% | ≤ 5% | ≤ 3% |
|
||||
| **假阴性率** | ≤ 5% | ≤ 3% | ≤ 2% |
|
||||
|
||||
---
|
||||
|
||||
## 📊 测试数据统计
|
||||
|
||||
### 标题摘要初筛数据集
|
||||
|
||||
**基本信息：**
|
||||
- **总数量**: 199 篇
|
||||
- **数据来源**: [请填写数据来源]
|
||||
- **领域**: 医学/临床研究
|
||||
- **语言**: 英文
|
||||
- **年份范围**: [请填写]
|
||||
|
||||
**预期分布：**
|
||||
```
|
||||
纳入（Include）: ~45 篇（23%）
|
||||
排除（Exclude）: ~132 篇（66%）
|
||||
不确定（Uncertain）: ~22 篇（11%）
|
||||
```
|
||||
|
||||
**研究类型分布（预估）：**
|
||||
```
|
||||
RCT: ~60 篇（30%）
|
||||
队列研究: ~50 篇（25%）
|
||||
病例对照: ~30 篇（15%）
|
||||
横断面研究: ~30 篇（15%）
|
||||
其他: ~29 篇（15%）
|
||||
```
|
||||
|
||||
### PDF 全文提取数据集
|
||||
|
||||
**待补充**
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ 数据使用注意事项
|
||||
|
||||
### 1. 版权声明
|
||||
|
||||
- 本测试数据集仅用于 ASL 模块开发和测试
|
||||
- 不得用于商业用途
|
||||
- 不得公开分发或传播
|
||||
- 请遵守原文献的版权许可
|
||||
|
||||
### 2. 数据隐私
|
||||
|
||||
- 确保测试数据不包含敏感信息
|
||||
- 如包含患者数据，必须已脱敏处理
|
||||
- 遵守 GDPR、HIPAA 等数据保护法规
|
||||
|
||||
### 3. 质量要求
|
||||
|
||||
- **金标准必须由医学专家标注**
|
||||
- 标注人需具备相关领域专业知识
|
||||
- 标注过程需有质量控制机制
|
||||
- 建议双人独立标注，冲突需第三方仲裁
|
||||
|
||||
---
|
||||
|
||||
## 🔄 数据更新记录
|
||||
|
||||
| 日期 | 更新内容 | 更新人 |
|
||||
|------|---------|--------|
|
||||
| 2025-11-15 | 创建测试数据目录结构 | ASL 团队 |
|
||||
| 待更新 | 导入 199 篇文献测试数据 | - |
|
||||
| 待更新 | 添加 PDF 样本数据 | - |
|
||||
|
||||
---
|
||||
|
||||
## 📞 联系方式
|
||||
|
||||
如有问题，请联系：
|
||||
- **项目负责人**: [姓名]
|
||||
- **邮箱**: [邮箱]
|
||||
- **文档维护**: [文档路径]
|
||||
|
||||
---
|
||||
|
||||
## 📚 相关文档
|
||||
|
||||
- [标题摘要初筛测试用例](../02-标题摘要初筛测试用例.md)
|
||||
- [测试计划](../01-测试计划.md)
|
||||
- [文献处理技术选型](../../02-技术设计/07-文献处理技术选型.md)
|
||||
- [质量保障与可追溯策略](../../02-技术设计/06-质量保障与可追溯策略.md)
|
||||
|
||||
---
|
||||
|
||||
**下一步行动：**
|
||||
1. ✅ 创建测试数据目录结构
|
||||
2. ⏳ 导入您的 199 篇文献测试数据（`literature-list-199.xlsx`）
|
||||
3. ⏳ 创建 PICOS 标准文件（`picos-criteria.txt`）
|
||||
4. ⏳ 准备金标准标注（`gold-standard.json`）
|
||||
5. ⏳ 补充 PDF 样本数据
|
||||
|
||||
Binary file not shown.
@@ -0,0 +1,77 @@
|
||||
测试案例的PICOS、纳入标准、排除标准
|
||||
|
||||
一、PICOS：
|
||||
|
||||
Patients with non-cardioembolic ischemic stroke (NCIS) 非心源性缺血性卒中、亚洲人群
|
||||
亚组人群：
|
||||
均在非心源性卒中范畴内找：
|
||||
1. NIHSS评分亚组卒中人群（mild/moderate stroke）;
|
||||
2. 不同TOAST分型（different TOAST subtypes，excluding cardioembolic stroke）;
|
||||
3. 高危TIA人群（high-risk TIA population）;
|
||||
4. 新发卒中/复发性/进展性卒中患者（new-onset stroke/recurrent /progressive stroke patients）
|
||||
5 颅内动脉粥样硬化性狭窄/大动脉粥样硬化患者（ICAS/LAA）
|
||||
6. 不同疾病特征人群：
|
||||
（1）合并冠心病（CAD）患者/外周动脉疾病PAD
|
||||
（2）合并中重度肾功能不全透析患者（patients with moderate-severe renal insufficiency on dialysis）;
|
||||
（3）合并糖尿病患者（patients with diabetes mellitus）;
|
||||
（4）老年或脆弱患者（elderly/fragile patients）;
|
||||
（5）氯吡格雷抵抗人群（clopidogrel-resistant population）;
|
||||
（6）Breakthrough stroke
|
||||
（7）特殊情况如卵圆孔未闭（PFO），颈动脉夹层（cervical artery dissection,）合并肿瘤（cancer）
|
||||
|
||||
Intervention/Comparator：
|
||||
抗血小板治疗药物：阿司匹林，氯吡格雷，奥扎格雷，贝前列素，西洛他唑，替罗非班，替格瑞洛，吲哚布芬，沙格雷酯，氯吡格雷阿司匹林，双嘧达莫等。
|
||||
抗凝药物：阿加曲班，asundexian，milvexian，华法林、低分子肝素、肝素等。
|
||||
溶栓药物：链激酶、尿激酶、阿替普酶、替奈普酶等。
|
||||
|
||||
Outcome
|
||||
疗效安全性：Progressive stroke卒中的进展or神经功能恶化，Recurrent ischemic stroke 卒中的复发，Disability，Death，NIHSS评分变化，VTE，efficacy/effective/effectiveness/疗效/有效性，痴呆、认知功能减退、疲乏、抑郁；safety/安全性。
|
||||
|
||||
Time
|
||||
检索时间：近五年（2020年之后）至今文献
|
||||
|
||||
Study design
|
||||
系统评价（SR）、随机对照试验（RCT）、真实世界研究（RWE）、观察性研究（OBS）
|
||||
|
||||
|
||||
二、 纳入标准：
|
||||
非心源性缺血性卒中、亚洲患者
|
||||
Patients post-Ischemic Stroke (IS) a that are on Secondary Stroke Prevention (SSP) treatment
|
||||
Patients post-IS a that are not on SSP treatment (if captured within a study where the focus is on patients that
|
||||
are on SSP treatment)
|
||||
|
||||
干预和对照
|
||||
抗血小板治疗药物：阿司匹林，氯吡格雷，奥扎格雷，贝前列素，西洛他唑，替罗非班，
|
||||
替格瑞洛，吲哚布芬，沙格雷酯，氯吡格雷阿司匹林，双嘧达莫等。
|
||||
抗凝药物：阿加曲班，asundexian，milvexian，华法林、低分子肝素、肝素等。
|
||||
溶栓药物：链激酶、尿激酶、阿替普酶、替奈普酶等。
|
||||
|
||||
结局：
|
||||
疗效安全性：Progressive stroke卒中的进展or神经功能恶化，Recurrent ischemic stroke 卒中的复发，
|
||||
Disability，Death，NIHSS评分变化，VTE，efficacy/effective/effectiveness/疗效/有效性，痴呆、
|
||||
认知功能减退、疲乏、抑郁；safety/安全性。
|
||||
|
||||
研究类型
|
||||
系统评价（SR）、随机对照试验（RCT）、真实世界研究（RWE）、观察性研究（OBS）
|
||||
|
||||
研究时间
|
||||
近五年（2020年之后）的文献
|
||||
|
||||
- 包含“secondary prevention”
|
||||
- 包含“prevention of recurrence”
|
||||
- 包含“for stroke prevention”
|
||||
- 包含涉及抗血小板或抗凝药物
|
||||
- 涉及抗血小板或抗凝药物
|
||||
如果出现了抗血小板或抗凝药物，并且没有出现任何排除关键词（急性期相关术语），则纳入。
|
||||
|
||||
|
||||
三、 排除标准：
|
||||
1. 心源性卒中患者、非亚洲
|
||||
2. Patients post any other stroke
|
||||
3. Patients on antiplatelet therapy for Acute Coronary Syndrome (ACS) without previously identified stroke
|
||||
4. Patients who have Atrial Fibrillation (AF)
|
||||
5. Mixed populations (when the population includes patients that are not post IS)
|
||||
6. 病例报告等
|
||||
7. 非中英文文献
|
||||
8. 包含急性期治疗关键词（如acute, thrombolysis, thrombectomy等），没有出现抗血小板或抗凝药物，也没有出现二级预防关键词。
|
||||
|
||||
Reference in New Issue
Block a user