HaHafeng
bdfca32305
- 新增《REDCap对接技术方案与实施指南》(1070行) - 确定DET+REST API技术方案(不使用External Module) - 完整RedcapAdapter/WebhookController/SyncManager代码设计 - Day 2详细实施步骤与验收标准 - 更新《IIT Manager Agent模块当前状态与开发指南》 - 记录REDCap本地环境部署完成(15.8.0) - 记录对接方案确定过程与技术决策 - 更新Day 2工作计划(6个阶段详细清单) - 整体进度18%(Day 1完成+REDCap环境就绪) - REDCap环境准备完成 - 测试项目test0102(PID 16)创建成功 - DET功能源码验证通过 - 本地Docker环境稳定运行 技术方案: - 实时触发: Data Entry Trigger (0秒延迟) - 数据拉取: REST API exportRecords (增量同步) - 轮询补充: pg-boss定时任务 (每30分钟) - 可靠性: Webhook幂等性 + 轮询补充机制
184 lines
6.4 KiB
Markdown
184 lines
6.4 KiB
Markdown
# 工具C - 缺失值处理功能开发计划 - 更新说明
|
||
|
||
## 📝 更新日期：2025-12-10
|
||
|
||
## ✅ 已完成的更新
|
||
|
||
### 1. Phase 1功能清单
|
||
**新增第5、6项**：
|
||
- 5. **前向填充**（Forward Fill）
|
||
- 适用于：时间序列数据、有顺序的观察数据
|
||
- 实现：`df[column].fillna(method='ffill')`，用前一个非缺失值填充
|
||
- 示例：[10, NaN, NaN, 20] → [10, 10, 10, 20]
|
||
|
||
- 6. **后向填充**（Backward Fill）
|
||
- 适用于：时间序列数据、有顺序的观察数据
|
||
- 实现：`df[column].fillna(method='bfill')`，用后一个非缺失值填充
|
||
- 示例：[10, NaN, NaN, 20] → [10, 20, 20, 20]
|
||
|
||
### 2. Phase 2功能清单
|
||
**移除**：前向/后向填充（已移到Phase 1）
|
||
**保留**：分组填补、线性插值、KNN填补、组合填补
|
||
|
||
### 3. UI设计更新
|
||
Tab 2填补方法新增：
|
||
- ⚪ 前向填充（用前一个值填充，适合时间序列）
|
||
- ⚪ 后向填充（用后一个值填充，适合时间序列）
|
||
|
||
### 4. Python函数签名更新
|
||
```python
|
||
def fillna_simple(
|
||
...
|
||
method: Literal['mean', 'median', 'mode', 'constant', 'ffill', 'bfill'], # 新增ffill和bfill
|
||
...
|
||
)
|
||
```
|
||
|
||
### 5. TypeScript类型更新
|
||
```typescript
|
||
method: 'mean' | 'median' | 'mode' | 'constant' | 'ffill' | 'bfill'
|
||
```
|
||
|
||
### 6. 测试用例更新
|
||
从14个增加到18个：
|
||
- **新增TC-6**：前向填充
|
||
- **新增TC-7**：后向填充
|
||
- **新增TC-11**：前向填充边界（首行NA）
|
||
- **新增TC-12**：后向填充边界（末行NA）
|
||
- 原TC-6~TC-14 重新编号为 TC-8~TC-18
|
||
|
||
### 7. 测试数据准备更新
|
||
**新增**：时间序列列：随访血压（有顺序，缺失18%）- 用于测试前/后向填充
|
||
|
||
### 8. 时间估算更新
|
||
| 项目 | 原计划 | 新计划 | 增加时间 |
|
||
|------|--------|--------|---------|
|
||
| Python后端 - 简单填补 | 40分钟 | 50分钟 | +10分钟 |
|
||
| 前端UI - Tab 2 | 40分钟 | 50分钟 | +10分钟 |
|
||
| 测试 | 40分钟（14个用例）| 50分钟（18个用例）| +10分钟 |
|
||
| **总计** | **约5-6小时** | **约6-7小时** | **+30分钟** |
|
||
|
||
---
|
||
|
||
## 🎯 功能完整清单（Phase 1）
|
||
|
||
| 编号 | 功能 | 适用场景 | 实现方法 |
|
||
|------|------|----------|----------|
|
||
| 1 | 均值填补 | 数值型变量，正态分布 | `fillna(mean())` |
|
||
| 2 | 中位数填补 | 数值型变量，偏态分布 | `fillna(median())` |
|
||
| 3 | 众数填补 | 分类变量、离散数值 | `fillna(mode()[0])` |
|
||
| 4 | 固定值填补 | 任何类型，用户指定 | `fillna(value)` |
|
||
| 5 | **前向填充** ⭐ | **时间序列、随访数据** | **`fillna(method='ffill')`** |
|
||
| 6 | **后向填充** ⭐ | **时间序列、预测数据** | **`fillna(method='bfill')`** |
|
||
| 7 | MICE多重插补 | 缺失率5%-30%，需考虑变量关系 | `IterativeImputer` |
|
||
|
||
---
|
||
|
||
## 📋 完整测试用例清单（18个）
|
||
|
||
| 编号 | 功能 | 测试场景 | 预期结果 |
|
||
|------|------|----------|----------|
|
||
| TC-1 | 均值填补 | 对"年龄"列使用均值填补 | 创建新列，缺失值被均值填充 ✅ |
|
||
| TC-2 | 中位数填补 | 对"体重"列使用中位数填补 | 创建新列，缺失值被中位数填充 ✅ |
|
||
| TC-3 | 众数填补 | 对"婚姻状况"列使用众数填补 | 创建新列，缺失值被众数填充 ✅ |
|
||
| TC-4 | 固定值填补（数值） | 对"年龄"列填充固定值"0" | 创建新列，所有缺失值变为0 ✅ |
|
||
| TC-5 | 固定值填补（文本） | 对"婚姻状况"列填充"未知" | 创建新列，所有缺失值变为"未知" ✅ |
|
||
| **TC-6** | **前向填充** ⭐ | **对随访血压列使用前向填充** | **缺失值被前一个非缺失值填充 ✅** |
|
||
| **TC-7** | **后向填充** ⭐ | **对随访血压列使用后向填充** | **缺失值被后一个非缺失值填充 ✅** |
|
||
| TC-8 | MICE填补 | 选择"收缩压"+"舒张压"，执行MICE | 创建2个新列（_MICE后缀）✅ |
|
||
| TC-9 | 新列位置验证 ⭐ | 对"列A"填补，查看新列位置 | 新列紧邻原列右侧 ✅ |
|
||
| TC-10 | MICE新列位置 ⭐ | 对"列A"+"列C"执行MICE | 各新列紧邻其原列 ✅ |
|
||
| **TC-11** | **前向填充边界** ⭐ | **对首行为NA的列前向填充** | **首行NA保持NA（无前值）✅** |
|
||
| **TC-12** | **后向填充边界** ⭐ | **对末行为NA的列后向填充** | **末行NA保持NA（无后值）✅** |
|
||
| TC-13 | 统计信息准确性 | 选择任意列，查看统计 | 显示正确的缺失数、均值等 |
|
||
| TC-14 | 删除功能保留 | Tab 1删除缺失行 | 功能正常，与原功能一致 |
|
||
| TC-15 | 空列处理 | 对无缺失列执行填补 | 提示或复制原列 |
|
||
| TC-16 | 全缺失列处理 | 对全缺失列执行填补 | 提示警告，创建新列 |
|
||
| TC-17 | 重复新列名处理 | 新列名已存在 | 自动添加后缀或提示 |
|
||
| TC-18 | 原始数据保留 ⭐ | 填补后，检查原列 | 原列数据完全不变 ✅ |
|
||
|
||
---
|
||
|
||
## 💡 适用场景说明
|
||
|
||
### 前向填充（Forward Fill）- 新增
|
||
**最适合场景**：
|
||
1. **多次随访数据**：患者在不同时间点的测量，如果某次随访缺失，用上次的值
|
||
- 示例：血压随访（120 → NaN → NaN → 130）→ （120 → 120 → 120 → 130）
|
||
2. **观察性研究**：假设变量在短期内相对稳定
|
||
3. **传感器数据**：设备临时故障，用最后一次正常值
|
||
|
||
**不适合场景**：
|
||
- 变化快的指标（如血糖波动大）
|
||
- 首次观察即缺失（无前值可用）
|
||
|
||
### 后向填充（Backward Fill）- 新增
|
||
**最适合场景**：
|
||
1. **预测性数据**：已知未来的值，向前填充
|
||
2. **计划性事件**：如手术日期，向前填充到准备期
|
||
3. **数据补录**：后期补充的数据向前填充
|
||
|
||
**不适合场景**：
|
||
- 末次观察缺失（无后值可用）
|
||
- 因果关系要求严格的研究
|
||
|
||
---
|
||
|
||
## ✅ 更新确认清单
|
||
|
||
请确认以下更新是否符合您的需求：
|
||
|
||
- [x] 前向/后向填充功能加入Phase 1（本次开发）
|
||
- [x] Tab 2增加2个填补选项（共6种方法）
|
||
- [x] Python函数支持 `'ffill'` 和 `'bfill'` 方法
|
||
- [x] 测试用例从14个增加到18个
|
||
- [x] 开发时间从5-6小时增加到6-7小时
|
||
- [x] 适用场景说明清晰（医学研究背景）
|
||
|
||
---
|
||
|
||
## 🚀 如确认无误，即可开始开发！
|
||
|
||
**开发顺序**：
|
||
1. Python后端 - 简单填补（含前/后向填充）
|
||
2. Python后端 - MICE填补
|
||
3. Node.js后端API转发
|
||
4. 前端UI（3个Tab，Tab 2含6种方法）
|
||
5. API集成
|
||
6. 18个测试用例验证
|
||
|
||
**预计总时间：6-7小时**
|
||
|
||
---
|
||
|
||
**请确认后告诉我，我将立即开始开发！** 🎯
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|