HaHafeng
200eab5c2e
新功能 - 列头筛选：Excel风格筛选功能（Community版本，中文本地化，显示唯一值及计数） - 行号列：添加固定行号列（#列头，灰色背景，左侧固定） - 全量数据加载：不再限制50行预览，Session加载全量数据 - 全量数据返回：所有快速操作（筛选/映射/分箱/条件/删NA/计算/Pivot）全量返回结果 Bug修复 - 滚动条终极修复：修改MainLayout为固定高度（h-screen + overflow-hidden），整个浏览器窗口无滚动条，只有AG Grid内部滚动 - 计算列全角字符修复：自动转换中文括号等全角字符为半角 - 计算列特殊字符列名修复：完善列别名机制，支持任意特殊字符列名 UI优化 - 删除'表格仅展示前50行'提示条，减少干扰 - 筛选对话框美化：白色背景，圆角，阴影 - 列头筛选图标优化：清晰可见，易于点击 文档更新 - 工具C_功能按钮开发计划_V1.0.md：添加V1.5版本记录 - 工具C_MVP开发_TODO清单.md：添加Day 8 UX优化内容 - 00-工具C当前状态与开发指南.md：更新进度为98% - 00-模块当前状态与开发指南.md：更新DC模块状态 - 00-系统当前状态与开发指南.md：更新系统整体状态 影响范围 - Python微服务：无修改 - Node.js后端：5处代码修改（SessionService + QuickActionController + AICodeService） - 前端：MainLayout + DataGrid + ag-grid-custom.css + index.tsx - 完成度：Tool C整体完成度提升至98% 代码统计 - 修改文件：~15个文件 - 新增行数：~200行 - 修改行数：~150行 Co-authored-by: AI Assistant <assistant@example.com>
文档提取微服务
基于FastAPI的文档文本提取服务，支持PDF、Docx、Txt格式。
功能特性
- ✅ PDF提取：使用PyMuPDF快速提取PDF文本
- ⏳ Docx提取：使用Mammoth提取Word文档（Day 3）
- ⏳ Txt提取：支持多种编码（Day 3）
- ⏳ 语言检测：自动检测PDF语言（Day 2）
- ⏳ Nougat集成：高质量学术PDF解析（Day 2）
快速开始
1. 安装依赖
cd extraction_service
# 创建虚拟环境（推荐）
python -m venv venv
source venv/bin/activate # Windows: venv\Scripts\activate
# 安装依赖
pip install -r requirements.txt
2. 配置环境变量
# 复制示例配置
cp .env.example .env
# 编辑配置（可选）
# SERVICE_PORT=8000
# DEBUG=True
3. 启动服务
# 开发模式（自动重载）
python main.py
# 或使用uvicorn
uvicorn main:app --reload --port 8000
服务将在 http://localhost:8000 启动
4. 测试服务
健康检查
curl http://localhost:8000/api/health
返回：
{
"status": "healthy",
"checks": {
"pymupdf": {
"available": true,
"version": "1.23.8"
},
"temp_dir": {
"path": "/tmp/extraction_service",
"writable": true
}
}
}
PDF文本提取
curl -X POST http://localhost:8000/api/extract/pdf \
-F "file=@test.pdf"
返回：
{
"success": true,
"method": "pymupdf",
"text": "提取的文本内容...",
"metadata": {
"page_count": 20,
"char_count": 50000,
"file_size": 1024000,
"filename": "test.pdf"
}
}
API文档
启动服务后访问：
- Swagger UI: http://localhost:8000/docs
- ReDoc: http://localhost:8000/redoc
项目结构
extraction_service/
├── main.py # 主应用入口
├── requirements.txt # Python依赖
├── .env.example # 环境变量示例
├── README.md # 本文件
├── services/ # 服务模块
│ ├── __init__.py
│ ├── pdf_extractor.py # PDF提取（PyMuPDF）
│ ├── nougat_extractor.py # Nougat提取（Day 2）
│ ├── docx_extractor.py # Docx提取（Day 3）
│ ├── txt_extractor.py # Txt提取（Day 3）
│ ├── language_detector.py # 语言检测（Day 2）
│ └── file_utils.py # 文件工具
└── tests/ # 测试文件（待添加）
开发计划
✅ Day 1（已完成）
- FastAPI项目搭建
- PyMuPDF集成
- PDF文本提取功能
- 健康检查API
⏳ Day 2（进行中）
- 安装Nougat
- 语言检测功能
- Nougat提取逻辑
- 顺序降级机制
⏳ Day 3
- Docx提取（Mammoth）
- Txt提取（多编码）
- 文件格式验证
依赖说明
| 库 | 版本 | 用途 |
|---|---|---|
| fastapi | 0.104.1 | Web框架 |
| uvicorn | 0.24.0 | ASGI服务器 |
| PyMuPDF | 1.23.8 | PDF文本提取 |
| pdfplumber | 0.10.3 | PDF语言检测 |
| mammoth | 1.6.0 | Docx提取 |
| langdetect | 1.0.9 | 语言检测 |
| loguru | 0.7.2 | 日志管理 |
性能指标
| 操作 | 目标时间 |
|---|---|
| 20页PDF（PyMuPDF） | <30秒 |
| 10页Docx | <10秒 |
| 1MB Txt | <5秒 |
常见问题
Q: PyMuPDF安装失败？
A: 确保Python版本>=3.8，使用pip安装：pip install PyMuPDF
Q: 服务无法启动？
A: 检查端口8000是否被占用，可修改.env中的SERVICE_PORT
Q: 临时文件在哪里？
A: 默认在/tmp/extraction_service目录，可通过TEMP_DIR环境变量配置
License
MIT