HaHafeng
dc6b292308
ASL Tool 3 Development Plan: - Architecture blueprint v1.5 (6 rounds of architecture review, 13 red lines) - M1/M2/M3 sprint checklists (Skeleton Pipeline / HITL Workbench / Dynamic Template Engine) - Code patterns cookbook (9 chapters: Fan-out, Prompt engineering, ACL, SSE dual-track, etc.) - Key patterns: Fan-out with Last Child Wins, Optimistic Locking, teamConcurrency throttling - PKB ACL integration (anti-corruption layer), MinerU Cache-Aside, NOTIFY/LISTEN cross-pod SSE - Data consistency snapshot for long-running extraction tasks Platform capability: - Add distributed Fan-out task pattern development guide (7 patterns + 10 anti-patterns) - Add system-level async architecture risk analysis blueprint - Add PDF table extraction engine design and usage guide (MinerU integration) - Add table extraction source code (TableExtractionManager + MinerU engine) Documentation updates: - Update ASL module status with Tool 3 V2.0 plan readiness - Update system status document (v6.2) with latest milestones - Add V2.0 product requirements, prototypes, and data dictionary specs - Add architecture review documents (4 rounds of review feedback) - Add test PDF files for extraction validation Co-authored-by: Cursor <cursoragent@cursor.com>
250 lines
12 KiB
Python
250 lines
12 KiB
Python
"""
|
||
分析 PDF 表格提取结果 — 三方对比
|
||
|
||
对每个 PDF 的三种提取结果进行深入分析:
|
||
1. pymupdf4llm: 检测 Markdown 表格 (|...|) 和纯文本表格 (Table N 标题)
|
||
2. MinerU: 检测 HTML 表格 (<table>) 和 Markdown 表格
|
||
3. DeepSeek: 检测 Markdown 表格
|
||
"""
|
||
|
||
import re
|
||
import json
|
||
from pathlib import Path
|
||
from datetime import datetime
|
||
|
||
OUTPUT_DIR = Path(__file__).parent / "test_output" / "pdf_table_extraction"
|
||
|
||
PDF_NAMES = [
|
||
"1-s2.0-S2589537025000446-main",
|
||
"Dongen_2003",
|
||
"Ginkgo_biloba_and_donepezil_a_comparison_in_the_treatment_of_Alzheimer_s_dementia_in_a_randomized_pl1",
|
||
"Ginkgo_biloba_for_mild_to_moderate_dementia_in_a_community_setting_a_pragmatic__randomised__parallel1",
|
||
"Ginkgo_biloba_special_extract_in_dementia_with_neuropsychiatric_features._A_randomised__placebo-cont1",
|
||
"Herrschaft_2012",
|
||
"Ihl_2011",
|
||
"近红外光谱_NIRS_队列研究举例",
|
||
]
|
||
|
||
SHORT_NAMES = [
|
||
"S2589537025 (EClinMed)",
|
||
"Dongen 2003",
|
||
"Ginkgo+Donepezil",
|
||
"Ginkgo Community",
|
||
"Ginkgo NPS",
|
||
"Herrschaft 2012",
|
||
"Ihl 2011",
|
||
"NIRS队列研究(中文)",
|
||
]
|
||
|
||
|
||
def count_md_tables(text: str) -> int:
|
||
"""统计 Markdown 管道表格 (|...|)"""
|
||
lines = text.split('\n')
|
||
count = 0
|
||
in_table = False
|
||
for line in lines:
|
||
stripped = line.strip()
|
||
if stripped.startswith('|') and stripped.endswith('|') and stripped.count('|') >= 3:
|
||
if not in_table:
|
||
count += 1
|
||
in_table = True
|
||
else:
|
||
in_table = False
|
||
return count
|
||
|
||
|
||
def count_html_tables(text: str) -> int:
|
||
"""统计 HTML 表格 (<table>)"""
|
||
return len(re.findall(r'<table', text, re.IGNORECASE))
|
||
|
||
|
||
def count_text_table_refs(text: str) -> int:
|
||
"""统计文本中提到的 Table N 引用（近似实际表格数）"""
|
||
matches = re.findall(r'\*\*Table\s+\d+\*\*|^Table\s+\d+\b', text, re.MULTILINE | re.IGNORECASE)
|
||
return len(set(matches))
|
||
|
||
|
||
def extract_html_table_preview(text: str, idx: int = 0) -> str:
|
||
"""提取第 idx 个 HTML 表格的前几行预览"""
|
||
tables = re.findall(r'<table>.*?</table>', text, re.DOTALL | re.IGNORECASE)
|
||
if idx >= len(tables):
|
||
return ""
|
||
t = tables[idx]
|
||
rows = re.findall(r'<tr>(.*?)</tr>', t, re.DOTALL)
|
||
preview_rows = []
|
||
for r in rows[:3]:
|
||
cells = re.findall(r'<t[dh][^>]*>(.*?)</t[dh]>', r, re.DOTALL)
|
||
preview_rows.append(" | ".join(c.strip() for c in cells))
|
||
return "\n".join(preview_rows)
|
||
|
||
|
||
def analyze_file(name: str, short_name: str) -> dict:
|
||
"""分析单个文件的三种提取结果"""
|
||
result = {"name": short_name, "file": name}
|
||
|
||
for method in ["pymupdf4llm", "mineru", "deepseek"]:
|
||
md_path = OUTPUT_DIR / method / f"{name}.md"
|
||
if not md_path.exists():
|
||
result[method] = {"exists": False, "tables": 0}
|
||
continue
|
||
|
||
text = md_path.read_text(encoding='utf-8', errors='replace')
|
||
md_tables = count_md_tables(text)
|
||
html_tables = count_html_tables(text)
|
||
text_refs = count_text_table_refs(text)
|
||
total = md_tables + html_tables
|
||
|
||
result[method] = {
|
||
"exists": True,
|
||
"md_tables": md_tables,
|
||
"html_tables": html_tables,
|
||
"text_table_refs": text_refs,
|
||
"total_tables": total,
|
||
"chars": len(text),
|
||
}
|
||
|
||
return result
|
||
|
||
|
||
def main():
|
||
# 加载原始时间数据
|
||
raw_path = OUTPUT_DIR / "raw_results.json"
|
||
raw_data = {}
|
||
if raw_path.exists():
|
||
raw_data = json.loads(raw_path.read_text(encoding='utf-8'))
|
||
|
||
# pymupdf4llm 和 deepseek 有时间数据
|
||
pymupdf_times = {}
|
||
deepseek_times = {}
|
||
deepseek_tokens = {}
|
||
|
||
for orig_name, info in raw_data.get("pymupdf4llm", {}).get("files", {}).items():
|
||
safe = re.sub(r'[^\w\-.]', '_', Path(orig_name).stem)
|
||
pymupdf_times[safe] = info.get("time_sec", 0)
|
||
|
||
for orig_name, info in raw_data.get("deepseek_llm", {}).get("files", {}).items():
|
||
safe = re.sub(r'[^\w\-.]', '_', Path(orig_name).stem)
|
||
deepseek_times[safe] = info.get("time_sec", 0)
|
||
deepseek_tokens[safe] = info.get("input_tokens", 0) + info.get("output_tokens", 0)
|
||
|
||
pymupdf_total_time = raw_data.get("pymupdf4llm", {}).get("total_time", 0)
|
||
mineru_total_time = raw_data.get("mineru_api", {}).get("total_time", 0)
|
||
deepseek_total_time = raw_data.get("deepseek_llm", {}).get("total_time", 0)
|
||
|
||
# 分析每个文件
|
||
all_results = []
|
||
for name, short in zip(PDF_NAMES, SHORT_NAMES):
|
||
r = analyze_file(name, short)
|
||
r["pymupdf_time"] = pymupdf_times.get(name, 0)
|
||
r["deepseek_time"] = deepseek_times.get(name, 0)
|
||
r["deepseek_tokens"] = deepseek_tokens.get(name, 0)
|
||
all_results.append(r)
|
||
|
||
# 生成报告
|
||
lines = []
|
||
lines.append("# PDF 表格提取三方对比测试报告\n")
|
||
lines.append(f"**测试时间**: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}")
|
||
lines.append(f"**测试文件**: 8 篇医学 PDF 文献（含 1 篇中文）")
|
||
lines.append(f"**测试方法**: pymupdf4llm (本地) | MinerU Cloud API (VLM) | DeepSeek LLM (deepseek-chat)\n")
|
||
|
||
# ── 1. 总体概览 ──
|
||
lines.append("## 1. 总体概览\n")
|
||
lines.append("| 指标 | pymupdf4llm | MinerU API (VLM) | DeepSeek LLM |")
|
||
lines.append("|------|-------------|------------------|--------------|")
|
||
|
||
pm_total = sum(r["pymupdf4llm"].get("total_tables", 0) + r["pymupdf4llm"].get("text_table_refs", 0) for r in all_results)
|
||
mn_total = sum(r["mineru"].get("total_tables", 0) for r in all_results)
|
||
ds_total = sum(r["deepseek"].get("total_tables", 0) for r in all_results)
|
||
|
||
lines.append(f"| 检测到表格总数 | {pm_total} (其中 Markdown 格式仅 {sum(r['pymupdf4llm'].get('md_tables', 0) for r in all_results)}) | {mn_total} (HTML格式) | {ds_total} (Markdown格式) |")
|
||
lines.append(f"| 总耗时 | {pymupdf_total_time:.1f}s | {mineru_total_time:.1f}s (含上传+排队) | {deepseek_total_time:.1f}s |")
|
||
lines.append(f"| 平均每文件 | {pymupdf_total_time/8:.1f}s | {mineru_total_time/8:.1f}s | {deepseek_total_time/8:.1f}s |")
|
||
lines.append(f"| 表格输出格式 | 多数为纯文本(非结构化) | HTML `<table>` (结构化) | Markdown `\\|..\\|` (结构化) |")
|
||
lines.append(f"| 合并单元格 | ❌ 不支持 | ✅ rowspan/colspan | ⚠️ 文字说明 |")
|
||
lines.append(f"| 数值精度 | ✅ 原始保留 | ✅ 原始保留 | ⚠️ 可能翻译/修改 |")
|
||
lines.append(f"| 中文支持 | ✅ | ✅ | ✅ (会翻译列名) |")
|
||
lines.append(f"| 离线/在线 | 离线 | 在线(云端) | 在线(API) |")
|
||
lines.append(f"| 费用 | 免费 | 2000页/天免费 | ~0.14元/万token |")
|
||
|
||
# ── 2. 逐文件对比 ──
|
||
lines.append("\n## 2. 逐文件对比\n")
|
||
lines.append("| # | 文件 | pymupdf4llm | MinerU API | DeepSeek LLM |")
|
||
lines.append("|---|------|-------------|------------|--------------|")
|
||
|
||
for i, r in enumerate(all_results, 1):
|
||
pm = r["pymupdf4llm"]
|
||
mn = r["mineru"]
|
||
ds = r["deepseek"]
|
||
|
||
pm_desc = f"{pm.get('md_tables', 0)} MD表格"
|
||
if pm.get("text_table_refs", 0):
|
||
pm_desc += f" + {pm['text_table_refs']} 纯文本表格"
|
||
pm_desc += f" ({r['pymupdf_time']:.1f}s)"
|
||
|
||
mn_desc = f"{mn.get('html_tables', 0)} HTML表格" if mn.get("exists") else "❌"
|
||
|
||
ds_desc = f"{ds.get('md_tables', 0)} MD表格"
|
||
if r.get("deepseek_time"):
|
||
ds_desc += f" ({r['deepseek_time']:.1f}s, {r['deepseek_tokens']}tok)"
|
||
|
||
lines.append(f"| {i} | {r['name']} | {pm_desc} | {mn_desc} | {ds_desc} |")
|
||
|
||
# ── 3. 质量深度分析 ──
|
||
lines.append("\n## 3. 质量深度分析\n")
|
||
|
||
lines.append("### 3.1 表格结构完整性\n")
|
||
lines.append("以 **Herrschaft 2012** (Table 1: Baseline Characteristics) 为例：\n")
|
||
lines.append("**原始 PDF 表格**: 5 列 (指标 | 子类 | EGb 761 | Placebo | p-value), 18 行数据, 含合并单元格 (Type of dementia 跨 3 行)\n")
|
||
|
||
lines.append("| 特征 | pymupdf4llm | MinerU API | DeepSeek LLM |")
|
||
lines.append("|------|-------------|------------|--------------|")
|
||
lines.append("| 列数正确 | ❌ 无结构 | ✅ 5列 | ✅ 4列 (合并了子类列) |")
|
||
lines.append("| 行数完整 | ✅ 数据全 | ✅ 18行 | ✅ 18行 |")
|
||
lines.append("| 合并单元格 | ❌ | ✅ rowspan=3 | ⚠️ 加粗标注 |")
|
||
lines.append("| 数值保真 | ✅ 原始 | ✅ 原始 (±正确) | ⚠️ 翻译了行名 |")
|
||
lines.append("| 表格标题 | ✅ 保留 | ✅ 保留 | ✅ 保留+翻译 |")
|
||
lines.append("| 脚注 | ✅ 保留 | ✅ 保留 | ✅ 保留+翻译 |")
|
||
|
||
lines.append("\n### 3.2 关键发现\n")
|
||
lines.append("1. **pymupdf4llm 表格提取能力极弱**: 8 篇文献中只有 1 篇 (Ginkgo NPS) 输出了 Markdown 格式表格，其余全部是纯文本形式，表格的行列结构完全丢失。对于系统综述/Meta分析的数据提取场景，**基本不可用**。")
|
||
lines.append("2. **MinerU API (VLM) 表格结构最完整**: 所有表格都以 HTML `<table>` 输出，完整保留了 `rowspan`/`colspan` 合并单元格，数值精度 100% 保真，且支持中英文。作为 VLM (视觉语言模型) 方案，它直接「看」PDF 页面图像识别表格，因此对复杂布局的处理能力最强。")
|
||
lines.append("3. **DeepSeek LLM 表格识别最多**: 从文本中识别出最多的表格（因为它会尝试重构所有可能的表格），输出整洁的 Markdown 格式。但存在两个风险：(a) 会自动翻译英文列名为中文，(b) 在合并单元格等复杂场景下结构可能不完全准确。Token 消耗约 9000-11000/篇。")
|
||
lines.append("4. **中文 PDF (NIRS 队列研究)**: MinerU 提取了 5 个 HTML 表格，DeepSeek 识别了 2 个 Markdown 表格，pymupdf4llm 有 Table 标题但无结构化输出。")
|
||
|
||
# ── 4. 综合评分 ──
|
||
lines.append("\n## 4. 综合评分 (满分 5 分)\n")
|
||
lines.append("| 维度 | pymupdf4llm | MinerU API | DeepSeek LLM |")
|
||
lines.append("|------|:-----------:|:----------:|:------------:|")
|
||
lines.append("| 表格检测率 | ⭐ (1/5) | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐ (4/5) |")
|
||
lines.append("| 结构保真度 | ⭐ (1/5) | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐ (4/5) |")
|
||
lines.append("| 数值精度 | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐ (4/5) |")
|
||
lines.append("| 速度 | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐ (3/5) | ⭐⭐ (2/5) |")
|
||
lines.append("| 合并单元格 | ⭐ (1/5) | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐ (3/5) |")
|
||
lines.append("| 中文支持 | ⭐⭐⭐ (3/5) | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐ (4/5) |")
|
||
lines.append("| 成本 | ⭐⭐⭐⭐⭐ (5/5) | ⭐⭐⭐⭐ (4/5) | ⭐⭐⭐ (3/5) |")
|
||
lines.append("| **综合** | **⭐⭐ (2.7)** | **⭐⭐⭐⭐⭐ (4.6)** | **⭐⭐⭐⭐ (3.4)** |")
|
||
|
||
# ── 5. 推荐方案 ──
|
||
lines.append("\n## 5. 推荐方案\n")
|
||
lines.append("### 用于 ASL 全文复筛的 PDF 表格提取：\n")
|
||
lines.append("| 优先级 | 方案 | 适用场景 | 理由 |")
|
||
lines.append("|--------|------|----------|------|")
|
||
lines.append("| 🥇 主力 | **MinerU Cloud API (VLM)** | 所有 PDF 表格提取 | 表格结构最完整，合并单元格支持，数值精度最高 |")
|
||
lines.append("| 🥈 补充 | **DeepSeek LLM** | 简单表格 / 快速验证 | Markdown 格式方便后续处理，但有翻译和精度风险 |")
|
||
lines.append("| 🥉 备用 | **pymupdf4llm** | 纯文本提取 / 预处理 | 速度最快但表格结构化能力几乎为零，仅适合文本提取 |")
|
||
|
||
lines.append("\n### 实际集成建议：\n")
|
||
lines.append("1. **MinerU 作为主力表格提取引擎**：每日 2000 页免费额度足够开发测试，生产环境按需付费")
|
||
lines.append("2. **DeepSeek 作为「表格理解」补充**：提取后的表格发给 LLM 做语义理解（如识别主要结局指标、提取效应值）")
|
||
lines.append("3. **pymupdf4llm 仅用于全文文本提取**：供标题摘要初筛等不需要表格结构的场景使用")
|
||
|
||
report = '\n'.join(lines)
|
||
report_path = OUTPUT_DIR / "comparison_report.md"
|
||
report_path.write_text(report, encoding='utf-8')
|
||
print(report)
|
||
print(f"\n\n📄 报告已保存: {report_path}")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|