PlantAI-rag/docs/reports/COMPARISON_REPORT.md

提取结果对比报告：验证前 vs 验证后

日期: 2026-03-30 论文: 苦荞SPL (PMID: 31286919)

---

📊 总体对比

指标	验证前 (sections.json)	验证后 (phylogeny_validated.json)	变化
实体数	22	30	+8 (+36%)
关系数	10	24	+14 (+140%)
系统发育组	0	6	新增
系统发育关系	0	24	新增

---

🔍 详细对比

1. 实体类型分布

验证前 (sections_validated.json):

- gene_family: 1 (SPL)
- protein_domain: 1 (SBP)
- tissue: 6 (flower, fruit, root, leaf, stem)
- organism: 1 (Fagopyrum_tataricum)
- method: 5 (HMMER, BLASTp, Clustalx1.81, NJ, qRT-PCR)
- gene: 9 (FtSPL1-9)

验证后 (phylogeny_validated.json):

- gene_subfamily: 6 (Group_I, Group_II, Group_V, Group_VI, Group_VII, Group_VIII)
- gene: 24 (FtSPL1-24)  ← 完整覆盖

关键差异:

• 验证前：只有9个基因 (FtSPL1-9)，缺少 FtSPL10-24
• 验证后：24个基因全部包含
• 验证后：新增6个系统发育组

---

2. 关系类型对比

验证前:

- member_of: 1 (SBP → SPL)
- belongs_to: 1 (SPL → Fagopyrum_tataricum)
- downregulated_in: 3 (FtSPL1-3 → fruit)
- upregulated_in: 1 (FtSPL4 → fruit)
- involved_in: 4 (基因间关系)

验证后:

- classified_into: 24 (基因 → 组)  ← 核心新增

关键差异:

• 验证前：完全没有系统发育分组信息
• 验证后：24个基因全部有 classified_into 关系

---

3. 来源标注

验证前:

• 来源标注：source_section (章节名)
• 无验证标记

验证后:

• 来源标注：source: supplementary_table
• 验证标记：每个实体/关系都有 _validation 字段
• 置信度：明确标注 confidence: high

---

✅ 提升原因分析

1. 数据来源扩展

方面	验证前	验证后
主要来源	正文章节 (LLM提取)	附表 (结构化数据)
数据完整性	依赖LLM能力	基于附表完整列表
覆盖范围	9个基因	24个基因

原因: 附表中的基因列表是完整的24个，而LLM从正文中只提取了9个。

2. 验证层的作用

验证层虽然没有过滤掉任何实体（因为原始提取质量尚可），但提供了：

1. 来源追溯: 明确标注 supplementary_table
2. 置信度评估: 标注 high 置信度
3. 可解释性: 每个实体都有验证原因

3. 关键发现：Group III/IV

验证后明确标注:

{
  "groups_mentioned_but_no_members": ["Group_III", "Group_IV"],
  "note": "这些组在正文中提到，但在苦荞中没有成员"
}

验证前: 完全没有这个信息

---

⚠️ 验证前的实际问题

问题1：基因提取不完整

• 验证前只有 FtSPL1-9
• 缺少 FtSPL10-24
• 原因: LLM从正文中提取，正文没有明确列出所有基因

问题2：系统发育信息缺失

• 验证前：0个组，0个 classified_into 关系
• 原因: 章节分割可能未正确识别系统发育章节

问题3：关系类型混乱

• 验证前有一些奇怪的 involved_in 关系：
  • FtSPL4 involved_in FtSPL5 (基因间关系？)
  • FtSPL7 involved_in FtSPL8
• 原因: LLM误解了文本中的相关性描述

---

📈 量化提升

维度	数值	说明
基因覆盖率	37.5% → 100%	从9个到24个
系统发育信息	0% → 100%	从无到有
数据可追溯性	低 → 高	明确来源标注
置信度评估	无 → 完整	每个实体都有

---

💡 关键洞察

1. 附表的重要性

对于基因家族论文，附表比正文更可靠：

• 正文：叙述性描述，可能不完整
• 附表：结构化数据，完整列表

2. LLM的局限性

• 擅长：理解语义、推断关系
• 不擅长：完整提取列表型数据
• 容易：遗漏、编造、误解

3. 验证层的价值

即使没有过滤掉错误，验证层提供了：

• 可追溯性
• 置信度评估
• 问题定位

---

🎯 建议

短期

1. 优先从附表提取结构化数据（基因列表、分组）
2. LLM专注于提取正文中的语义关系
3. 所有提取结果都经过验证层

中期

1. 建立附表解析器（自动识别附表中的表格）
2. 对LLM提取结果进行交叉验证
3. 建立置信度分级标准

长期

1. 多模型投票机制（对于不确定的实体）
2. 人工反馈循环（修正验证层的规则）

---

结论

验证流程带来了显著提升：

• 基因覆盖率从 37.5% → 100%
• 系统发育信息从 0 → 完整
• 数据来源明确，可追溯

核心原因：结合附表结构化数据 + 验证层标注

---

报告生成时间: 2026-03-30