# 提取结果对比报告：验证前 vs 验证后

> 日期: 2026-03-30
> 论文: 苦荞SPL (PMID: 31286919)

---

## 📊 总体对比

| 指标 | 验证前 (sections.json) | 验证后 (phylogeny_validated.json) | 变化 |
|:---|:---|:---|:---|
| **实体数** | 22 | 30 | +8 (+36%) |
| **关系数** | 10 | 24 | +14 (+140%) |
| **系统发育组** | 0 | 6 | **新增** |
| **系统发育关系** | 0 | 24 | **新增** |

---

## 🔍 详细对比

### 1. 实体类型分布

**验证前** (`sections_validated.json`):
```
- gene_family: 1 (SPL)
- protein_domain: 1 (SBP)
- tissue: 6 (flower, fruit, root, leaf, stem)
- organism: 1 (Fagopyrum_tataricum)
- method: 5 (HMMER, BLASTp, Clustalx1.81, NJ, qRT-PCR)
- gene: 9 (FtSPL1-9)
```

**验证后** (`phylogeny_validated.json`):
```
- gene_subfamily: 6 (Group_I, Group_II, Group_V, Group_VI, Group_VII, Group_VIII)
- gene: 24 (FtSPL1-24)  ← 完整覆盖
```

**关键差异**:
- 验证前：只有9个基因 (FtSPL1-9)，缺少 FtSPL10-24
- 验证后：24个基因全部包含
- 验证后：新增6个系统发育组

---

### 2. 关系类型对比

**验证前**:
```
- member_of: 1 (SBP → SPL)
- belongs_to: 1 (SPL → Fagopyrum_tataricum)
- downregulated_in: 3 (FtSPL1-3 → fruit)
- upregulated_in: 1 (FtSPL4 → fruit)
- involved_in: 4 (基因间关系)
```

**验证后**:
```
- classified_into: 24 (基因 → 组)  ← 核心新增
```

**关键差异**:
- 验证前：**完全没有**系统发育分组信息
- 验证后：24个基因全部有 classified_into 关系

---

### 3. 来源标注

**验证前**:
- 来源标注：`source_section` (章节名)
- 无验证标记

**验证后**:
- 来源标注：`source: supplementary_table`
- 验证标记：每个实体/关系都有 `_validation` 字段
- 置信度：明确标注 `confidence: high`

---

## ✅ 提升原因分析

### 1. 数据来源扩展

| 方面 | 验证前 | 验证后 |
|:---|:---|:---|
| 主要来源 | 正文章节 (LLM提取) | 附表 (结构化数据) |
| 数据完整性 | 依赖LLM能力 | 基于附表完整列表 |
| 覆盖范围 | 9个基因 | 24个基因 |

**原因**: 附表中的基因列表是完整的24个，而LLM从正文中只提取了9个。

### 2. 验证层的作用

验证层虽然没有过滤掉任何实体（因为原始提取质量尚可），但提供了：

1. **来源追溯**: 明确标注 `supplementary_table`
2. **置信度评估**: 标注 `high` 置信度
3. **可解释性**: 每个实体都有验证原因

### 3. 关键发现：Group III/IV

**验证后明确标注**:
```json
{
  "groups_mentioned_but_no_members": ["Group_III", "Group_IV"],
  "note": "这些组在正文中提到，但在苦荞中没有成员"
}
```

**验证前**: 完全没有这个信息

---

## ⚠️ 验证前的实际问题

### 问题1：基因提取不完整
- 验证前只有 FtSPL1-9
- 缺少 FtSPL10-24
- **原因**: LLM从正文中提取，正文没有明确列出所有基因

### 问题2：系统发育信息缺失
- 验证前：0个组，0个 classified_into 关系
- **原因**: 章节分割可能未正确识别系统发育章节

### 问题3：关系类型混乱
- 验证前有一些奇怪的 `involved_in` 关系：
  - `FtSPL4 involved_in FtSPL5` (基因间关系？)
  - `FtSPL7 involved_in FtSPL8`
- **原因**: LLM误解了文本中的相关性描述

---

## 📈 量化提升

| 维度 | 数值 | 说明 |
|:---|:---|:---|
| 基因覆盖率 | 37.5% → 100% | 从9个到24个 |
| 系统发育信息 | 0% → 100% | 从无到有 |
| 数据可追溯性 | 低 → 高 | 明确来源标注 |
| 置信度评估 | 无 → 完整 | 每个实体都有 |

---

## 💡 关键洞察

### 1. 附表的重要性
对于基因家族论文，**附表比正文更可靠**：
- 正文：叙述性描述，可能不完整
- 附表：结构化数据，完整列表

### 2. LLM的局限性
- 擅长：理解语义、推断关系
- 不擅长：完整提取列表型数据
- 容易：遗漏、编造、误解

### 3. 验证层的价值
即使没有过滤掉错误，验证层提供了：
- 可追溯性
- 置信度评估
- 问题定位

---

## 🎯 建议

### 短期
1. 优先从附表提取结构化数据（基因列表、分组）
2. LLM专注于提取正文中的语义关系
3. 所有提取结果都经过验证层

### 中期
1. 建立附表解析器（自动识别附表中的表格）
2. 对LLM提取结果进行交叉验证
3. 建立置信度分级标准

### 长期
1. 多模型投票机制（对于不确定的实体）
2. 人工反馈循环（修正验证层的规则）

---

## 结论

**验证流程带来了显著提升**：
- 基因覆盖率从 37.5% → 100%
- 系统发育信息从 0 → 完整
- 数据来源明确，可追溯

**核心原因**：结合附表结构化数据 + 验证层标注

---

*报告生成时间: 2026-03-30*