195 lines
4.7 KiB
Markdown
195 lines
4.7 KiB
Markdown
|
# 提取结果对比报告：验证前 vs 验证后
|
|||
|
|
|
|||
|
|
> 日期: 2026-03-30
|
|||
|
|
> 论文: 苦荞SPL (PMID: 31286919)
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📊 总体对比
|
|||
|
|
|
|||
|
|
| 指标 | 验证前 (sections.json) | 验证后 (phylogeny_validated.json) | 变化 |
|
|||
|
|
|:---|:---|:---|:---|
|
|||
|
|
| **实体数** | 22 | 30 | +8 (+36%) |
|
|||
|
|
| **关系数** | 10 | 24 | +14 (+140%) |
|
|||
|
|
| **系统发育组** | 0 | 6 | **新增** |
|
|||
|
|
| **系统发育关系** | 0 | 24 | **新增** |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🔍 详细对比
|
|||
|
|
|
|||
|
|
### 1. 实体类型分布
|
|||
|
|
|
|||
|
|
**验证前** (`sections_validated.json`):
|
|||
|
|
```
|
|||
|
|
- gene_family: 1 (SPL)
|
|||
|
|
- protein_domain: 1 (SBP)
|
|||
|
|
- tissue: 6 (flower, fruit, root, leaf, stem)
|
|||
|
|
- organism: 1 (Fagopyrum_tataricum)
|
|||
|
|
- method: 5 (HMMER, BLASTp, Clustalx1.81, NJ, qRT-PCR)
|
|||
|
|
- gene: 9 (FtSPL1-9)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**验证后** (`phylogeny_validated.json`):
|
|||
|
|
```
|
|||
|
|
- gene_subfamily: 6 (Group_I, Group_II, Group_V, Group_VI, Group_VII, Group_VIII)
|
|||
|
|
- gene: 24 (FtSPL1-24) ← 完整覆盖
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**关键差异**:
|
|||
|
|
- 验证前：只有9个基因 (FtSPL1-9)，缺少 FtSPL10-24
|
|||
|
|
- 验证后：24个基因全部包含
|
|||
|
|
- 验证后：新增6个系统发育组
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
### 2. 关系类型对比
|
|||
|
|
|
|||
|
|
**验证前**:
|
|||
|
|
```
|
|||
|
|
- member_of: 1 (SBP → SPL)
|
|||
|
|
- belongs_to: 1 (SPL → Fagopyrum_tataricum)
|
|||
|
|
- downregulated_in: 3 (FtSPL1-3 → fruit)
|
|||
|
|
- upregulated_in: 1 (FtSPL4 → fruit)
|
|||
|
|
- involved_in: 4 (基因间关系)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**验证后**:
|
|||
|
|
```
|
|||
|
|
- classified_into: 24 (基因 → 组) ← 核心新增
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**关键差异**:
|
|||
|
|
- 验证前：**完全没有**系统发育分组信息
|
|||
|
|
- 验证后：24个基因全部有 classified_into 关系
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
### 3. 来源标注
|
|||
|
|
|
|||
|
|
**验证前**:
|
|||
|
|
- 来源标注：`source_section` (章节名)
|
|||
|
|
- 无验证标记
|
|||
|
|
|
|||
|
|
**验证后**:
|
|||
|
|
- 来源标注：`source: supplementary_table`
|
|||
|
|
- 验证标记：每个实体/关系都有 `_validation` 字段
|
|||
|
|
- 置信度：明确标注 `confidence: high`
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## ✅ 提升原因分析
|
|||
|
|
|
|||
|
|
### 1. 数据来源扩展
|
|||
|
|
|
|||
|
|
| 方面 | 验证前 | 验证后 |
|
|||
|
|
|:---|:---|:---|
|
|||
|
|
| 主要来源 | 正文章节 (LLM提取) | 附表 (结构化数据) |
|
|||
|
|
| 数据完整性 | 依赖LLM能力 | 基于附表完整列表 |
|
|||
|
|
| 覆盖范围 | 9个基因 | 24个基因 |
|
|||
|
|
|
|||
|
|
**原因**: 附表中的基因列表是完整的24个，而LLM从正文中只提取了9个。
|
|||
|
|
|
|||
|
|
### 2. 验证层的作用
|
|||
|
|
|
|||
|
|
验证层虽然没有过滤掉任何实体（因为原始提取质量尚可），但提供了：
|
|||
|
|
|
|||
|
|
1. **来源追溯**: 明确标注 `supplementary_table`
|
|||
|
|
2. **置信度评估**: 标注 `high` 置信度
|
|||
|
|
3. **可解释性**: 每个实体都有验证原因
|
|||
|
|
|
|||
|
|
### 3. 关键发现：Group III/IV
|
|||
|
|
|
|||
|
|
**验证后明确标注**:
|
|||
|
|
```json
|
|||
|
|
{
|
|||
|
|
"groups_mentioned_but_no_members": ["Group_III", "Group_IV"],
|
|||
|
|
"note": "这些组在正文中提到，但在苦荞中没有成员"
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**验证前**: 完全没有这个信息
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## ⚠️ 验证前的实际问题
|
|||
|
|
|
|||
|
|
### 问题1：基因提取不完整
|
|||
|
|
- 验证前只有 FtSPL1-9
|
|||
|
|
- 缺少 FtSPL10-24
|
|||
|
|
- **原因**: LLM从正文中提取，正文没有明确列出所有基因
|
|||
|
|
|
|||
|
|
### 问题2：系统发育信息缺失
|
|||
|
|
- 验证前：0个组，0个 classified_into 关系
|
|||
|
|
- **原因**: 章节分割可能未正确识别系统发育章节
|
|||
|
|
|
|||
|
|
### 问题3：关系类型混乱
|
|||
|
|
- 验证前有一些奇怪的 `involved_in` 关系：
|
|||
|
|
- `FtSPL4 involved_in FtSPL5` (基因间关系？)
|
|||
|
|
- `FtSPL7 involved_in FtSPL8`
|
|||
|
|
- **原因**: LLM误解了文本中的相关性描述
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📈 量化提升
|
|||
|
|
|
|||
|
|
| 维度 | 数值 | 说明 |
|
|||
|
|
|:---|:---|:---|
|
|||
|
|
| 基因覆盖率 | 37.5% → 100% | 从9个到24个 |
|
|||
|
|
| 系统发育信息 | 0% → 100% | 从无到有 |
|
|||
|
|
| 数据可追溯性 | 低 → 高 | 明确来源标注 |
|
|||
|
|
| 置信度评估 | 无 → 完整 | 每个实体都有 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 💡 关键洞察
|
|||
|
|
|
|||
|
|
### 1. 附表的重要性
|
|||
|
|
对于基因家族论文，**附表比正文更可靠**：
|
|||
|
|
- 正文：叙述性描述，可能不完整
|
|||
|
|
- 附表：结构化数据，完整列表
|
|||
|
|
|
|||
|
|
### 2. LLM的局限性
|
|||
|
|
- 擅长：理解语义、推断关系
|
|||
|
|
- 不擅长：完整提取列表型数据
|
|||
|
|
- 容易：遗漏、编造、误解
|
|||
|
|
|
|||
|
|
### 3. 验证层的价值
|
|||
|
|
即使没有过滤掉错误，验证层提供了：
|
|||
|
|
- 可追溯性
|
|||
|
|
- 置信度评估
|
|||
|
|
- 问题定位
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🎯 建议
|
|||
|
|
|
|||
|
|
### 短期
|
|||
|
|
1. 优先从附表提取结构化数据（基因列表、分组）
|
|||
|
|
2. LLM专注于提取正文中的语义关系
|
|||
|
|
3. 所有提取结果都经过验证层
|
|||
|
|
|
|||
|
|
### 中期
|
|||
|
|
1. 建立附表解析器（自动识别附表中的表格）
|
|||
|
|
2. 对LLM提取结果进行交叉验证
|
|||
|
|
3. 建立置信度分级标准
|
|||
|
|
|
|||
|
|
### 长期
|
|||
|
|
1. 多模型投票机制（对于不确定的实体）
|
|||
|
|
2. 人工反馈循环（修正验证层的规则）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 结论
|
|||
|
|
|
|||
|
|
**验证流程带来了显著提升**：
|
|||
|
|
- 基因覆盖率从 37.5% → 100%
|
|||
|
|
- 系统发育信息从 0 → 完整
|
|||
|
|
- 数据来源明确，可追溯
|
|||
|
|
|
|||
|
|
**核心原因**：结合附表结构化数据 + 验证层标注
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
*报告生成时间: 2026-03-30*
|