PlantAI-rag/evaluation/V3_VALIDATION_REPORT.md

系统发育提取 v3 验证报告

生成时间: 2026-03-30 版本: v3 (增强版)

---

📊 测试文献

文献	基因家族	物种	PMID
短柄AP2s12864-016-2968-8	AP2/ERF	Brachypodium distachyon	27527343
番茄p450基因家族BMCgenomics2020	P450	Solanum lycopersicum	30732561

---

✅ 改进点总结

v3 新增功能

功能	说明	来源
Confidence Score (0-100)	替代 high/medium/low 三级	建议
Basis 字段	可追溯的证据文本	PlantConnectome
基因覆盖率	提取基因数 / 声明基因数	建议
100%精确性原则	有疑问标记但不修改数据	PlantConnectome
Results优先策略	优先从Results提取基因数	改进
详细评分因子	展示confidence_score计算过程	新增

---

📈 测试结果

文献1: 短柄AP2 (Brachypodium distachyon)

指标	v2	v3	改进
总基因数	141 ✓	141 ✓	-
提取基因数	141	141	-
基因覆盖率	100%	100%	明确显示
分组数	4 ✓	4 ✓	-
Confidence	high	100/100	精确分数
Basis字段	❌	✓	新增
验证状态	通过	通过	-

评分详情:

• total_genes: +20
• gene_family: +10
• species: +10
• groups: +30
• coverage: +30 (100%)
• 总分: 100/100

结论: ✅ 完美提取

---

文献2: 番茄P450 (Solanum lycopersicum)

指标	v2	v3	改进
总基因数	450 ❌	233 ✓	修复
提取基因数	10	0	-
基因覆盖率	2.2%	0%	准确显示
分组数	1	0	-
Confidence	low	40/100	精确分数
Basis字段	❌	✓	新增
改进建议	❌	✓	新增
验证状态	失败	失败+建议	更友好

评分详情:

• total_genes: +20
• gene_family: +10
• species: +10
• groups: 0
• coverage: 0 (0%)
• 总分: 40/100

问题诊断:

1. ✅ 总基因数已修复 (233正确)
2. ❌ 分组提取失败 - P450使用clan/family结构，非标准Group格式
3. 💡 建议: 查看原文Table/Figure提取分组

结论: ⚠️ 需要针对P450结构优化

---

🔍 深度分析

Confidence Score 计算规则

confidence_score = min(
    (total_genes > 0) ? 20 : 0 +           # 总基因数提取
    (gene_family) ? 10 : 0 +               # 基因家族名
    (species) ? 10 : 0 +                   # 物种名
    (groups) ? 30 : 0 +                    # 分组提取
    (coverage * 30),                       # 基因覆盖率 (最高30)
    100
)

映射到三级置信度

分数范围	等级	建议操作
85-100	high	直接使用
60-84	medium	建议人工复核
0-59	low	必须人工校验

---

💡 关键发现

1. 成功模式 (短柄AP2)

原文格式:

"of which 112 belonged to ERF, four to RAV and 24 to AP2 as well as one to soloist"

成功要素:

• 数字明确 (112, four→4, 24, one→1)
• 组名清晰 (ERF, RAV, AP2, Soloist)
• 格式统一

2. 失败模式 (番茄P450)

原文结构:

"classified into two major clades and nine clans further divided into 42 families"

失败原因:

• 多级结构 (clade → clan → family)
• 百分比描述 ("59% genes", "more than 50%")
• 分散在多个段落
• 无统一列表格式

---

🎯 下一步建议

短期 (今晚可做)

1. 针对番茄P450优化

   • 添加clan提取模式
   • 支持百分比解析 (59% of 233)
   • 多级结构支持

2. 添加人工校验接口

   • confidence < 60时触发
   • 显示basis字段供参考

中期

1. Table/Figure解析

   • 从PDF表格提取完整列表
   • 与正文交叉验证

2. 批量验证

   • 测试更多基因家族
   • 建立benchmark数据集

---

📁 输出文件

evaluation/auto_results/
├── 短柄AP2s12864-016-2968-8_v3.json        # 完整结果
├── 短柄AP2s12864-016-2968-8_v3_report.json # 简化报告
├── 番茄p450基因家族BMCgenomics2020_v3.json
└── 番茄p450基因家族BMCgenomics2020_v3_report.json

---

✅ 结论

方面	评价
短柄AP2	✅ 完美支持，confidence 100/100
番茄P450	⚠️ 基因数正确但分组需优化
v3改进	✅ confidence分数、basis字段、改进建议均有效
整体	✅ 相比v2显著提升，建议推广使用

---

报告生成: extract_phylogeny_v3.py