# 系统发育提取 v3 验证报告 > 生成时间: 2026-03-30 > 版本: v3 (增强版) --- ## 📊 测试文献 | 文献 | 基因家族 | 物种 | PMID | |:---|:---|:---|:---| | 短柄AP2s12864-016-2968-8 | AP2/ERF | Brachypodium distachyon | 27527343 | | 番茄p450基因家族BMCgenomics2020 | P450 | Solanum lycopersicum | 30732561 | --- ## ✅ 改进点总结 ### v3 新增功能 | 功能 | 说明 | 来源 | |:---|:---|:---| | **Confidence Score (0-100)** | 替代 high/medium/low 三级 | 建议 | | **Basis 字段** | 可追溯的证据文本 | PlantConnectome | | **基因覆盖率** | 提取基因数 / 声明基因数 | 建议 | | **100%精确性原则** | 有疑问标记但不修改数据 | PlantConnectome | | **Results优先策略** | 优先从Results提取基因数 | 改进 | | **详细评分因子** | 展示confidence_score计算过程 | 新增 | --- ## 📈 测试结果 ### 文献1: 短柄AP2 (Brachypodium distachyon) | 指标 | v2 | v3 | 改进 | |:---|:---|:---|:---| | **总基因数** | 141 ✓ | 141 ✓ | - | | **提取基因数** | 141 | 141 | - | | **基因覆盖率** | 100% | **100%** | 明确显示 | | **分组数** | 4 ✓ | 4 ✓ | - | | **Confidence** | high | **100/100** | 精确分数 | | **Basis字段** | ❌ | **✓** | 新增 | | **验证状态** | 通过 | **通过** | - | **评分详情**: - total_genes: +20 - gene_family: +10 - species: +10 - groups: +30 - coverage: +30 (100%) - **总分: 100/100** **结论**: ✅ 完美提取 --- ### 文献2: 番茄P450 (Solanum lycopersicum) | 指标 | v2 | v3 | 改进 | |:---|:---|:---|:---| | **总基因数** | 450 ❌ | **233** ✓ | 修复 | | **提取基因数** | 10 | 0 | - | | **基因覆盖率** | 2.2% | **0%** | 准确显示 | | **分组数** | 1 | 0 | - | | **Confidence** | low | **40/100** | 精确分数 | | **Basis字段** | ❌ | **✓** | 新增 | | **改进建议** | ❌ | **✓** | 新增 | | **验证状态** | 失败 | **失败+建议** | 更友好 | **评分详情**: - total_genes: +20 - gene_family: +10 - species: +10 - groups: 0 - coverage: 0 (0%) - **总分: 40/100** **问题诊断**: 1. ✅ 总基因数已修复 (233正确) 2. ❌ 分组提取失败 - P450使用clan/family结构,非标准Group格式 3. 💡 建议: 查看原文Table/Figure提取分组 **结论**: ⚠️ 需要针对P450结构优化 --- ## 🔍 深度分析 ### Confidence Score 计算规则 ```python confidence_score = min( (total_genes > 0) ? 20 : 0 + # 总基因数提取 (gene_family) ? 10 : 0 + # 基因家族名 (species) ? 10 : 0 + # 物种名 (groups) ? 30 : 0 + # 分组提取 (coverage * 30), # 基因覆盖率 (最高30) 100 ) ``` ### 映射到三级置信度 | 分数范围 | 等级 | 建议操作 | |:---|:---|:---| | 85-100 | high | 直接使用 | | 60-84 | medium | 建议人工复核 | | 0-59 | low | 必须人工校验 | --- ## 💡 关键发现 ### 1. 成功模式 (短柄AP2) **原文格式**: > "of which 112 belonged to ERF, four to RAV and 24 to AP2 as well as one to soloist" **成功要素**: - 数字明确 (112, four→4, 24, one→1) - 组名清晰 (ERF, RAV, AP2, Soloist) - 格式统一 ### 2. 失败模式 (番茄P450) **原文结构**: > "classified into two major clades and nine clans further divided into 42 families" **失败原因**: - 多级结构 (clade → clan → family) - 百分比描述 ("59% genes", "more than 50%") - 分散在多个段落 - 无统一列表格式 --- ## 🎯 下一步建议 ### 短期 (今晚可做) 1. **针对番茄P450优化** - 添加clan提取模式 - 支持百分比解析 (59% of 233) - 多级结构支持 2. **添加人工校验接口** - confidence < 60时触发 - 显示basis字段供参考 ### 中期 1. **Table/Figure解析** - 从PDF表格提取完整列表 - 与正文交叉验证 2. **批量验证** - 测试更多基因家族 - 建立benchmark数据集 --- ## 📁 输出文件 ``` evaluation/auto_results/ ├── 短柄AP2s12864-016-2968-8_v3.json # 完整结果 ├── 短柄AP2s12864-016-2968-8_v3_report.json # 简化报告 ├── 番茄p450基因家族BMCgenomics2020_v3.json └── 番茄p450基因家族BMCgenomics2020_v3_report.json ``` --- ## ✅ 结论 | 方面 | 评价 | |:---|:---| | **短柄AP2** | ✅ 完美支持,confidence 100/100 | | **番茄P450** | ⚠️ 基因数正确但分组需优化 | | **v3改进** | ✅ confidence分数、basis字段、改进建议均有效 | | **整体** | ✅ 相比v2显著提升,建议推广使用 | --- *报告生成: extract_phylogeny_v3.py*