187 lines
4.6 KiB
Markdown
Executable File
187 lines
4.6 KiB
Markdown
Executable File
# 系统发育提取 v3 验证报告
|
|
|
|
> 生成时间: 2026-03-30
|
|
> 版本: v3 (增强版)
|
|
|
|
---
|
|
|
|
## 📊 测试文献
|
|
|
|
| 文献 | 基因家族 | 物种 | PMID |
|
|
|:---|:---|:---|:---|
|
|
| 短柄AP2s12864-016-2968-8 | AP2/ERF | Brachypodium distachyon | 27527343 |
|
|
| 番茄p450基因家族BMCgenomics2020 | P450 | Solanum lycopersicum | 30732561 |
|
|
|
|
---
|
|
|
|
## ✅ 改进点总结
|
|
|
|
### v3 新增功能
|
|
|
|
| 功能 | 说明 | 来源 |
|
|
|:---|:---|:---|
|
|
| **Confidence Score (0-100)** | 替代 high/medium/low 三级 | 建议 |
|
|
| **Basis 字段** | 可追溯的证据文本 | PlantConnectome |
|
|
| **基因覆盖率** | 提取基因数 / 声明基因数 | 建议 |
|
|
| **100%精确性原则** | 有疑问标记但不修改数据 | PlantConnectome |
|
|
| **Results优先策略** | 优先从Results提取基因数 | 改进 |
|
|
| **详细评分因子** | 展示confidence_score计算过程 | 新增 |
|
|
|
|
---
|
|
|
|
## 📈 测试结果
|
|
|
|
### 文献1: 短柄AP2 (Brachypodium distachyon)
|
|
|
|
| 指标 | v2 | v3 | 改进 |
|
|
|:---|:---|:---|:---|
|
|
| **总基因数** | 141 ✓ | 141 ✓ | - |
|
|
| **提取基因数** | 141 | 141 | - |
|
|
| **基因覆盖率** | 100% | **100%** | 明确显示 |
|
|
| **分组数** | 4 ✓ | 4 ✓ | - |
|
|
| **Confidence** | high | **100/100** | 精确分数 |
|
|
| **Basis字段** | ❌ | **✓** | 新增 |
|
|
| **验证状态** | 通过 | **通过** | - |
|
|
|
|
**评分详情**:
|
|
- total_genes: +20
|
|
- gene_family: +10
|
|
- species: +10
|
|
- groups: +30
|
|
- coverage: +30 (100%)
|
|
- **总分: 100/100**
|
|
|
|
**结论**: ✅ 完美提取
|
|
|
|
---
|
|
|
|
### 文献2: 番茄P450 (Solanum lycopersicum)
|
|
|
|
| 指标 | v2 | v3 | 改进 |
|
|
|:---|:---|:---|:---|
|
|
| **总基因数** | 450 ❌ | **233** ✓ | 修复 |
|
|
| **提取基因数** | 10 | 0 | - |
|
|
| **基因覆盖率** | 2.2% | **0%** | 准确显示 |
|
|
| **分组数** | 1 | 0 | - |
|
|
| **Confidence** | low | **40/100** | 精确分数 |
|
|
| **Basis字段** | ❌ | **✓** | 新增 |
|
|
| **改进建议** | ❌ | **✓** | 新增 |
|
|
| **验证状态** | 失败 | **失败+建议** | 更友好 |
|
|
|
|
**评分详情**:
|
|
- total_genes: +20
|
|
- gene_family: +10
|
|
- species: +10
|
|
- groups: 0
|
|
- coverage: 0 (0%)
|
|
- **总分: 40/100**
|
|
|
|
**问题诊断**:
|
|
1. ✅ 总基因数已修复 (233正确)
|
|
2. ❌ 分组提取失败 - P450使用clan/family结构，非标准Group格式
|
|
3. 💡 建议: 查看原文Table/Figure提取分组
|
|
|
|
**结论**: ⚠️ 需要针对P450结构优化
|
|
|
|
---
|
|
|
|
## 🔍 深度分析
|
|
|
|
### Confidence Score 计算规则
|
|
|
|
```python
|
|
confidence_score = min(
|
|
(total_genes > 0) ? 20 : 0 + # 总基因数提取
|
|
(gene_family) ? 10 : 0 + # 基因家族名
|
|
(species) ? 10 : 0 + # 物种名
|
|
(groups) ? 30 : 0 + # 分组提取
|
|
(coverage * 30), # 基因覆盖率 (最高30)
|
|
100
|
|
)
|
|
```
|
|
|
|
### 映射到三级置信度
|
|
|
|
| 分数范围 | 等级 | 建议操作 |
|
|
|:---|:---|:---|
|
|
| 85-100 | high | 直接使用 |
|
|
| 60-84 | medium | 建议人工复核 |
|
|
| 0-59 | low | 必须人工校验 |
|
|
|
|
---
|
|
|
|
## 💡 关键发现
|
|
|
|
### 1. 成功模式 (短柄AP2)
|
|
|
|
**原文格式**:
|
|
> "of which 112 belonged to ERF, four to RAV and 24 to AP2 as well as one to soloist"
|
|
|
|
**成功要素**:
|
|
- 数字明确 (112, four→4, 24, one→1)
|
|
- 组名清晰 (ERF, RAV, AP2, Soloist)
|
|
- 格式统一
|
|
|
|
### 2. 失败模式 (番茄P450)
|
|
|
|
**原文结构**:
|
|
> "classified into two major clades and nine clans further divided into 42 families"
|
|
|
|
**失败原因**:
|
|
- 多级结构 (clade → clan → family)
|
|
- 百分比描述 ("59% genes", "more than 50%")
|
|
- 分散在多个段落
|
|
- 无统一列表格式
|
|
|
|
---
|
|
|
|
## 🎯 下一步建议
|
|
|
|
### 短期 (今晚可做)
|
|
|
|
1. **针对番茄P450优化**
|
|
- 添加clan提取模式
|
|
- 支持百分比解析 (59% of 233)
|
|
- 多级结构支持
|
|
|
|
2. **添加人工校验接口**
|
|
- confidence < 60时触发
|
|
- 显示basis字段供参考
|
|
|
|
### 中期
|
|
|
|
1. **Table/Figure解析**
|
|
- 从PDF表格提取完整列表
|
|
- 与正文交叉验证
|
|
|
|
2. **批量验证**
|
|
- 测试更多基因家族
|
|
- 建立benchmark数据集
|
|
|
|
---
|
|
|
|
## 📁 输出文件
|
|
|
|
```
|
|
evaluation/auto_results/
|
|
├── 短柄AP2s12864-016-2968-8_v3.json # 完整结果
|
|
├── 短柄AP2s12864-016-2968-8_v3_report.json # 简化报告
|
|
├── 番茄p450基因家族BMCgenomics2020_v3.json
|
|
└── 番茄p450基因家族BMCgenomics2020_v3_report.json
|
|
```
|
|
|
|
---
|
|
|
|
## ✅ 结论
|
|
|
|
| 方面 | 评价 |
|
|
|:---|:---|
|
|
| **短柄AP2** | ✅ 完美支持，confidence 100/100 |
|
|
| **番茄P450** | ⚠️ 基因数正确但分组需优化 |
|
|
| **v3改进** | ✅ confidence分数、basis字段、改进建议均有效 |
|
|
| **整体** | ✅ 相比v2显著提升，建议推广使用 |
|
|
|
|
---
|
|
|
|
*报告生成: extract_phylogeny_v3.py*
|