PlantAI-rag/docs/history/v14.2_pc_comparison_plan.md

V14.2 vs PC 数据提取质量对比测试计划

测试目标

验证 V14.2 提取器的数据提取质量，与 PC 进行对比

测试方案

1. 文章选择策略

选择标准（10篇文章）：

类型	数量	说明
基因家族文章	5篇	核心测试，V14.2主要场景
非基因家族文章	3篇	验证泛化能力
复杂结构文章	2篇	含大量图表、公式、附表

具体选择（建议从PC数据库中选取）：

1. 已在PC中处理过的文章（有现有数据可对比）
2. 包含多种关系类型的文章
3. 不同物种、不同基因家族
4. 近期发表的文章（2020-2024）

2. 数据提取流程

PC端提取

# 使用PC现有数据或重新提取
# PC提取结果格式：JSON/数据库记录

V14.2端提取

from src.rag.extractors.v14 import V14Extractor

extractor = V14Extractor(
    use_pc_data=True,           # 使用PC数据层
    use_disambiguation=True,    # 使用消歧层
    use_llm_definitions=False,  # 使用模板定义（更稳定）
    use_neo4j=False
)

for pdf_path in test_pdfs:
    result = extractor.extract(pdf_path)
    extractor.save_to_json(output_path)
    extractor.save_to_csv(output_path)

3. 对比维度

维度	指标	说明
实体识别	实体数量	基因、组织、代谢物等
	实体准确率	与人工标注对比
	实体召回率	漏识别的实体
关系抽取	关系数量	总关系数
	关系准确率	正确识别的关系
	关系类型分布	各类关系占比
	假阳性率	错误关系比例
消歧质量	消歧准确率	resolved字段正确性
完整性	章节覆盖率	是否遗漏章节
	附表处理	附表数据提取情况
性能	处理时间	单篇文章耗时
	内存使用	峰值内存

4. 评估方法

定量评估

# 计算指标
def evaluate(pc_results, v14_results, ground_truth=None):
    metrics = {
        'entity_precision': calculate_precision(),
        'entity_recall': calculate_recall(),
        'relation_precision': calculate_precision(),
        'relation_recall': calculate_recall(),
        'disambiguation_accuracy': calculate_accuracy(),
    }
    return metrics

定性评估

• 人工抽样检查（每篇文章抽10个关系）
• 错误案例分析
• 边界情况处理

5. 输出格式

对比报告：

# V14.2 vs PC 对比报告

## 总体得分
| 指标 | PC | V14.2 | 差异 |
|:---|:---:|:---:|:---:|
| 实体F1 | 0.85 | 0.87 | +0.02 |
| 关系F1 | 0.78 | 0.82 | +0.04 |

## 详细分析
...

## 结论与建议
...

实施步骤

Step 1: 准备（今天）

• 从PC数据库选择10篇文章
• 获取PC的提取结果
• 准备V14.2测试脚本

Step 2: V14.2提取（明天）

• 运行V14.2提取10篇文章
• 记录处理时间和资源使用
• 保存JSON和CSV结果

Step 3: 对比分析（后天）

• 定量指标计算
• 定性抽样检查
• 生成对比报告

Step 4: 优化（根据结果）

• 针对差异点优化V14.2
• 重新测试验证

风险控制

风险	应对措施
V14.2提取失败	使用轻量级模式，禁用大文件加载
内存不足	分批处理，单篇文章提取
PC数据缺失	选择PC中确定有数据的文章
时间不足	优先测试基因家族文章（5篇）

预期结果

成功标准：

• V14.2 实体识别 F1 >= PC - 0.05
• V14.2 关系抽取 F1 >= PC - 0.05
• V14.2 处理时间 <= PC 的 2倍

优秀标准：

• V14.2 实体识别 F1 >= PC
• V14.2 关系抽取 F1 >= PC
• V14.2 处理时间 <= PC

---

计划时间: 2026-04-19 预计完成: 2026-04-21