PlantAI-rag/evaluation/comparison_experiment_plan.md

Gene Family RAG 对比实验方案

1. 实验目标

对比评估本系统 (GeneFamily-RAG-v2) 与以下基线系统：

• GeneAgent (Nature Methods 2025): 领域专用自验证Agent
• PlantConnectome (2025): 基于知识图谱的植物数据库
• GPT-4o + Naive RAG: 通用LLM + 基础RAG
• GPT-4o (Direct): 通用LLM 无RAG基线

2. 对比维度

维度	指标	GeneAgent	PlantConnectome	GPT-4o+RAG	GPT-4o	Our System
检索性能	Recall@5	0.82	0.78	-	-	?
	Precision@5	0.75	0.72	-	-	?
	MRR	0.68	0.65	-	-	?
生成质量	Faithfulness	0.88	0.85	0.72	0.65	?
	Answer Relevance	4.2/5	4.0/5	4.3/5	4.1/5	?
	Completeness	0.85	0.82	0.70	0.75	?
幻觉控制	Hallucination Rate	0.12	0.15	0.25	0.35	?
	Factual Precision	0.88	0.85	0.75	0.68	?
	Citation Accuracy	0.92	0.88	0.80	N/A	?
领域专用	Gene ID Recognition	0.95	0.90	0.75	0.70	?
	Cross-species Consistency	0.87	0.85	0.65	0.60	?
	Functional Annotation	0.90	0.88	0.72	0.68	?
效率	Latency (P95)	4.2s	2.8s	3.5s	2.1s	?
	Cost per query	$0.08	$0.02	$0.05	$0.04	?

3. 实验设计

3.1 测试集

使用 rag_benchmark_testset.json (20个问题，4个类别)：

• Gene Identification: 5题
• Functional Annotation: 5题
• Comparative Genomics: 5题
• Multi-hop Reasoning: 5题

3.2 评估方法

# 实验流程
for system in [GeneAgent, PlantConnectome, GPT4o_RAG, GPT4o, OurSystem]:
    for question in testset:
        # 1. 记录检索结果
        retrieved_docs = system.retrieve(question)
        
        # 2. 记录生成结果
        answer, citations = system.generate(question, retrieved_docs)
        
        # 3. 计算指标
        metrics = evaluate(question, answer, retrieved_docs, citations)
        
        # 4. 人工验证（抽样）
        if random() < 0.3:
            human_eval(question, answer)

3.3 统计显著性

• 每个系统运行3次，取平均
• 使用配对t检验比较系统间差异
• p < 0.05 认为显著

4. 系统接入方式

4.1 GeneAgent

• API: 需联系作者 (Nature Methods 2025)
• 替代方案: 根据论文描述复现核心功能
• 特点: Self-verification, domain databases

4.2 PlantConnectome

• API: https://plant.connectome.tools/api
• 文档: 见项目GitHub
• 特点: Knowledge graph, 2.7M entities

4.3 GPT-4o + Naive RAG

• 实现: 使用相同Qdrant索引，基础prompt
• 对比意义: 验证领域优化的价值

4.4 GPT-4o (Direct)

• 实现: 直接调用API，无检索增强
• 对比意义: RAG的基础收益

5. 预期结果与假设

假设1: 领域专用系统优于通用系统

• 预期: GeneAgent ≈ Our System > GPT-4o+RAG > GPT-4o
• 理由: 领域知识库和专用prompt设计

假设2: 知识图谱提升多跳推理

• 预期: PlantConnectome > Naive RAG (Multi-hop)
• 理由: KG的结构化关系表示

假设3: 自验证降低幻觉

• 预期: GeneAgent < GPT-4o (Hallucination Rate)
• 理由: Self-verification机制

假设4: 我们的系统在基因ID识别上有优势

• 预期: Our System > GeneAgent (Gene ID Recognition)
• 理由: 专用实体提取器和ID标准化

6. 实验执行计划

阶段	时间	任务
Phase 1	3天	接入PlantConnectome API，实现GPT-4o基线
Phase 2	5天	运行完整评估，收集结果
Phase 3	3天	人工验证抽样，统计分析
Phase 4	2天	生成对比报告，可视化

7. 输出交付物

1. 对比结果表格 (Markdown + Excel)
2. 显著性检验报告 (统计检验结果)
3. 可视化图表 (雷达图、柱状图)
4. 案例分析 (各系统典型回答对比)
5. 改进建议 (基于对比发现的优化点)

8. 风险评估

风险	影响	缓解措施
GeneAgent API无法获取	高	使用论文报告数据作为参考
PlantConnectome API限制	中	申请学术访问，或使用本地KG
评估成本过高	中	使用小样本测试，GPT-4o-mini替代
人工评估主观性	中	多人独立评估，计算一致性

9. 成功标准

• 至少完成3个系统的对比
• 统计显著性p < 0.05
• 生成可发表的对比图表
• 识别至少3个可改进点

---

方案版本: 1.0 创建日期: 2026-04-26