PlantAI-rag/docs/analysis/test_v12_1_quality_report.md

V12.1 Fixed 质量评估报告

日期: 2026-04-10
测试文件: 荔枝SUT论文 (15页)
测试范围: 前10页

---

1. 执行摘要

指标	结果	状态
章节提取	3个章节	✅ 成功
章节文本保存	全部章节保存完整文本	✅ 成功
基因实体提取	6个基因	✅ 成功
规则关系抽取	0个 (前10页无表达关系)	⚠️ 正常
LLM关系抽取	未测试 (API未配置)	⚠️ 跳过

总体评价: V12.1修复成功，章节文本保存功能正常工作。

---

2. 章节提取质量

2.1 章节识别

章节	级别	字符数	状态
1. Introduction	1	3,515	✅
2. Results	1	11,921	✅
3. Discussion	1	4,589	✅

总字符数: 20,025 (前10页)

2.2 章节文本保存验证

✅ 关键修复验证: 所有章节都包含 text_full 字段

• Introduction: ✅ 3,515字符完整保存
• Results: ✅ 11,921字符完整保存
• Discussion: ✅ 4,589字符完整保存

平均章节长度: 6,675字符 (适合LLM处理)

2.3 章节内容预览

Introduction章节 (前200字符):

1. Introduction
Sugar, which determines the quality and flavor of fruits, is the primary nutrient for
humans. Soluble sugars in fruits mainly include fructose, sucrose, and glucose [1].

Results章节 (前200字符):

2. Results
2.1. Phylogeny and Classification of SUTs
In total, 15, 10, 15, and 8 SUTs were identified from the whole genomes of litchi,
longan, rambutan, and grape, respectively...

---

3. 基因实体提取质量

3.1 提取结果

基因ID	物种	备注
SLSUT01	荔枝	✅ 标准化大写
SLSUT05	荔枝	✅ 标准化大写
SLSUT06	荔枝	✅ 标准化大写
SLSUT07	荔枝	✅ 标准化大写
SLSUT08	荔枝	✅ 标准化大写
SLSUT1	荔枝	✅ 提取成功

总计: 6个基因 (前10页)

3.2 提取模式验证

✅ 正则表达式 Sl[Ss][Uu][Tt]\d+ 成功匹配所有变体:

• SlSut01 → SLSUT01
• SlSut05 → SLSUT05
• 等等

---

4. 关系抽取质量

4.1 规则关系抽取

前10页结果: 0个关系

原因分析:

• Introduction和Results章节主要包含背景和方法描述
• 表达关系通常在 "Expression Analysis" 子章节
• 该子章节位于第10页之后

建议: 测试完整PDF (15页) 以验证表达关系抽取

4.2 LLM关系抽取

状态: ⚠️ 未测试

原因: API Key未配置

配置方法:

export DASHSCOPE_API_KEY=your_key_here

或在 .env 文件添加:

DASHSCOPE_API_KEY=your_key_here

print(f\" 最新价: {s['最新价']}\")
print(f\" 涨跌: {s['涨跌']}\")
print(f\" 涨跌幅: {s['涨跌幅']}%\")
print(f\" 成交量: {s['成交量']}\")
print(f\" 成交额: {s['成交额']}\")

else: print(f" 未找到 {code}")

获取板块信息

print(f"\n📊 板块资金流向:") for sector in ['科技', '金融', '消费', '医药']: sector_data = ak.stock_sector_fund_flow(sector=sector) if not sector_data.empty: main = sector_data.iloc[0] print(f" {sector}: {main['主力净流入']:,.0f}万")

print(f"\n💡 投资建议:") print(f" - 关注主力净流入超过1亿的个股") print(f" - 避免连续3日主力净流出的板块") print(f" - 结合技术指标综合判断")

print(f"\n✅ A股数据获取完成")

---

## 5. 性能评估

### 5.1 执行时间

| 步骤 | 时间 | 说明 |
|------|------|------|
| PDF加载 | <1s | 15页PDF |
| 文本提取 | ~2s | 10页 |
| 章节识别 | <1s | 3个章节 |
| 基因提取 | <1s | 6个基因 |
| **总计** | **~5s** | 轻量测试 |

### 5.2 内存使用

- 文本存储: ~20KB (前10页)
- 章节对象: ~3个
- 基因列表: ~6个

**总体**: 内存占用极低

---

## 6. 与V12对比

| 功能 | V12 | V12.1 Fixed | 改进 |
|------|-----|-------------|------|
| 章节结构 | ✅ | ✅ | - |
| 章节文本保存 | ❌ | ✅ | **关键修复** |
| 基因提取 | ✅ | ✅ | - |
| 规则关系 | ✅ | ✅ | - |
| LLM关系 | ❌ | ✅ (待测试) | **新增** |
| 百炼API支持 | ❌ | ✅ | **新增** |

---

## 7. 问题与建议

### 7.1 发现的问题

1. **章节识别**: 只识别到3个主章节，未识别子章节 (2.1, 2.2等)
   - **建议**: 增强正则表达式支持多级标题

2. **关系抽取**: 前10页未抽取到表达关系
   - **建议**: 测试完整PDF或调整章节选择策略

3. **API未配置**: LLM关系抽取未测试
   - **建议**: 配置DASHSCOPE_API_KEY进行完整测试

### 7.2 改进建议

1. **章节识别增强**:
   - 支持更多章节格式 (如 "2.1. Phylogeny")
   - 添加图表过滤

2. **关系抽取优化**:
   - 针对Expression章节专门处理
   - 添加更多关系类型模式

3. **LLM集成**:
   - 添加重试机制
   - 支持批量处理

---

## 8. 结论

### 8.1 修复验证

✅ **V12.1章节保存修复成功**:
- 章节文本完整保存到 `text_full` 字段
- 支持后续LLM关系抽取
- 代码结构清晰，易于维护

### 8.2 下一步

1. **配置API Key** 测试LLM关系抽取
2. **测试完整PDF** 验证表达关系抽取
3. **批量处理** 多论文测试

---

## 9. 附录

### 9.1 测试文件

- 脚本: `/home/xia-lab/gene-family-mas-v2/test_v12_1_lite.py`
- 结果: `/tmp/v12_1_lite.json`
- 报告: `/home/xia-lab/gene-family-mas-v2/test_v12_1_quality_report.md`

### 9.2 关键代码片段

**章节文本保存**:
```python
sections.append({
    'title': title,
    'level': level,
    'char_count': len(section_text),
    'text_preview': section_text[:100],  # 预览
    'text_full': section_text  # ✅ 完整文本
})

百炼API配置:

client = OpenAI(
    api_key=api_key,
    base_url="https://coding.dashscope.aliyuncs.com/v1"
)
response = client.chat.completions.create(
    model="qwen3.6-plus",  # 性能最优
    ...
)

---

报告生成时间: 2026-04-10 10:52 GMT+8
测试人员: xialab的幸运星