143 lines
2.8 KiB
Markdown
Executable File
143 lines
2.8 KiB
Markdown
Executable File
# V2提取器执行状态
|
|
|
|
**时间**: 2026-04-10 20:25 GMT+8
|
|
|
|
---
|
|
|
|
## 当前状态
|
|
|
|
### ✅ 已完成
|
|
|
|
1. **多智能体分析** - 完成
|
|
- 发现问题: 证据准确率仅18%
|
|
- 设计改进: 强制原文摘录
|
|
- 实现方案: V2提取器
|
|
|
|
2. **V2提取器开发** - 完成
|
|
- `extractor_v2_pro.py` - 完整版
|
|
- `quick_validate.py` - 快速验证版
|
|
- `RUN_V2_EXTRACTION.sh` - 执行脚本
|
|
|
|
3. **测试启动** - 进行中
|
|
- quick_validate.py 正在运行
|
|
- extractor_v2_pro.py 准备执行
|
|
|
|
---
|
|
|
|
## 核心改进
|
|
|
|
### V2 vs V1
|
|
|
|
| 改进项 | V1 | V2 | 预期提升 |
|
|
|--------|-----|-----|---------|
|
|
| 证据来源 | LLM生成 | 原文摘录 | 18% → 95% |
|
|
| 复合实体 | 未展开 | 自动展开 | 0% → 100% |
|
|
| 验证流程 | 无 | 三级验证 | 0 → 100% |
|
|
| 准确率 | 55% | >90% | 1.6倍 |
|
|
|
|
### 关键Prompt改进
|
|
|
|
**V1 (问题)**:
|
|
```
|
|
提取基因关系，提供证据
|
|
```
|
|
|
|
**V2 (改进)**:
|
|
```
|
|
CRITICAL RULES:
|
|
1. EVIDENCE MUST BE EXACT TEXT from the sentence
|
|
2. For multiple genes, create SEPARATE relation for EACH gene
|
|
3. Use SPECIFIC gene names only, NO ranges
|
|
```
|
|
|
|
---
|
|
|
|
## 执行计划
|
|
|
|
### 步骤1: 快速验证 (进行中)
|
|
- 测试2个关键用例
|
|
- 验证复合基因展开
|
|
- 验证原文摘录
|
|
- 预计: 2-3分钟
|
|
|
|
### 步骤2: 完整提取 (待执行)
|
|
- 处理所有句子
|
|
- 提取所有关系
|
|
- 三级验证
|
|
- 预计: 30-60分钟
|
|
|
|
### 步骤3: 结果验证 (待执行)
|
|
- 附表对比
|
|
- 人工抽样
|
|
- 准确率计算
|
|
- 预计: 10-20分钟
|
|
|
|
---
|
|
|
|
## 监控方法
|
|
|
|
### 查看验证进度
|
|
```bash
|
|
tail -f /tmp/v2_validation.log
|
|
```
|
|
|
|
### 查看提取进度
|
|
```bash
|
|
tail -f /tmp/v2_extraction.log
|
|
python3 -c "import json; d=json.load(open('/tmp/extractor_v2_progress.json')); print(len(d))"
|
|
```
|
|
|
|
### 查看最终结果
|
|
```bash
|
|
ls -la /tmp/extractor_v2_result.json
|
|
python3 -c "import json; r=json.load(open('/tmp/extractor_v2_result.json')); print(r['metadata'])"
|
|
```
|
|
|
|
---
|
|
|
|
## 预期结果
|
|
|
|
### 数量预期
|
|
- 关系数: 200-300个
|
|
- 基因覆盖: 35-40个 (87.5-100%)
|
|
- 关系类型: 10-15种
|
|
|
|
### 质量预期
|
|
- 证据准确率: >95%
|
|
- 整体准确率: >90%
|
|
- 附表一致性: >90%
|
|
|
|
---
|
|
|
|
## 文件清单
|
|
|
|
### 代码
|
|
- `extractor_v2_pro.py` - V2完整提取器
|
|
- `quick_validate.py` - 快速验证
|
|
- `RUN_V2_EXTRACTION.sh` - 执行脚本
|
|
|
|
### 文档
|
|
- `MULTI_AGENT_SUMMARY.md` - 多智能体分析
|
|
- `V2_STATUS.md` - 本文件
|
|
|
|
### 输出
|
|
- `/tmp/v2_validation.log` - 验证日志
|
|
- `/tmp/v2_extraction.log` - 提取日志
|
|
- `/tmp/extractor_v2_progress.json` - 进度
|
|
- `/tmp/extractor_v2_result.json` - 最终结果
|
|
|
|
---
|
|
|
|
## 下一步
|
|
|
|
1. **等待验证完成** - 2-3分钟
|
|
2. **检查验证结果** - 确认改进有效
|
|
3. **执行完整提取** - 30-60分钟
|
|
4. **三级验证** - 10-20分钟
|
|
5. **输出最终报告**
|
|
|
|
---
|
|
|
|
**状态**: V2提取器已启动，正在验证中
|
|
**签名**: 🧬🤖
|