408 lines
16 KiB
Markdown
Executable File
408 lines
16 KiB
Markdown
Executable File
# Gene Family RAG 系统建设总计划
|
|
|
|
> 版本: Master Plan v1.0
|
|
> 制定时间: 2026-03-31
|
|
> 目标: 构建世界一流的基因家族分析RAG系统
|
|
|
|
---
|
|
|
|
## 🎯 系统愿景
|
|
|
|
### 最终目标
|
|
构建一个**具备领域推理能力的基因家族分析虚拟合作者**，能够：
|
|
1. 理解复杂的基因家族分析问题
|
|
2. 自动从文献中提取结构化知识
|
|
3. 提供可溯源、可验证的专业回答
|
|
4. 支持多轮对话和深度推理
|
|
|
|
### 核心能力
|
|
```
|
|
用户提问: "SPL基因家族在苦荞中的系统发育分组及其表达模式"
|
|
↓
|
|
┌─────────────────────────────────────────┐
|
|
│ 意图识别 → 查询分解 → 多源检索 → 知识整合 │
|
|
│ ↓ ↓ ↓ ↓ │
|
|
│ 系统发育 表达数据 文献证据 综合分析 │
|
|
│ 分组信息 时空模式 实验方法 结论生成 │
|
|
└─────────────────────────────────────────┘
|
|
↓
|
|
回答: "苦荞SPL家族分为6组(24基因)，其中Group_VI在花期高表达..."
|
|
[引用: PMID:31286919 Fig.2, Table S1]
|
|
```
|
|
|
|
---
|
|
|
|
## 🏗️ 总体架构
|
|
|
|
```
|
|
┌─────────────────────────────────────────────────────────────┐
|
|
│ 用户交互层 (Frontend) │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ Web界面 │ │ API接口 │ │ 批量处理工具 │ │
|
|
│ │ (Vue3) │ │ (FastAPI) │ │ (CLI/GUI) │ │
|
|
│ └──────┬──────┘ └──────┬──────┘ └──────────┬──────────┘ │
|
|
└─────────┼────────────────┼────────────────────┼─────────────┘
|
|
↓ ↓ ↓
|
|
┌─────────────────────────────────────────────────────────────┐
|
|
│ 编排控制层 (Orchestrator) │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 意图识别 │ │ 查询分解 │ │ 路由决策 │ │
|
|
│ │ Intent │ │ Query │ │ Router │ │
|
|
│ │ Classifier │ │ Decomposer │ │ (技能选择) │ │
|
|
│ └──────┬──────┘ └──────┬──────┘ └──────────┬──────────┘ │
|
|
└─────────┼────────────────┼────────────────────┼─────────────┘
|
|
↓ ↓ ↓
|
|
┌─────────────────────────────────────────────────────────────┐
|
|
│ 技能执行层 (Skills) │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 文献检索 │ │ 系统发育 │ │ 表达分析 │ │
|
|
│ │ RAG Search │ │ Phylogeny │ │ Expression │ │
|
|
│ │ │ │ Extraction │ │ Analysis │ │
|
|
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 基因结构 │ │ 共线性分析 │ │ 功能注释 │ │
|
|
│ │ Gene │ │ Synteny │ │ Functional │ │
|
|
│ │ Structure │ │ Analysis │ │ Annotation │ │
|
|
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
|
└─────────────────────────────────────────────────────────────┘
|
|
↓
|
|
┌─────────────────────────────────────────────────────────────┐
|
|
│ 数据获取层 (Data Fetcher) │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 向量检索 │ │ 补充材料 │ │ 外部数据库 │ │
|
|
│ │ Vector │ │ Supplement │ │ External APIs │ │
|
|
│ │ Store │ │ Fetcher │ │ (NCBI/Ensembl) │ │
|
|
│ │ (Qdrant) │ │ (v5) │ │ │ │
|
|
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
|
└─────────────────────────────────────────────────────────────┘
|
|
↓
|
|
┌─────────────────────────────────────────────────────────────┐
|
|
│ 知识存储层 (Knowledge Base) │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 向量数据库 │ │ 图数据库 │ │ 文档存储 │ │
|
|
│ │ Qdrant │ │ (可选) │ │ JSON/Excel │ │
|
|
│ │ (Embedding) │ │ │ │ │ │
|
|
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
|
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
|
│ │ 实体数据库 │ │ 记忆存储 │ │ 缓存层 │ │
|
|
│ │ SQLite │ │ Mem0/SQLite │ │ Redis (可选) │ │
|
|
│ │ (Genes/Papers)│ │ (对话历史) │ │ │ │
|
|
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
|
└─────────────────────────────────────────────────────────────┘
|
|
```
|
|
|
|
---
|
|
|
|
## 📅 完整建设计划
|
|
|
|
### Phase 0: 基础设施 (已完成 ✅)
|
|
|
|
| 模块 | 功能 | 状态 | 文件 |
|
|
|:---|:---|:---|:---|
|
|
| 向量存储 | FAISS/Qdrant索引 | ✅ | `src/rag/vector_store*.py` |
|
|
| 嵌入模型 | BGE-M3本地模型 | ✅ | `src/rag/embeddings.py` |
|
|
| LLM集成 | 多提供商支持 | ✅ | `src/llm/providers/` |
|
|
| API框架 | FastAPI基础 | ✅ | `api/main.py` |
|
|
| 基础检索 | 关键词+向量 | ✅ | `src/rag/hybrid_retriever.py` |
|
|
|
|
---
|
|
|
|
### Phase 1: 记忆与对话 (2026-03-19 已完成 ✅)
|
|
|
|
| 模块 | 功能 | 状态 | 文件 |
|
|
|:---|:---|:---|:---|
|
|
| 对话记忆 | 跨对话上下文 | ✅ | `src/rag/memory/memory_manager.py` |
|
|
| 会话存储 | SQLite持久化 | ✅ | `src/rag/memory/conversation_store.py` |
|
|
| 查询增强 | 历史上下文注入 | ✅ | 已集成到orchestrator |
|
|
| Qdrant迁移 | Docker持久化 | ✅ | `src/rag/vector_store_qdrant.py` |
|
|
|
|
**交付物**:
|
|
- 支持连续对话
|
|
- 自动上下文增强
|
|
- 生产级向量存储
|
|
|
|
---
|
|
|
|
### Phase 2: 检索增强 (2026-03-19 部分完成 🔄)
|
|
|
|
| 模块 | 功能 | 状态 | 优先级 |
|
|
|:---|:---|:---|:---|
|
|
| 引用数加权 | 高引论文优先 | ✅ | P1 |
|
|
| 时效性排序 | 新论文优先 | ✅ | P1 |
|
|
| 自我反思 | 检查缺失→二次检索 | ⏳ | P2 |
|
|
| 外部API | Semantic Scholar | ⏳ | P2 |
|
|
| 多跳推理 | 关联论文追踪 | ⏳ | P3 |
|
|
|
|
**交付物**:
|
|
- 更智能的排序算法
|
|
- 自动补全缺失信息
|
|
- 实时文献补充
|
|
|
|
---
|
|
|
|
### Phase 3: 系统发育提取 (2026-03-30 已完成 ✅)
|
|
|
|
| 模块 | 功能 | 状态 | 文件 |
|
|
|:---|:---|:---|:---|
|
|
| 基础提取 | PDF文本提取 | ✅ | `extract_phylogeny_v*.py` |
|
|
| 补充材料获取 | Europe PMC API | ✅ | `universal_supplementary_fetcher.py` |
|
|
| 多期刊支持 | 通用适配器架构 | ✅ | 适配器模式 |
|
|
| Excel解析 | 自动分组提取 | ✅ | pandas集成 |
|
|
| API集成 | 提取接口 | ✅ | `api/rag_routes.py` |
|
|
|
|
**交付物**:
|
|
- v5 Universal提取系统
|
|
- 支持所有PMC期刊 (60%覆盖率)
|
|
- Confidence 100/100
|
|
|
|
---
|
|
|
|
### Phase 4: 知识图谱构建 (计划 4月)
|
|
|
|
| 模块 | 功能 | 状态 | 预计时间 |
|
|
|:---|:---|:---|:---|
|
|
| 实体识别 | 基因/物种/家族 | ⏳ | 3天 |
|
|
| 关系抽取 | 基因-分组-表达 | ⏳ | 5天 |
|
|
| 知识融合 | 多源数据对齐 | ⏳ | 3天 |
|
|
| 图数据库 | Neo4j集成 (可选) | ⏳ | 5天 |
|
|
| 可视化 | 知识图谱展示 | ⏳ | 3天 |
|
|
|
|
**交付物**:
|
|
- 基因家族知识图谱
|
|
- 实体关系数据库
|
|
- 可视化探索工具
|
|
|
|
---
|
|
|
|
### Phase 5: 高级分析技能 (计划 4-5月)
|
|
|
|
| 技能 | 功能 | 状态 | 预计时间 |
|
|
|:---|:---|:---|:---|
|
|
| 表达分析 | 时空表达模式 | ⏳ | 5天 |
|
|
| 基因结构 | 内含子/外显子 | ⏳ | 3天 |
|
|
| 启动子分析 | 顺式元件 | ⏳ | 5天 |
|
|
| 共线性分析 | 基因组共线性 | ⏳ | 5天 |
|
|
| 功能注释 | GO/KEGG富集 | ⏳ | 5天 |
|
|
| 比较基因组 | 多物种比较 | ⏳ | 7天 |
|
|
|
|
**交付物**:
|
|
- 11个标准分析阶段全覆盖
|
|
- 自动从文献提取分析结果
|
|
- 支持跨文献比较
|
|
|
|
---
|
|
|
|
### Phase 6: 智能推理 (计划 5-6月)
|
|
|
|
| 模块 | 功能 | 状态 | 预计时间 |
|
|
|:---|:---|:---|:---|
|
|
| 假设生成 | 基于证据的推断 | ⏳ | 7天 |
|
|
| 矛盾检测 | 识别文献冲突 | ⏳ | 5天 |
|
|
| 证据综合 | 多源证据加权 | ⏳ | 5天 |
|
|
| 不确定性量化 | 置信度评估 | ⏳ | 5天 |
|
|
| 可解释性 | 推理路径展示 | ⏳ | 5天 |
|
|
|
|
**交付物**:
|
|
- 类人推理能力
|
|
- 可解释的回答
|
|
- 不确定性管理
|
|
|
|
---
|
|
|
|
### Phase 7: 生产化 (计划 6月)
|
|
|
|
| 模块 | 功能 | 状态 | 预计时间 |
|
|
|:---|:---|:---|:---|
|
|
| 性能优化 | 毫秒级响应 | ⏳ | 7天 |
|
|
| 缓存系统 | Redis多层缓存 | ⏳ | 5天 |
|
|
| 监控告警 | 全链路监控 | ⏳ | 5天 |
|
|
| 自动化测试 | CI/CD集成 | ⏳ | 5天 |
|
|
| 文档完善 | 完整技术文档 | ⏳ | 5天 |
|
|
| 用户反馈 | 反馈收集迭代 | ⏳ | 持续 |
|
|
|
|
**交付物**:
|
|
- 生产级稳定系统
|
|
- 完整运维体系
|
|
- 持续迭代能力
|
|
|
|
---
|
|
|
|
## 📊 数据资源规划
|
|
|
|
### 文献数据
|
|
|
|
| 阶段 | 数量 | 来源 | 时间 |
|
|
|:---|:---|:---|:---|
|
|
| 当前 | 87篇 | 手动收集 | 已完成 |
|
|
| 短期 | 1,000篇 | Q1期刊批量下载 | 4月 |
|
|
| 中期 | 10,000篇 | 基因家族相关 | 5月 |
|
|
| 长期 | 50,000篇 | 植物基因组全量 | 6月+ |
|
|
|
|
### 知识库规模
|
|
|
|
| 指标 | 当前 | 目标 | 存储 |
|
|
|:---|:---|:---|:---|
|
|
| Chunks | 5,107 | 500,000 | ~10GB |
|
|
| Embeddings | 5,107 | 500,000 | ~20GB |
|
|
| 实体 | ~1,000 | 1,000,000 | ~5GB |
|
|
| 关系 | ~5,000 | 10,000,000 | ~50GB |
|
|
|
|
---
|
|
|
|
## 🛠️ 技术栈总览
|
|
|
|
### 核心组件
|
|
|
|
| 层级 | 技术 | 用途 |
|
|
|:---|:---|:---|
|
|
| 前端 | Vue 3 + Element Plus | 用户界面 |
|
|
| API | FastAPI | 后端服务 |
|
|
| 编排 | 自研Orchestrator | 流程控制 |
|
|
| 向量 | Qdrant + BGE-M3 | 语义检索 |
|
|
| 图库 | Neo4j (可选) | 知识图谱 |
|
|
| 缓存 | Redis (可选) | 性能优化 |
|
|
| LLM | GLM/Kimi/Ollama | 文本生成 |
|
|
| 部署 | Docker + Nginx | 生产部署 |
|
|
|
|
### 关键依赖
|
|
|
|
```python
|
|
# 核心
|
|
fastapi==0.104.1
|
|
qdrant-client==1.7.0
|
|
sentence-transformers==2.2.2
|
|
pandas==2.1.3
|
|
|
|
# LLM
|
|
openai==1.3.0
|
|
httpx==0.25.2
|
|
|
|
# 数据处理
|
|
PyMuPDF==1.23.8
|
|
openpyxl==3.1.2
|
|
|
|
# 可选
|
|
redis==5.0.1
|
|
neo4j==5.14.0
|
|
```
|
|
|
|
---
|
|
|
|
## 📈 里程碑
|
|
|
|
| 日期 | 里程碑 | 交付物 |
|
|
|:---|:---|:---|
|
|
| 2026-03-31 | Phase 0-3 完成 | 系统发育提取v5上线 |
|
|
| 2026-04-15 | Phase 4 完成 | 知识图谱v1.0 |
|
|
| 2026-04-30 | Phase 5 完成 | 11个分析技能全量 |
|
|
| 2026-05-15 | Phase 6 完成 | 智能推理v1.0 |
|
|
| 2026-05-31 | Phase 7 完成 | 生产级系统 |
|
|
| 2026-06-30 | v2.0 发布 | 完整产品 |
|
|
|
|
---
|
|
|
|
## 💰 资源需求
|
|
|
|
### 计算资源
|
|
|
|
| 组件 | 配置 | 成本/月 |
|
|
|:---|:---|:---|
|
|
| API服务器 | 8核16GB | ¥500 |
|
|
| GPU推理 | RTX 4090 | ¥1,500 |
|
|
| 向量数据库 | 4核8GB | ¥300 |
|
|
| 存储 | 500GB SSD | ¥200 |
|
|
| **总计** | | **¥2,500/月** |
|
|
|
|
###
|
|
|
|
### 人力资源
|
|
|
|
| 角色 | 人数 | 投入时间 |
|
|
|:---|:---|:---|
|
|
| 系统架构师 | 1 | 全职 |
|
|
| 后端工程师 | 1-2 | 全职 |
|
|
| 算法工程师 | 1 | 兼职 |
|
|
| 前端工程师 | 1 | 兼职 |
|
|
| 测试工程师 | 1 | 兼职 |
|
|
|
|
---
|
|
|
|
## 🎯 关键成功指标 (KPI)
|
|
|
|
### 技术指标
|
|
|
|
| 指标 | 当前 | 目标 | 验收标准 |
|
|
|:---|:---|:---|:---|
|
|
| 检索准确率 | 60% | 90% | Top-5相关度 |
|
|
| 回答置信度 | 40% | 85% | 人工评估 |
|
|
| 响应时间 | 5s | <1s | P95延迟 |
|
|
| 系统可用性 | 95% | 99.9% | 月度统计 |
|
|
|
|
### 业务指标
|
|
|
|
| 指标 | 当前 | 目标 |
|
|
|:---|:---|:---|
|
|
| 支持文献数 | 87 | 50,000 |
|
|
| 覆盖基因家族 | 3 | 200+ |
|
|
| 支持物种 | 5 | 100+ |
|
|
| 日活跃用户 | 1 | 100+ |
|
|
|
|
---
|
|
|
|
## 🚀 立即行动项
|
|
|
|
### 今天 (3月31日)
|
|
|
|
- [ ] 启动API服务测试
|
|
- [ ] 验证v5集成接口
|
|
- [ ] 测试番茄P450提取
|
|
|
|
### 本周 (3月31日-4月6日)
|
|
|
|
- [ ] 前端集成v5提取
|
|
- [ ] 批量处理脚本
|
|
- [ ] 测试10篇论文
|
|
|
|
### 本月 (4月)
|
|
|
|
- [ ] Phase 4: 知识图谱
|
|
- [ ] 扩展期刊支持 (Springer/Elsevier)
|
|
- [ ] 1,000篇文献索引
|
|
|
|
---
|
|
|
|
## 📁 相关文档
|
|
|
|
```
|
|
gene-family-mas-v2/
|
|
├── RAG_MASTER_PLAN.md # 本总计划
|
|
├── INTEGRATION_PLAN.md # v5集成计划
|
|
├── memory/ # 历史记录
|
|
│ ├── 2026-03-19-v2-phase1-complete.md
|
|
│ ├── 2026-03-19-v2-phase2-3-complete.md
|
|
│ └── 2026-03-30.md
|
|
├── api/ # API层
|
|
│ └── rag_routes.py # ✅ 已集成v5
|
|
├── src/ # 核心代码
|
|
│ ├── rag/ # RAG模块
|
|
│ └── llm/ # LLM模块
|
|
└── evaluation/ # 评估结果
|
|
└── auto_results/ # 提取结果
|
|
```
|
|
|
|
---
|
|
|
|
## 💡 核心设计原则
|
|
|
|
1. **技能化架构** - 每个分析阶段独立技能
|
|
2. **通用提取** - 支持所有期刊的补充材料
|
|
3. **可解释性** - 每个回答可溯源到文献
|
|
4. **持续学习** - 从用户反馈中改进
|
|
5. **生产优先** - 从设计之初考虑稳定性
|
|
|
|
---
|
|
|
|
*总计划制定: 2026-03-31*
|
|
*版本: Master Plan v1.0*
|
|
*下次评审: 2026-04-07*
|