admin/PlantAI-rag

Fork 0

Files

T

potaser 5bb98a937a 初始提交

2026-07-10 17:59:59 +08:00

5.0 KiB

Executable File

Raw Permalink Blame History

v14.2 MinerU ModelScope 模型下载配置

配置信息

下载方式

方法: ModelScope (国内镜像，比 HuggingFace 更快更稳定)
环境变量: export MINERU_MODEL_SOURCE=modelscope
模型ID: opendatalab/PDF-Extract-Kit-1.0

模型存储位置

/home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1.0

实际路径: /home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1___0

备用缓存位置: /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1___0 (1.1G，不完整)

下载命令

# 激活环境
source /home/xzq/miniconda3/etc/profile.d/conda.sh
conda activate minerupy311

# 安装 modelscope
pip install modelscope

# 设置环境变量并下载
export MINERU_MODEL_SOURCE=modelscope
python3 -c "
from modelscope import snapshot_download
model_dir = snapshot_download('opendatalab/PDF-Extract-Kit-1.0', 
                               cache_dir='/home/xia-lab/.openclaw/models/mineru')
print(f'Model downloaded to: {model_dir}')
"

模型内容

下载包含183个文件，主要包括：

OCR模型: PaddleOCR 系列 (中英文识别、检测)
布局分析: PP-DocLayoutV2, LayoutLMv3
公式识别: UniMERNet (tiny/small/base)
表格识别: StructEqTable
阅读顺序: LayoutReader
MFD: YOLO v8

使用配置

在 MinerU 配置文件中指定模型路径：

{
  "model_dir": "/home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1.0"
}

环境变量配置（添加到 ~/.bashrc）

# 模型来源和路径
echo 'export MINERU_MODEL_SOURCE=modelscope' >> ~/.bashrc
echo 'export MINERU_MODEL_DIR=/home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1.0' >> ~/.bashrc

# GPU加速（关键！否则默认使用CPU，内存占用高）
echo 'export MINERU_DEVICE_MODE=cuda' >> ~/.bashrc

source ~/.bashrc

⚠️ 重要: 必须设置 MINERU_DEVICE_MODE=cuda，否则 MinerU 默认使用 CPU，导致：

内存占用极高（可能触发 SIGKILL）
处理速度慢（CPU vs GPU）
无法利用 RTX 4090 的 24GB 显存

下载完成状态 ✅

总大小: 14GB
文件数: 183个
完成时间: 2026-04-19 04:50
下载时长: 约37分钟

历史缓存

旧缓存位置: /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1___0
旧缓存大小: 1.1G (不完整)
说明: 之前下载的缓存不完整，已重新下载完整版本

模型复用说明

模型下载一次，永久复用

MinerU 模型已下载到 /home/xia-lab/.openclaw/models/mineru/，包含：

Layout（布局分析）
MFD（公式检测）
MFR（公式识别）
OCR（文字识别）
TabCls（表格分类）
TabRec（表格识别）

缓存机制:

首次下载：通过 ModelScope 下载到 /home/xia-lab/.openclaw/models/mineru/
缓存复用：已创建软连接到 ModelScope 缓存目录
后续使用：MinerU 自动使用已下载模型，不会重复下载

验证模型存在:

ls -la /home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1.0/models/

测试验证

✅ 环境变量设置正确
✅ 模型目录存在（14GB，183个文件）
✅ MinerU 可以正常找到模型
✅ 模型可复用，不会重复下载
✅ 成功处理测试 PDF（15页）

⚠️ 旧版缓存清理

问题: 如果之前下载过不完整的模型缓存，MinerU 可能会使用旧版而不是新版。

解决方案:

# 1. 删除旧版不完整缓存
rm -rf /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1___0
rm -f /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1.0

# 2. 创建软连接指向新版
ln -s /home/xia-lab/.openclaw/models/mineru/opendatalab/PDF-Extract-Kit-1___0 \
  /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1___0
ln -s /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1___0 \
  /home/xia-lab/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1.0

GPU 配置

关键: MinerU 使用 onnxruntime 进行推理，需要安装 GPU 版本才能使用 CUDA。

检查 ONNX Runtime GPU 支持:

source /home/xzq/miniconda3/etc/profile.d/conda.sh
conda activate minerupy311
python -c "
import onnxruntime as ort
print(f'可用执行提供器: {ort.get_available_providers()}')
# 应包含 'CUDAExecutionProvider'
"

安装 GPU 版本（如未安装）:

source /home/xzq/miniconda3/etc/profile.d/conda.sh
conda activate minerupy311
pip uninstall onnxruntime -y
pip install onnxruntime-gpu

验证 GPU 使用:

# 运行 MinerU 时观察 nvidia-smi
nvidia-smi
# 应看到 mineru/python 进程在 GPU 中

Python 代码中强制使用 GPU:

import os
os.environ['MINERU_DEVICE_MODE'] = 'cuda'  # 必须在导入 mineru 之前设置

from mineru import MagicPDF
# ... 后续代码

记录时间: 2026-04-19 更新时间: 2026-04-19 05:42 (移动到 v14.2)

5.0 KiB Executable File Raw Permalink Blame History Unescape Escape