adminandClaude Fable 5
60f7360cec
fix(r4-52b): vault.add 按内容 SHA256 去重,重复上传覆盖旧 doc_id
缺陷 #52b(验收 §6 第 2 条 + 回归 G3):同一 PDF 重复上传 4 次 → 4 个 doc_id
× 200 chunk = 800 条,FAISS 检索 top_k 被同内容不同 doc_id 的块占满。
修复(vstore/vault.py):
- add() 先算内容哈希 SHA256(原始文件字节),查 index.json 的 content_sha
字段判重;同内容 → 移除旧 doc 的检索行/密文/chunk 行,再落一条新 doc
(新 doc_id,meta 以本次上传为准,created_at 刷新)
- 去重后该内容在库中恒仅 1 个 doc_id、chunk 总数不翻倍;同名不同内容
按内容哈希不误判(G3-2);不同内容互不覆盖(G3-1)
- content_sha 落 index.json(doc_meta 新字段);rebuild_index 对历史密文
缺 content_sha 时以密文内容补算(重建后去重依据不丢)
- 与现有删除机制一致:index.remove_item 过滤重建 faiss、chunks.remove_document
过滤重建 chunk faiss(IndexFlatIP 不支持逐行删,现有机制即重建)
测试:vstore/tests/test_vault_dedup.py(5 用例):同内容两次 → 1 个 doc_id/
chunk 不翻倍/旧密文清理;meta 以本次为准;不同内容 → 2 个 doc_id;
同名不同内容不误判;重启(新实例 load)后仍去重。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-09-11 14:12:57 +08:00
..
2026-09-05 17:48:41 +08:00
2026-09-03 21:13:37 +08:00
2026-09-05 17:48:41 +08:00
2026-09-03 21:13:37 +08:00
2026-09-03 21:13:37 +08:00
2026-09-07 22:41:36 +08:00
2026-09-03 21:13:37 +08:00
2026-09-03 21:13:37 +08:00
2026-09-05 17:48:41 +08:00
2026-09-05 15:49:54 +08:00
2026-09-03 21:13:37 +08:00
2026-09-05 15:49:54 +08:00
2026-09-11 14:12:57 +08:00
2026-09-05 15:49:54 +08:00