PaperLoom Engineering Practice https://chzarles.github.io/paperloom/ Evidence-backed notes from building PaperLoom. zh-CN Qdrant BM25 找到 48/48 份证据后，MiniMax 为什么仍只通过 9/24 https://chzarles.github.io/paperloom/practice/evaluation/qdrant-bm25-cutover-minimax-evidence-gap https://chzarles.github.io/paperloom/practice/evaluation/qdrant-bm25-cutover-minimax-evidence-gap Sat, 18 Jul 2026 16:00:00 GMT 产品检索从 Hybrid Qdrant 切到 Sparse BM25 后，固定查询召回达到 48/48；MiniMax 实际运行有 47/48 份证据进入候选，只读取了 29/48。 论文权限与索引生命周期如何收敛为四个事实 https://chzarles.github.io/paperloom/practice/architecture/paper-access-and-index-lifecycle-simplification https://chzarles.github.io/paperloom/practice/architecture/paper-access-and-index-lifecycle-simplification Thu, 16 Jul 2026 16:00:00 GMT 上传统一进入个人空间，管理员单独发布全局论文；处理中论文不可检索，Qdrant 每篇只保留一份可重建索引。 Qdrant 让 76 篇论文的广查询快了 4 倍，证据排序却退化了 https://chzarles.github.io/paperloom/practice/evaluation/qdrant-retrieval-impact-benchmark https://chzarles.github.io/paperloom/practice/evaluation/qdrant-retrieval-impact-benchmark Wed, 15 Jul 2026 16:00:00 GMT 共享预构建索引省掉了 Python Worker 的重复加载；同预算下，指定证据命中从 BM25 的 42/48 降到 34/48。 Qdrant 检索切换后的上传与重建规则 https://chzarles.github.io/paperloom/practice/architecture/qdrant-corpus-plane-cutover https://chzarles.github.io/paperloom/practice/architecture/qdrant-corpus-plane-cutover Tue, 14 Jul 2026 16:00:00 GMT 以论点、论据和推导逐项决定索引何时可用、谁能重建、重建期间能否检索，以及是否需要保留多个 Generation。 MiniMax 17/30、GPT 14/30，人工盲审却给出相反结果 https://chzarles.github.io/paperloom/practice/evaluation/hard-pass-human-review-stopping-rule https://chzarles.github.io/paperloom/practice/evaluation/hard-pass-human-review-stopping-rule Tue, 14 Jul 2026 16:00:00 GMT 自动严格评分与人工盲审给出相反排名，因此重新界定指标含义并停止继续增加校验层。 我让 Agent 同时跑两遍，严格评分从 60% 降到了 53.3% https://chzarles.github.io/paperloom/practice/evaluation/best-of-two-agent-orchestration https://chzarles.github.io/paperloom/practice/evaluation/best-of-two-agent-orchestration Mon, 13 Jul 2026 16:00:00 GMT 通过独立运行、理论上限和实际选择结果，判断失败来自答案生成缺少互补性，而非选择规则；并行方案增加了约 73.5 万 Token。 换成 GPT 后，严格评分为什么从 60% 降到 36.7% https://chzarles.github.io/paperloom/practice/evaluation/provider-migration-experiment https://chzarles.github.io/paperloom/practice/evaluation/provider-migration-experiment Mon, 13 Jul 2026 16:00:00 GMT 在数据、工具、提示词和单路径编排不变的条件下，只更换模型与 API；Responses API 接入成功，但测试模型出现更多预算耗尽和证据错误。 我把检索召回从 16/32 修到 29/32，却只多通过 1 个问题 https://chzarles.github.io/paperloom/practice/evaluation/golden-data-harness-evolution https://chzarles.github.io/paperloom/practice/evaluation/golden-data-harness-evolution Sun, 12 Jul 2026 16:00:00 GMT 通过分层记录和固定查询重放，确认检索下降来自测试论文的数据结构；召回恢复后，剩余问题集中在证据选择、引用和成本。