科学工具 / 30 · RETRIEVAL LAB

本地文档检索与证据评测

把自己的资料变成一个能核对、能比较、能带走的检索实验。

这是原创合成资料练习。可以直接换成你的 TXT、Markdown、文档 JSON 或 CSV,所有计算在本地完成。

01 / 我的资料

正文按纯文本处理,不执行 HTML。每篇最多6000字符;24篇合计60000字符。

02 / 找到的证据

检索器的旋钮

冻结完整实验

基线保留当时原文、问题、判断与参数。修改资料后会明确提示比较条件改变。

03 / 判断它有没有找对

当前问题对每篇资料标注。标签随文档ID保存,正文或问题改变后进入待复核状态,不参与指标,直到你重新确认。

资料相关性状态

评测结果 / 文档级去重

问题判断覆盖Recall@kMRR@knDCG@k

未判断暂按0;若判断不完整,指标只描述已知相关集。没有正例的查询显示 —,不进入均值。MRR限定前k,非全排名MRR。

04 / 给下一个大模型的证据包

两处应用按钮均提交当前全部检索设置与预算。这不是模型token计数,也没有调用大模型生成答案。字符预算包括规则、问题、JSON标点、来源和摘录;超出时截取真实片段并同步改写区间。

当前实验的可导出图面
方法、指标、格式与一手资料

按Unicode码点分块,区间[start,end)从0开始,重叠小于窗口且至少前进20字符。检索单位是块,先对块评分,再取每篇文档最高分块形成去重文档排名。同分按文档ID、片段开始位置排序。标题只作为元数据,正文才参与检索。

词项规则:英文和数字连续词小写化;连续汉字生成单字及相邻双字。没有词干化、停用词、专业中文分词、语义向量或模型推理。BM25对去重查询词求和,IDF=ln(1+(N−df+0.5)/(df+0.5)),每项为IDF·tf(k1+1)/(tf+k1(1−b+b·长度/平均长度))。TF-IDF用(1+ln tf)·(ln((N+1)/(df+1))+1),查询与块作余弦;N和df按块计数。

等级1—3均视为相关。Recall@k=前k找到的已知相关文档数/所有已知相关文档数。MRR@k=前k中首个相关文档排名的倒数,未找到为0。nDCG@k采用(2^grade−1)/log2(rank+1)增益,再除以所有有效标签的理想前k增益。无正例或无理想增益时未定义。每项均值只纳入该项有定义的查询。待复核标签视为未判断。

资料导入:TXT/MD每文件一篇;JSON为[{"title":"标题","text":"正文"}]或{"documents":[...] };CSV含title/标题与text/content/内容/正文列,支持引号、逗号、换行。资料导入会分配新的稳定ID;完整「实验JSON」保存原ID、判断、版本、基线与视图。完整实验限1.5MB,最多1500块、30问题。

一手资料:Stanford IR · BM25;Stanford IR · 余弦相似度;Stanford IR · 排序检索评估;Apache Lucene · 正IDF变体。链接供阅读,无运行时依赖。

本篇分块