本地文档检索与证据评测
科学工具 30 · 大模型工程 / 检索评测

第一次打开
先读当前问题和前三条证据。每篇资料有稳定ID，排名采用该文档最高分块。点「在原文中定位」，看摘录实际来自哪里。当前默认是原创合成天文馆手册，8篇资料、16个块、5个已给示例判断的问题。

让自己的资料可检索、可评测
1. 导入TXT或MD（每文件一篇）；也可导入文档数组JSON或包含title/标题与text/内容列的CSV。CSV支持带引号的逗号和换行。或新增资料并粘贴文字。资料输入按纯文本处理。
2. 新增问题并检索。选择BM25或TF-IDF，调整窗口、重叠与k，点「应用并评测」。两种方法都是真实本地词项检索，没有语义embedding或模型推理。
3. 对该问题的每篇资料标注0不相关、1部分、2相关、3关键。未判断保留独立状态。正文或问题改变后，旧判断保留但待复核，不参与指标，直到你确认。
4. 冻结完整基线，再换分块参数或方法。若资料、问题、判断改变，界面明确提示条件不同，不能把差异都归因于参数。
5. 设置整段提示词字符预算，得到有问题、来源编号、精确区间、摘录与引用规则的提示词，复制或导出TXT。资料不足时需要下游模型承认证据不足；本工具不会自己伪造一个AI答案。
6. 导出评测CSV、全部命中文档CSV、PNG图面和完整HTML报告。完整报告保留全体原文、全部判断与精确摘录，图面为了可读会缩略长内容。完整实验JSON保留文档、版本、问题、标签、参数、基线与视图。

方法与口径
字符均为Unicode码点，区间从0开始，右端不含；不会切坏emoji代理对。中文按连续汉字单字和双字词项，英文数字按连续词并小写。无停用词、词干化或专业分词。正文参与检索，标题只作元数据。
BM25使用正IDF变体ln(1+(N−df+0.5)/(df+0.5))，k1控制词频饱和，b控制长度归一。TF-IDF使用(1+ln tf)和ln((N+1)/(df+1))+1，再做余弦。N、df按块计算；每文档只取最高分块参与文档级排名，避免重叠块重复占据结果。
等级1—3视为相关。Recall@k分母为全部已知相关文档，MRR@k限定前k，nDCG@k使用2^grade−1增益与log2(rank+1)折扣。未判断暂按0，因此不完整判断的指标只能描述已知相关集；无已判断正例的查询显示未定义，不进入均值。过期判断视为未判断。
提示词预算是整段输出实际Unicode字符数，包含JSON转义、规则和元数据，不是大模型token估算。截取后区间严格同步；预算连问题和规则都装不下时会提示增加预算。

实际核对结果
默认5个问题平均Recall@3=0.933333、MRR@3=1、nDCG@3=0.903425。换成TF-IDF、100字符窗口、20重叠、k=2后为0.866667、1、0.855414。这只代表此原创练习集，不是检索方法的普遍排名。独立三个英文文档手算BM25与余弦；手算分级nDCG、Recall和MRR；Unicode区间、同文多块去重、陈旧判断、完整项目回读和带HTML字样原文安全报告均核对。

限额与资料格式
24篇、每篇6000字符、合计60000字符，30问题，每问500字符，最多1500块；完整实验1.5MB。文档JSON为[{"title":"标题","text":"内容"}]或{"documents":[...]}。文档批量导入分配新ID，完整实验回读才保留原有ID和判断。

一手资料
https://nlp.stanford.edu/IR-book/html/htmledition/okapi-bm25-a-non-binary-model-1.html
https://nlp.stanford.edu/IR-book/html/htmledition/dot-products-1.html
https://nlp.stanford.edu/IR-book/html/htmledition/evaluation-of-ranked-retrieval-results-1.html
https://github.com/apache/lucene/blob/main/lucene/core/src/java/org/apache/lucene/search/similarities/BM25Similarity.java

使用方式与数据
双击 index.html。运行资源、脚本与中文常用字字体都在单个HTML中；没有CDN、API、账户或本地服务器要求。来源链接只用于阅读资料。新增字体子集之外的字由系统字体回退。浏览器暂存可能受路径、隐私模式或容量影响，重要资料请保存完整JSON。作品提供手动下载和严格回读，不会直接覆盖你电脑上的文件。撤销重做覆盖文档编辑，视图选择可独立改变。

核对范围
已执行最终HTML内的真实模型与真实Canvas绘图，用Node和原生Canvas核对输出；导出的PNG已解码并人工看过。此环境没有获准的浏览器控制，未把这些图称为网页截图，也没有声称DOM/CSS布局、真实鼠标或触控事件、本地首次断网冷启动、系统下载对话框和移动设备性能已经验收。

补充：检索器的「应用并评测」与证据包的「应用全部设置」均原子提交全部检索参数及字符预算；任何一项非法则整组不应用，保留原结果。