使用想象显影机 v3.3,制作一个真正运行、可本地单文件打开的中文微型 Transformer 实验室,名为《小型Transformer训练与注意力观察》。用户既能直接拆看附带的小模型,也能替换一段自己的短语料,从初始化、训练、观察预测、干预注意力一直走到保存完整权重与实验报告。 创作命题:一句话尚未写出的下一个字,来自一组看得见、能被干预和复验的计算。以暖白实验纸、近黑文字、鲜亮柿红概率和钴蓝注意力构成视觉。主舞台以横排字符、真实两头注意力关系、下三角矩阵、候选字概率与训练曲线组织,不用伪3D网络球。真正有密度、有焦点的实验仪器。默认原创中文短句语料与实际预训练权重,附随机初始权重作比较。没有联网、API、外部模型或CDN。 实现一个透明的小型decoder-only模型:Unicode码点级词表(不是BPE),固定24维、2头、24位置、单个pre-LN残差块、学习位置向量、ReLU前馈48维、最终LayerNorm与输出softmax;实际因果掩码与交叉熵,手写完整反向传播及Adam优化器和梯度范数裁剪。文档准确解释它借用Transformer机制、缩小架构,不是原论文复现,也不具通用问答能力。实际查阅Attention Is All You Need、Adam和Layer Normalization一手资料。注意力权重不是对语言含义的因果证明。 让用户粘贴/载入UTF8语料,查看自己的词表,重建模型,按真实步数训练并可停止;学习率、步数、种子可改,保留固定窗口损失与独立测试文本的逐字NLL/困惑度。未知字明确标记,不能偷偷删掉。输入短句查看下一字softmax、逐位置注意力与Q/K数值;选查询字/注意力头,关闭一个头或去掉位置向量观察概率变化,解除因果掩码时明确只有诊断视图,训练仍是因果模型。生成可控长度文字,温度0贪心、top-k/top-p、种子可复现,完整记录采样条件;不可把随机短句包装成知识回答。 训练历史、原文、词表、权重、Adam一二阶矩、步数与随机状态、设置及对照权重均包含在可恢复JSON中。撤销/重做以一次完整训练批次为一项;停止保留已完成步数,取消过时文件/训练任务不污染新状态。限6000码点、95个不同语料字符、单批1200步、总20000步、生成200码点、完整方案6MiB;自己的合法输出用真实读取器回读。localStorage失败不妨碍手动导出。支持概率/注意力/训练CSV、实验图PNG与完整方法报告TXT。 主要交互有可读标签和键盘路径,快捷键避开输入框,长任务定期让出UI,隐藏页停止,pagehide/pageshow不会留下永远禁用的操作。默认和自定义语料均能走通,空文本/非法数值/超限输入保留当前实验并给明确错误。页面说明分层,不用长免责声明抢主角。 交付单index.html、说明.txt、设计记录.txt、metadata.json及真实review输出。DOM无关模型、绘图分开,用当前HTML真正内嵌代码执行梯度有限差分、掩码/概率归一化、随机种子0、训练续接、JSON回读与生成复现检查。Canvas图使用页面和PNG导出的同一绘图函数;保存第一次有效出图与修订后结果,用view_image实际审阅。环境不能用浏览器/Playwright/预览服务器,不得把原生Canvas出图称整页浏览器截图。