29 / 小型Transformer训练与注意力观察
使用：想象显影机v3.3科学制作起始版；技术实现与后续数值修订共同构成作品，不称提示词盲测。

命题：让一个尚未写出的字交出计算过程。
媒介选择：选择字符、实际注意力矩阵、原始softmax柱与损失曲线。此处二维比任意维度投影为3D更容易准确比较，因此没有强行加入三维网络装饰。
艺术指导：暖白实验纸、近黑字、钴蓝关系与柿红预测。主图把字符弧线、查询行、矩阵、Q/K12维与候选概率放在一张能带走的实验图上。控件服务真实模型和实验；没有伪AI回答。

机制首轮：完成单层decoder-only pre-LN Transformer的前向、完整反向和Adam。建立54处跨所有参数张量的有限差分核对、严格因果性与行归一化检查。实际1200步训练只花费制作环境数秒；该耗时不作为用户设备性能承诺。附带的是实际权重和原文，不是手工写的概率表。

真实首图：review/first/default.png来自首个有效HTML同源Canvas。默认输入仅5字符，矩阵较空，下一字几乎确定为逗号。观察后把默认输入延长至“风吹过海面，海面有”，重复词可显露更多注意力关系，预测对象从标点变为“光”。没有故意做差“之前”。

工程修订：对照权重的概率可能高于当前最高概率，柱图比例尺改为同时容纳两者；黑色对照线不会越界。把待应用的初始化种子与模型真正使用的种子分开，避免编辑种子后错误改写来源。语料草稿不隐式应用；所有键入使旧文件读取失效。训练中禁用不兼容修改，停止保留实际完成步数，一批是一项撤销；隐藏/离开页面同步停止，恢复页面可继续使用。

最终核心核对：实际最终HTML提取运行，默认JSON完整回读、用户英文语料和种子0训练、空输入/未知字、因果概率不受未来字改变、每行归一化、完整Adam/RNG续接、贪心与随机采样复现、最大合法字表和文本回读、非法导入不修改现有状态。独立英文语料300步固定窗口NLL从3.1393020322下降到0.4463087744。它是拟合检查，不是泛化分数。

边界：attention并非语言意义的因果解释；预训练的小语料模型不具通用回答能力。测试窗口口径与未知字严格说明。实际Canvas出图是同源科学图面，未测试DOM/CSS、设备事件、浏览器冷启动与下载对话框。

跨作者复核追加：修复极小正温度导致logits/T先溢出的问题，采用移位再缩放；移除困惑度的exp(min(700,NLL))静默截断，显示真实溢出状态。实验读取器严格拒绝各层未知字段和不一致采样记录，训练更新采用整步事务，保护原权重与随机状态。说明明确训练16个位置、保留24个位置容量的差别。核心梯度与Adam另由数学作者独立核对。