在下一个字出现之前。
一个真的会训练的小模型。拆看它的注意力，也用自己的短语料重新教它。
把自己的语料放进来。
01 / TRAIN附带权重来自本页原创短句。替换语料会重建字表并重新初始化模型；当前实验可先保存。
查看当前词表与模型规格
看它怎样接下去。
02 / GENERATE采样使用当前模型的正常因果计算。UNK 不参与采样；温度为 0 时选择概率最大的字。
对照实验 · 改变计算，而不是改解释
这些开关只改变上方观察图。完整矩阵能看出掩码变化；注意力是实际权重，不是对语言意义的因果解释。
用另一段文本检查预测损失
按非重叠的 24 字符窗口计算，窗口边界重置上下文。报告自然对数平均交叉熵与对应困惑度；困惑度超出浮点范围时明确显示，保留真实 NLL，不截成较小值。未提供测试文本时不会伪造泛化成绩。
把这次实验带走。
JSON 恢复权重、语料、Adam 状态与随机序列。其余格式供分析和记录。
第一次使用 / 科学方法与边界 / 离线保存
三分钟做一个完整实验
先把输入里的“海面”换成“花园”，看看下一字的概率。选择不同查询位置与注意力头，观察矩阵。保留当前权重为对照后，继续训练 200 步，再看红条与黑色对照线。用你自己的短语料重建模型，训练、生成，最后保存实验 JSON。
这是什么模型
单层 decoder-only，24 维表示、2 个头、24 个学习位置向量、48 维 ReLU 前馈、pre-LN 残差与最终归一化。完整反向传播及 Adam 真正运行在本地；β₁=0.9、β₂=0.999、ε=10⁻⁸，全局梯度 L2 范数裁剪至 1。随机连续训练窗为 16 个字符。第 17—24 个位置向量保留初始化值，24 位容量不等于全部位置都已训练。学习率可调整，曲线是每 10 步记录的一批训练损失。
容量与保存
语料 32—6000 个 Unicode 码点、2—95 个不同字符，另加 UNK；一批至多 1200 步，总计至多 20000 步，生成至多 200 字符。输入最后 24 字符参与计算，评估文本至多 1000 字符。实验 JSON 最多 6 MiB；历史保留最近 12 次更改，训练曲线保留最近 501 个记录。暂存属于当前浏览器和路径，换设备需保存完整文件。
结果如何解释
这是实际运行的小型教学模型，适合研究计算与训练。字符表示法不是 BPE；架构是本作品明确缩小和改动的 decoder，不是原论文复现。附带语料为原创合成短句，附带权重只是它的训练结果，不具通用语言或事实问答能力。注意力矩阵与消融帮助检查计算，不保证解释语言含义。
训练与生成始终使用因果掩码、位置向量和两个头。观察图可以解除掩码或清零一个头；解除掩码仅让已有输入位置看到其后已有字符，没有窥见尚未生成的字。输出概率 CSV 是未经 top-k/top-p 筛选的 softmax；生成记录另存真实采样条件。
一手资料
Vaswani 等：Attention Is All You Need：缩放点积、多头、因果掩码和前馈机制。
Kingma & Ba：Adam：带偏差校正的一二阶矩更新。
Ba 等：Layer Normalization：逐位置特征归一化。模型与训练代码为本作品原创；字体采用 SIL OFL 许可的 Noto 子集。