CS336 任务一 实验
一、学习率 #!/bin/bash
# --- 1. 定义要跑试的学习率列表 ---
LR_LIST=(1e-4 3e-4 6e-4 1e-3 3e-3 6e-3 1e-2 3e-2)
# --- 2. 固定参数配置 ---
MAX_ITERS=7000
WARMUP_ITERS=700
MAX_
CS336 任务一 问答题
一、理解 Unicode 题目 (a) chr(0) 返回的是什么 Unicode 字符？ (b) 这个字符的字符串表示（__repr__()）与它的打印表示有什么区别？ (c) 当这个字符出现在文本中时会发生什么？可以在 Python 解释器中尝试以下代码，看看是否符合你的预期： >>> chr(
Transformer核心架构
1. 总览 Transformer 模型基于 多头自注意力 和 前馈网络 堆叠而成。常用结构有编码器+解码器(Encoder+Decoder)，只编码器(Encoder-only)，只解码器(Decoder-only)。目前市面上性能最强的大模型基本都采用的是Decoder-only： 任务统一：只
BPE编码器原理与实现
01.BPE原理 1.1 一句话说明 BPE 就是不断地把出现频率最高的相邻字节对h合并成一个新 token，直到词表达到目标大小。 1.2 为什么要做BPE BPE缩短了序列长度： 单个 token 的计算开销与它包含的字节数无关（1 字节 token 和 10 字节 token，进入模型后都是相
每周复盘
未读
每周复盘07 2026.07.13——2026.07.19
一、本周概览 这周并不是整周摆烂，而是前四天推进得很顺，周末突然断电。算法依然是最强主线：动态规划正式完结，随后立刻进入图论并拿下八个岛屿问题，离“离职前二刷完毕、给 408 代码题打基础”的目标又近了一步。408 方面完成网络层笔记并进入传输层，高数强化第二章也开了头；CS336 则终于摆脱了上周
每周复盘
未读
每周复盘06 2026.07.06——2026.07.12
一、本周概览 坦白说，这是一个摆烂周。真正有效的学习基本只集中在周一（7.06）：数学错题全回顾（还惊喜地发现一小时就搞定，说明不必为进度焦虑），408 笔记继续推进。之后整周被作息崩坏拖着走——同事聚会、补觉、周五休息、周末通宵看比赛，精力一路走低。唯一撑住场面的是算法题：贪心刷完、单调栈也搞定，
每周复盘
未读
每周复盘05 2026.06.29——2026.07.05
一、本周概览 本周是明显的高产周，且冷热分布和上周正好互换。数学彻底起势：强化书第一章做完并进入严选题，投入大、细节记录密，是本周最大主线。算法题连续几周的空欠也一举补上——回溯章节刷完、贪心刷得飞快，手感完全找回。408 笔记稳步推进，6.29 和 7.05 两次“突飞猛进”。相对弱的是 CS33
每周复盘
未读
每周复盘04 2026.06.22——2026.06.28
一、本周概览 本周两条线冷热分明。CS336这条线是亮点：笔记彻底收尾、课后论述题啃下来、实验也终于跑通并跑完，上周定下的“实验推进”目标圆满闭环，收获感很强。考研这条线则比较曲折——周四数学高数火热开篇，但周中被感冒、肠胃不适拖累，6.26、6.27两天又陷进捣鼓 Google Play基本废掉，
