CS336
未读
CS336 任务一 实验
一、学习率 #!/bin/bash
# --- 1. 定义要跑试的学习率列表 ---
LR_LIST=(1e-4 3e-4 6e-4 1e-3 3e-3 6e-3 1e-2 3e-2)
# --- 2. 固定参数配置 ---
MAX_ITERS=7000
WARMUP_ITERS=700
MAX_
CS336
未读
CS336 任务一 问答题
一、理解 Unicode 题目 (a) chr(0) 返回的是什么 Unicode 字符？ (b) 这个字符的字符串表示（__repr__()）与它的打印表示有什么区别？ (c) 当这个字符出现在文本中时会发生什么？可以在 Python 解释器中尝试以下代码，看看是否符合你的预期： >>> chr(
CS336
未读
Transformer核心架构
1. 总览 Transformer 模型基于 多头自注意力 和 前馈网络 堆叠而成。常用结构有编码器+解码器(Encoder+Decoder)，只编码器(Encoder-only)，只解码器(Decoder-only)。目前市面上性能最强的大模型基本都采用的是Decoder-only： 任务统一：只
CS336
未读
BPE编码器原理与实现
01.BPE原理 1.1 一句话说明 BPE 就是不断地把出现频率最高的相邻字节对h合并成一个新 token，直到词表达到目标大小。 1.2 为什么要做BPE BPE缩短了序列长度： 单个 token 的计算开销与它包含的字节数无关（1 字节 token 和 10 字节 token，进入模型后都是相
Hello-agents
未读
基于Coze的每日AI日报
本文章用于记录本人在学习hello-agents时发现Coze平台教程比较简略且插件有点过时了，之后修改跑通全流程的过程 初次写文，排版比较随意 前期准备 点击左侧边栏扣子编程
