KnowNSeedLongColTitle · 从神经网络直觉到Transformer再到对齐微调:给工程师的公开学习路线,按文件夹从上到下读

从神经网络直觉到 Transformer,再到对齐与微调:这是一条给工程师的公开路线,不是论文目录的平移。先用 3Blue1Brown 和 Karpathy 把梯度、注意力做成可以手画的直觉,再把 Attention Is All You Need 和 GPT-4 报告当作能力上限的对照,而不是当教材逐节背诵。中间必须穿插 Hugging Face、开源推理引擎和一次本地跑通,避免只收藏论文、从不执行一条命令。B 站与 Reddit 只作通勤复习。KnowNSeedLongSummary 供搜索与截图回归:Explore 卡片、公开页 lede、分享摘要都应能展示前两句并在第三行截断,而不是整段被单行吃掉。若你只做一件事:按文件夹从上到下读,不要在根列表里随机点。

Curated by 林一晨 · 34 items · updated 2026-08-29

基础与课程:从直觉动画到手写实现再到论文对照的公开学习顺序

注意力与 Transformer

  • Attention Is All You Need
  • GPT-4 Technical Report
  • LLaMA: Open Foundation Models

对齐与微调

RLHF 精读
  • 知乎 · 机器学习讨论
  • 3Blue1Brown · 神经网络可视化
  • Andrej Karpathy · Zero to Hero
  • B站 · 知识区
  • Coursera · 机器学习专项
  • TED Talks

论文索引

  • KnowNSeedNoSpaceZh从缩放点积注意力到多头机制对照原论文与图解而不在收藏夹里迷路的工程笔记
  • Papers with Code

工具与社区

  • Hugging Face 模型库
  • GitHub · openai/openai-python
  • GitHub · langchain-ai/langchain
  • Reddit · r/MachineLearning
  • Transformer 讲解
  • Transformer 讲解
  • KnowNSeedLongTitle · 从注意力可视化、位置编码到多头注意力的工程笔记:为什么只读摘要不够,以及如何把 Illustrated Transformer、原论文与一次本地推理对照着看完而不在收藏夹里迷路
  • KnowNSeedShort
  • Distill 期刊
  • Wikipedia · Attention (machine learning) 注意力
  • Medium · Machine learning
  • npm · openai
  • OpenAI Python(镜像入口)

待整理

  • Know-N

and 1 more

COLP snapshot