在不使用任何模块从零探索和构建 LLM 的过程中，我从最低但非常重要的层级开始——基于字符的分词。

令人不安的事实是，一些OCR系统看起来比实际更聪明，因为语言帮助它们填补了空白。 但当页面不再可预测时，真正的视觉阅读就变得难以伪造。

如何通过真实代码理解现代LLM的架构——从nanoGPT（300行代码，忠实还原2019年论文中的GPT-2）开始，逐步走过导致LLaMA 3的四个刻意变更。每个替换都附有技术动机、代码差异和部署运营影响。

本章涵盖多头注意力、多查询注意力、分组查询注意力和多头潜在注意力——现代LLM如何管理生成文本的内存成本的演进。

我打赌还有另一种新架构等待发现，其带来的增益将与 Transformer 相对于 LSTM 的提升一样大。

了解 JEPA（Joint Embedding Predictive Architecture），这是 Yann LeCun 提出的框架，用于在 latent space 中实现稳定的 AI 预测，无需进行生成式解码。

“AI”，更具体地说大语言模型/基础模型，是神经网络，这是一个可以追溯到 1943 的机器学习概念，当时由于二战计算挑战（如破译密码），很多基础 AI 研究浮出水面。

只需要一个 JSON 文件、一个评分系统，以及从零信任开始的纪律，你就能实现自我改进的智能体。

暴力搜索的隐藏成本，以及ANN、IVF和HNSW如何将查询时间从100秒降低到10毫秒。

通过SFT、RKD和DPO将你的专业形象提炼到小型语言模型（SLM）中。

SFT、RLHF、DPO、GRPO、LoRA、PPO、QLoRA、RLVR。这些不是独立的技术。它们是一个单一的进步序列。每个都是因为前一个碰到了瓶颈而被发明出来的。本文完整介绍这个链条，帮助你做出正确选择。

是时候探索为什么CPU和GPU在处理量化数据方面有着根本不同的特性，以及byteshape.com的研究团队如何揭露了量化世界中的一个静默丑闻：某些格式偷偷地为GPU优化，它们会悄悄地破坏你的CPU性能。