模块逐一讲解语言模型如何真正工作和构建（附代码）

一个从零开始的RL定价引擎，一个由心理驱动的购物者模拟群体，以及最终击败手工调整启发式引擎的训练之旅。

推测解码是机器学习中罕见的特性——在不损失输出质量的情况下实现加速。本文将介绍其工作原理，以及EAGLE-3如何将其推向极致。

在这篇博文中，我将解释ROC曲线展示了什么，AUC的含义，以及如何正确解读和使用它们。

在这篇帖子中，我将解释这项更新解决的缓存复用问题、为什么当前开源 LLM 模型让回退（rewinding）变得更困难，以及新的磁盘-backed 缓存是如何工作的。

学习如何掌握 XGBoost、CatBoost 和 LightGBM 等提升决策树模型的贝叶斯超参数优化，同时防止过拟合并提高模型泛化能力。

在不使用任何模块从零探索和构建 LLM 的过程中，我从最低但非常重要的层级开始——基于字符的分词。

令人不安的事实是，一些OCR系统看起来比实际更聪明，因为语言帮助它们填补了空白。 但当页面不再可预测时，真正的视觉阅读就变得难以伪造。

如何通过真实代码理解现代LLM的架构——从nanoGPT（300行代码，忠实还原2019年论文中的GPT-2）开始，逐步走过导致LLaMA 3的四个刻意变更。每个替换都附有技术动机、代码差异和部署运营影响。

本章涵盖多头注意力、多查询注意力、分组查询注意力和多头潜在注意力——现代LLM如何管理生成文本的内存成本的演进。

我打赌还有另一种新架构等待发现，其带来的增益将与 Transformer 相对于 LSTM 的提升一样大。

了解 JEPA（Joint Embedding Predictive Architecture），这是 Yann LeCun 提出的框架，用于在 latent space 中实现稳定的 AI 预测，无需进行生成式解码。

“AI”，更具体地说大语言模型/基础模型，是神经网络，这是一个可以追溯到 1943 的机器学习概念，当时由于二战计算挑战（如破译密码），很多基础 AI 研究浮出水面。

只需要一个 JSON 文件、一个评分系统，以及从零信任开始的纪律，你就能实现自我改进的智能体。