DISTILLATION

ALGORITHM

我用GPT蒸馏Llama 3.2-3B

为了节约token成本，我将蒸馏一个紧凑的 Llama 3.2–3B 模型，使其能够模仿大预言模型（GPT）的对话能力。

ALGORITHM

三步蒸馏大语言模型

蒸馏技术的原理很简单：一个大的"教师"模型回答问题；一个较小的"学生"模型从这些答案以及其背后的概率 中学习。

APPLICATION

用Deepseek-R1蒸馏自己的模型

在今天的文章中，我将介绍如何通过创建本地版本的Deepseek-R1、定制LLM，并将其无缝集成到你的Python脚本中来实现这一点。

MODEL-ZOO

DeepSeek R1架构和训练过程图解

为了让一切变得简单，我们将使用手绘流程图和简单的计算来帮助从头开始澄清DeeoSeek-R1的核心概念。

MODEL-ZOO

DeepSeek-R1的3个关键思想

大多数新的 AI 模型感觉都像是小步。DeepSeek R1 则不同。这是近期第一个让你停下来思考的模型，这可能很重要。