LLAMA.CPP

TOOL

llama.cpp 终于有官网了

一款新应用和一个新网站，让生成式 AI 走进世界上的每一台电脑。

TOOL

Kilo Code本地代码库索引

如果你想快速、私有地搜索代码而无需发送任何字节到第三方 API，本指南展示了如何设置一个完整的本地栈：Kilo Code 作为 UI，Qdrant（Docker） 用于向量，以及通过 llama.cpp 在 OpenAI 兼容模式下提供的 nomic-embed-code。

LIBRARY

程序员AI淘金综合指南

我在 90 年代经历过互联网淘金热，在 21 世纪初经历过移动淘金热，现在，我们终于迎来了 AI 淘金热。听起来有些夸张，但事实并非如此。

MODEL-ZOO

DeepSeek-R1 671B本地运行指南

原始的 DeepSeek R1 是一个 6710 亿参数的语言模型，由 Unsloth AI 团队进行了动态量化，大小减少了 80%（从 720 GB 减少到 131 GB），同时保持了强大的性能。

MODEL-ZOO

DeepSeek 本地部署教程：4 种运行方式

如果你想在自己控制的基础设施上托管 DeepSeek 模型，我会告诉你怎么做！

APPLICATION

打造本地智能文档处理栈

本文展示了如何通过结合ExtractThinker、Ollama、Docling或MarkItDown来构建完全本地的文档智能解决方案。

MODEL-ZOO

Phi-4 GGUF快速指南

本指南将引导你完成在自己的机器上设置和使用 Phi-4 GGUF 的过程，使你能够利用其功能执行各种自然语言处理任务。

TOOL

本地运行大模型的5个工具

在本指南中，我们将重点介绍5个在大模型本地服务领域取得进展的著名项目：VLLM、LLAMA CPP Server 、SGLang、Ollama和TGI。

APPLICATION

LLM微调实现网络攻击检测

在这篇文章中，我将探讨 LLM 微调在网络安全领域预测任务中的更高级用例。具体来说，我提出了一种使用微调 LLM 进行实时网络攻击检测的机制。

MODEL-ZOO

本地运行Llama 3.3-70B的3个方法

Meta 最新的 Llama 3.3 70B 模型取得了卓越的性能指标，几乎与其更大的 405B 模型相当，同时所需的计算资源却少得多。

MODEL-ZOO

MiniCPM-V端侧多模态大模型

MiniCPM-V 是一系列高效的 MLLM，旨在在手机和个人电脑等端侧设备上运行，使其成为各种 AI 应用程序的强大工具。

APPLICATION

大模型微调改善SQL生成

在使用LLM 执行 SQL 生成任务时，通常难以生成准确的 SQL 查询，为此使用 QLoRA 在自定义数据集上微调大模型是一种有效的方法。