LLM - Software 2.0 (Page 2) - 汇智网

Tagged

LLM

A collection of 108 posts

使用AI友好的文档优化LLM响应

使用AI友好的文档优化LLM响应

你是否曾经在大型语言模型完全误解你的编码问题时感到沮丧？我们都有过这样的经历。事实是，LLMs就像我们的开发同事一样——它们的帮助质量很大程度上取决于我们提供的上下文。

用AI分析家庭视频

我想给家庭视频添加标签，以便更方便地搜索。当时没有一个很好的模型可以从视频中生成描述性文本，所以我搭建了一个LLM管道，将图像作为输入来生成视频的摘要。我希望使用完全本地化的解决方案，这样就不需要将个人视频发送到云提供商，并且因为视频通常比较大，而且不是总能获得高带宽互联网连接。这就是我最终搭建的内容——https://github.com/byjlw/video-analyzer/ 它的工作原理是使用whisper转录音频，使用OpenCV选择有趣的/不同的帧，然后使用LLM描述每个帧中的信息。最后，它将所有帧的描述输入以总结整个视频。有关设计和工作原理的更多详细信息，请参阅存储库中的DESIGN.md 1、要求要使用它，你需要： Python 3.10–3.12FFMPEG - 安装说明在底部如果你希望完全在本地运行，还需要安装Ollama。如果你的电脑不够强大，无法在本地运行LLM，你可以使用OpenAI的API，openrouter.ai或几乎任何主要的LLM服务。我倾向于使用openrouter，因为它是一个一站式服务，涵盖了几乎所有模型。 2、分析视频要开始，请打开计算机上的终端我喜欢在使用Python时使用虚拟环境以避免包冲突在Mac或Linux上输入： python -m

2025年，还需要学习编程吗？

2025年，还需要学习编程吗？

这将是一个敏感、微妙且复杂的话题：2025年你还应该学习编程吗？

我如何利用LLM辅助编写代码

如果有人告诉你用LLMs写代码很容易，那他们可能无意中误导了你。他们可能已经偶然找到了一些有效的模式，但这些模式并不自然适用于所有人。

文本生成UML

本文是关于如何利用ChatGPT和PlantUML将文本转换为UML图的分步指南。

LLM代码生成中的幻觉问题

我经常看到开发人员尝试使用LLM编写代码时遇到幻觉——通常是LLM发明了一个不存在的方法，甚至是一个完整的软件库——这让他们对LLM作为编写代码工具的信心崩溃。

PROMPT ENGINEERING

提示工程：从思维链到草稿链

草稿链（Chain of Draft）是一种旨在简化推理而不牺牲准确性的提示技术。可以将其视为更详细的思维链（CoT）方法的“言简意赅”版本。

LLM原生应用开发指南

在过去两年中，我帮助组织利用LLMs构建创新应用。通过这些经验，我开发了一套经过实战检验的方法来创建创新解决方案，并在本文中分享。

Andrej Karpathy：LLM使用指南

Andrej Karpathy：LLM使用指南

AI科学家Andrej Karpathy更多地讨论了LLM的实际应用，而没有深入技术细节。最适合非数据科学家。

6个最好用的LLM应用开发框架

6个最好用的LLM应用开发框架

在开发LLM应用和MAS时，我们需要验证LLM输出，监控我们的代理，并与各种工具和服务集成。本文将分享一些用于构建这类应用的有用工具和库。

金融分析多智能体系统

当我们构建QuantJourney时——这是为零售投资者和量化分析师提供的最全面框架时，我们相信投资者需要上下文感知的基于GPT的可适应系统，而不仅仅是提供原始数据。

AI驱动的投资平台

当我更深入地进入投资世界时，我发现了一个改变游戏规则的东西：像Gemini和ChatGPT这样的AI工具。突然间，我可以比以往任何时候都更高效地进行深入的定性和定量研究。

LLM驱动的新闻分类和趋势检测

LLM驱动的新闻分类和趋势检测

为了在这个高度竞争的环境中不仅保持竞争力，而且找到新的竞争优势机会，公司强烈激励尽早发现相关的新兴主题和趋势，以制定适当的未来应对策略。

VPTQ低位LLM量化算法

在 MMLU 等任务上，使用 VPTQ 的 2 位量化几乎实现了与原始 16 位模型相当的性能。此外，它能够在单个 GPU 上运行 Llama 3.1 405B，同时使用的内存比 70B 模型少！

LLM温度参数简明教程

如果你过去曾与 AI 助手或 LLM（大型语言模型）互动过，可能已经注意到一个名为温度 ( temperature)的参数。

从零实现2B参数LLM

我们将使用 Pile 数据集从头开始训练一个 20 亿参数的 LLM。结果，我们得到了一个 LLM，它在响应中输出完美的语法和标点符号，较短的上下文有意义，但不是整个响应。

LLM增强的Web抓取

在网络抓取过程中，通过集成 LLMs 可以在很大程度上优化流程。我们需要从网页获取 HTML 代码，并将其馈送到 LLM，LLM 从中提取出它所指的对象。

AI代理的架构、工具与实现

代理是扩展LLM能力的程序，使其能够观察、推理并自主行动，使用各种工具完成任务。在本文中，我们将探讨AI代理的世界，涵盖其架构、核心组件以及在实际应用中的实现。

基于LLM的IoT项目实践

几年前，我曾想过，“我可以使用 Alexa 来管理物理设备吗？”我创建了一个简单的演示项目，向我的业余无线电朋友展示。

打造智能家居的AI代理

近十年来，我一直在研究智能家居 API。我购买了许多系统，构建了多个版本的集成 API、移动应用程序和聊天机器人，但它们从未完全实现真正的目标——像钢铁侠系列中的 JARVIS 一样的真正的AI驱动的家。

LLM微调综合指南

训练和微调模型是一项昂贵的苦差事，如果可以的话，你真的应该避免它，把省下的钱花在去阿鲁巴岛或任何你喜欢的度假胜地的旅行上。

大模型训练/微调硬件指南

在本综合指南中，我们深入研究了训练和微调 LLM 所需的基本硬件设置，从普通的 7B/8B 模型到尖端的 70B 模型，以帮助你实现 AI 抱负。

PaliGemma2微调优化图像理解

PaliGemma2微调优化图像理解

通过使用自定义数据集（例如知名的 VQA）对 PalliGema2 进行微调，可以在高度特定的任务上实现最先进的性能，以连续且可扩展的方式弥合文本和视觉理解之间的差距。

AI驱动的Web抓取和数据分析

AI驱动的Web抓取和数据分析

在本指南中，我们将学习如何将网页抓取与人工智能相结合，以构建一个强大的工具，用于免费大规模收集和分析数据。让我们开始吧！

Stagehand：Web自动化AI框架

Stagehand：Web自动化AI框架

Stagehand 是 Playwright 的 AI 继任者，提供三个简单的 API（act、extract 和 observer），为自然语言驱动的 Web 自动化提供构建模块。