HARDWARE
本地部署大模型 电脑配置:从预算到选型
在严格的 1,525 美元预算内,使用双 Ampere 12GB 显卡、优化的 PCIe 通道拓扑和张量并行来服务现代模型。
HARDWARE
在严格的 1,525 美元预算内,使用双 Ampere 12GB 显卡、优化的 PCIe 通道拓扑和张量并行来服务现代模型。
AI
在 Mac 上本地且私密地使用 LLM——你可能错过的那些事。
AI
在AI爱好者的桌面上正悄然发生一场战争。一边,Mac Mini M4光滑静默,承诺轻松实现本地AI,带着苹果著名的"开箱即用"体验。另一边,越来越多的AMD驱动迷你PC挥舞着64GB和128GB内存的战旗,敢于运行苹果用户想都不敢想的模型。
AI
本指南适用于所有人——从拥有旧笔记本电脑的人到正在构建专业本地AI工作站的人。设置方式不同。但这样做的原因大多是相同的。
AI
让我告诉你一件事:本地AI不再是奢侈品,而是生存策略。 读完这篇文章,你就会确切知道该组装什么样的机器,而不会超出预算或让你抓狂。
AI
最近在印度举办的一次 AI 影响峰会明确了一个长期以来悬而未决的想法:本地 GPU 和硬件加速器在现代 AI 时代的至关重要性和经常被忽视的重要性。
AI
人工智能正在离开云端,进入你的房间
AI
数十年来,我们将智能视为软件。一种你加载到硬件中、运行、更新、修补、替换的东西。塔拉斯 (Taalas) 架构提出了一个根本不同的想法。智能可以被制造到硬件本身中。
AI
游戏 GPU 和 AI GPU 并不相同,即使它们共享相同的品牌名称。差异不仅仅是营销。
APPLICATION
上周末,我有机会测试了多个GPU,包括最先进的Nvidia H100、RTX 5090、RTX 4090等。本文将总结它们在推理和微调任务上的性能。