TouchDesigner 本地AI视觉编程

AI模型价格对比 | AI工具导航 | ONNX模型库 | Vibe Coding教程 | Tripo 3D | Meshy AI | ElevenLabs | KlingAI | ArtSpace | Phot.AI | InVideo

我之前每个月在API费用上要花180美元。内容管道、自动化、为客户生成视觉效果。每个提示都要花钱。每个请求都要发送到别人的服务器。我移交的每个项目里都嵌入了我的API密钥。

后来我在TikTok上看到一个人用 bare hands（裸手）控制一个3D点云树。没有插件。没有订阅。只是用TouchDesigner在他笔记本电脑上运行一个免费的本地AI模型。

我到周日就搭好了同样的设置。下面是全部内容。

1、这到底是什么

TouchDesigner 是一个基于节点的视觉编程工具，被全世界的VJ、装置艺术家和现场表演者广泛使用。它能处理实时生成图形、手部跟踪、粒子系统、音频响应视觉效果以及相机特效。

单独使用它已经非常强大了。搭配本地AI模型后，它就完全变成了另一种东西。AI负责逻辑和决策，TouchDesigner负责屏幕上你看到的内容。

The stack:
Local AI:       Ollama running Llama 3.2 or Mistral 7B
Interface:      TouchDesigner (free non-commercial license)
Hardware:       Any laptop or PC with 8GB+ RAM
Monthly cost:   $0 to $2 electricity
API cost:       $0

它可以在任何机器上运行。MacBook、Windows笔记本、旧台式机。如果你有8GB RAM，今天就可以运行这个。

2、算笔账

What most people pay:
┌──────────────────────────────────┬───────────────┐
│ Service                          │ Monthly       │
├──────────────────────────────────┼───────────────┤
│ OpenAI API (moderate use)        │ $50-180/month │
│ TouchDesigner commercial license │ $60/month     │
│ Cloud GPU for rendering          │ $40-100/month │
├──────────────────────────────────┼───────────────┤
│ Total                            │ $150-340/month│
└──────────────────────────────────┴───────────────┘

This setup:
┌──────────────────────────────────┬───────────────┐
│ Cost                             │ Amount        │
├──────────────────────────────────┼───────────────┤
│ Ollama + models                  │ $0            │
│ TouchDesigner non-commercial     │ $0            │
│ Your existing laptop             │ $0            │
│ Electricity if you leave it on   │ ~$2/month     │
├──────────────────────────────────┼───────────────┤
│ Total monthly                    │ $0-2/month    │
└──────────────────────────────────┴───────────────┘

第一个月之后，你每个月可以省下148到338美元。

3、用3条命令设置Ollama

# Install Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Pull a model
ollama pull mistral

# Start the server
ollama serve
# Now running at http://localhost:11434

在任何现有代码中改一行：

# Before — paying per request:
client = OpenAI(api_key="sk-...")

# After — free, local, private:
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"
)

其他什么都不用变。没有任何东西离开你的机器。

4、将它连接到TouchDesigner

# In a TouchDesigner Script DAT:
import requests

def ask_ai(prompt):
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": "mistral",
            "prompt": prompt,
            "stream": False
        }
    )
    return response.json()["response"]

# AI controls particles based on live audio
audio_level = op("audioAnalysis")["rms"][0]

prompt = f"Audio RMS is {audio_level}. Return only a float 0.0 to 1.0 for particle turbulence."
turbulence = float(ask_ai(prompt))

op("particles")["turbulence"] = turbulence

你的视觉效果现在可以实时响应AI的决策。你不再编写规则，而是开始描述行为。

5、你实际能构建什么

带AI逻辑的手部跟踪：MediaPipe在TouchDesigner内部跟踪你的手。AI读取坐标并决定触发哪个视觉状态。没有硬编码的if/else规则。

音频响应视觉效果：音频分析每帧输入Ollama。AI返回参数。TouchDesigner渲染。在普通笔记本上整个循环低于50ms。

客户装置：没有会过期的API密钥。没有会在表演中途失效的订阅。你把笔记本交给他们，它就能永远运行。

现场表演：AI根据任何输入生成色板、粒子行为、场景过渡——人群音频、MIDI、麦克风、相机。全离线。全实时。

6、该用哪些模型

┌───────────────┬──────────┬───────────┬────────────────────────────┐
│ Model         │ Size     │ Speed     │ Best for                   │
├───────────────┼──────────┼───────────┼────────────────────────────┤
│ Llama 3.2     │ 3B       │ Very fast │ Real-time parameter calls  │
│ Mistral 7B    │ 7B       │ Fast      │ Creative logic and prompts │
│ DeepSeek R1   │ 1.5B     │ Fastest   │ Simple numeric decisions   │
│ Gemma 2       │ 9B       │ Decent    │ Complex scene descriptions │
└───────────────┴──────────┴───────────┴────────────────────────────┘

用于实时视觉工作：Llama 3.2 3B 或 DeepSeek R1 1.5B。速度足够快，你不会注意到延迟。对于90%的实时用例来说也足够聪明。

7、诚实的限制

表现良好：参数生成、视觉逻辑、颜色决策、音频响应行为、patch内的任何结构化重复任务。

挣扎的地方：复杂的多步推理、非常大的上下文、任何需要实时互联网数据的东西。

对于难的东西，保留一个20美元的ChatGPT订阅即可。总月费：22美元，而不是300美元。

8、完整技术栈

AI RUNTIME:    Ollama — free, open source
               ollama.com

MODELS:        Mistral 7B, Llama 3.2, DeepSeek R1
               All free at ollama.com/library

VISUALS:       TouchDesigner — free non-commercial
               derivative.ca/download

CONNECTION:    Python Script DAT, HTTP to localhost:11434

HARDWARE:      Any PC or Mac with 8GB+ RAM

PRIVACY:       Nothing leaves your machine. Ever.

TouchDesigner 多年来非商业使用一直是免费的。Ollama 自2023年以来就是开源的。

大多数做AI视觉工作的人每个月要付150+美元给那些会在表演中途宕机、把每个提示发到第三方服务器、并且在最糟糕时刻限流的工具。

你的笔记本电脑。0美元/月。一个可以永远运行的视觉工作室。

原文链接：I Stopped Paying $300/Month for AI Visuals. Here's the $2 Setup That Replaced Everything.

汇智网翻译整理，转载请标明出处