> ## Content Index
> Fetch the complete content index at: https://www.hubwiz.com/blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# 在Cloud Run上部署Gemma 3
- URL: https://www.hubwiz.com/blog/deploy-ollama-on-cloud-run-with-ollama/
- Published: 2025-03-15T15:36:08.000Z
- Updated: 2025-03-15T15:36:08.000Z
- Description: 本指南将展示如何在Google Cloud Run上运行带有Gemma3模型的Ollama，利用GPU加速实现闪电般的推理速度
- Author: admin
- Tags: APPLICATION, CLOUD RUN, OLLAMA, #Import 2026-10-14 14:41

想要快速高效地部署强大的开源语言模型吗？本指南将展示如何在Google Cloud Run上运行带有Gemma3模型的Ollama，利用GPU加速实现闪电般的推理速度。我们将实现在不到20秒的时间内完成部署，并探索相关的成本问题，同时对Gemma3的性能进行基准测试。这是一份注重速度和易用性的实用指南。

![](https://www.hubwiz.com/blog/content/images/2025/03/image-332.png)

ollama 0.6.0版本也原生支持Gemma3模型

Gemma3是Google令人兴奋的一系列开源权重生成式人工智能模型家族，为文本和多模态应用提供了令人印象深刻的能力。其主要特点包括：

- 多模态输入：能够处理图像和文本。
- 大上下文窗口：支持128K个标记，以提供更丰富、更有上下文意识的响应。
- 支持多种语言：超过140种语言。
- 不同大小的模型：提供1B、4B、12B和27B参数大小的模型，以适应不同的资源限制。
- 开源权重与[商业用途](https://ai.google.dev/gemma/terms?ref=hubwiz.com)：免费提供，并允许负责任的商业应用。

## 1、为什么选择Cloud Run？

Cloud Run是一个完全托管的无服务器平台，允许您在Google Cloud上运行无状态容器。它是部署Ollama的理想选择，原因如下：

- 快速部署：几秒钟内即可让您的模型上线。
- 自动扩展：轻松应对流量高峰。
- 按秒计费。
- GPU支持：通过强大的GPU加速推理。

## 2、在Cloud Run上使用GPU部署Ollama

开头的截图展示了Ollama在不到二十秒内运行的情况，但那里的Cloud Run命令有些局限性。为了更稳健的部署，我们将执行以下操作：

```
gcloud beta run deploy ollama-ftw \  
  --image ollama/ollama:0.6.0 \  
  --gpu 1 \  
  --gpu-type nvidia-l4 \  
  --set-env-vars OLLAMA_KEEP_ALIVE=-1 \  
  --cpu 4 \  
  --memory 16Gi \  
  --concurrency 4 \  
  --max-instances 2 \  
  --set-env-vars OLLAMA_NUM_PARALLEL=4 \  
  --port 8080 \  
  --allow-unauthenticated \  
  --set-env-vars OLLAMA_HOST=0.0.0.0:8080 \  
  --add-volume name=models,type=cloud-storage,bucket=<MODEL BUCKET NAME> \  
  --add-volume-mount volume=models,mount-path=/root/.ollama \  
  --set-env-vars OLLAMA_MODELS=/root/.ollama/models \  
  --timeout 3600 \  
  --region us-central1

```

注意以下重要的标志在这个命令中：

- `--image ollama/ollama:0.6.0` Cloud Run使用的容器镜像。
- `--gpu 1 --gpu-type nvidia-l4` 暴露给Cloud Run服务的GPU数量和类型。
- `--set-env-vars OLLAMA_KEEP_ALIVE=-1` 将模型无限期加载到vRAM中。[这可以加快多次请求LLM时的响应时间。](https://github.com/ollama/ollama/blob/main/docs/faq.md?ref=hubwiz.com#how-do-i-keep-a-model-loaded-in-memory-or-make-it-unload-immediately)
- `--cpu 4 --memory 16Gi` Cloud Run服务的CPU和内存资源，[使用GPU时这是最低要求](https://cloud.google.com/run/docs/configuring/services/gpu?ref=hubwiz.com#:~:text=Configure%20a%20minimum,32%20GiB%20recommended.)（请注意分别推荐值为8和32Gi）。
- `--concurrency 4 --set-env-vars OLLAMA_NUM_PARALLEL=4` [定义每个实例的最大并发请求数](https://cloud.google.com/run/docs/about-concurrency?ref=hubwiz.com)。Cloud Run服务和Ollama配置需要匹配这里。
- `--max-instances 2` 最大实例数，当扩展时。
- `--port 8080 set-env-vars --OLLAMA_HOST=0.0.0.0:8080` 定义Ollama容器绑定的端口。
- `--allow-unauthenticated` 虽然不推荐，但这是一种快速将推理引擎暴露到互联网的方法。
- `--add-volume name=models,type=cloud-storage,bucket=<MODEL BUCKET NAME> --add-volume-mount volume=models,mount-path=/root/.ollama set-env-vars OLLAMA_MODELS=/root/.ollama/models` 使用GCS Fuse集成在Cloud Run中并持久化存储模型的选项。确保使用与Cloud Run服务在同一区域可用的存储桶。
- `--timeout 3600` 确保长时间响应（以及模型加载时间）不会成为问题，[从默认的300秒延长](https://cloud.google.com/run/docs/configuring/request-timeout?ref=hubwiz.com)。
- `--region us-central1` 我们希望运行Cloud Run服务的区域，具体来说，在撰写本文时，[只有四个区域可用](https://cloud.google.com/run/docs/configuring/services/gpu?ref=hubwiz.com): us-central1（爱荷华州）、asia-southeast1（新加坡）、europe-west1（比利时）和europe-west4（荷兰）。

Google还发布了一篇关于在Cloud Run上使用Gemma 3部署无服务器AI的官方论文。

> 重要注意事项：GCSFuse和内存限制

虽然上述设置速度快，但在使用GCSFuse处理大型模型时可能存在潜在问题。GCSFuse在将整个文件写入Cloud Storage之前会使用内存缓存。这可能导致在拉取像Gemma3 27B这样的大型模型时出现“设备上没有空间”错误，实际上是内存不足的问题。

```
{"error":"open /root/.ollama/blobs/sha256-123-partial-6: no space left on device"}

```

对于较大的模型（经验法则：任何大于容器总内存50%的模型），建议使用Filestore，并结合Direct VPC egress，以提高网络性能。

```
  --add-volume=name=models,type=nfs,location=<Filestore-IP>:/models \  
  --add-volume-mount volume=models,mount-path=/root/.ollama \  
  --subnet us-central1 \  
  --vpc-egress=all

```

## 3、Cloud Run GPU定价

让我们来谈谈钱。us-central1区域中的Cloud Run服务，配备NVIDIA L4 GPU、4个vCPU和16GB内存的成本大约为：

- 每秒：$0.00029
- 每分钟：$0.017
- 每小时：$1.046
- 每月（730小时）：$763.95

## 4、Gemma3在Cloud Run GPU上的性能🚀

![](https://www.hubwiz.com/blog/content/images/2025/03/image-333.png)

由于内存限制，无法运行完整的Gemma3 27B模型。[即使在4位量化的情况下，我们仍然需要大约21GB的内存](https://ai.google.dev/gemma/docs/core?ref=hubwiz.com#sizes)。

```
time=2025-03-12T23:38:09.586Z level=INFO source=types.go:130 msg="inference compute" id=GPU-a7d5c53f-acd7-98c4-f088-29799fb0748d 库=cuda 变体=v12 计算=8.9 驱动程序=12.2 名称="NVIDIA L4" 总计="22.2 GiB" 可用="22.0 GiB"

```

使用[12B参数模型，Q4\_K\_M量化](https://ollama.com/library/gemma3:12b?ref=hubwiz.com)（一种将模型权重压缩到每参数4位的技术以减少内存使用并提高速度），在上述配置下，使用[Ollama 0.6.0](https://github.com/ollama/ollama/releases/tag/v0.6.0?ref=hubwiz.com)，我们在回答学术问题“为什么天空是蓝色的？”时达到了平均每秒25.23个token的速度。这相当于每个token的成本约为$0.0000115。老实说，还不错。*我计划探索vLLM，看看是否可以进一步提高推理速度并降低成本。*

## 5、其他Cloud Run的好处

除了速度之外，Cloud Run还提供了内置的指标和日志记录功能，便于监控和调试。您可以直接从Cloud控制台跟踪CPU利用率、内存使用情况、请求延迟和错误率。

![](https://www.hubwiz.com/blog/content/images/2025/03/image-334.png)

## 6、结束语

总之，这项工作突显了Cloud Run作为不仅仅是一个部署平台的变革潜力；它是一个加速开放源代码AI普及的推动者。能够在不到20秒的时间内启动带有GPU加速的Ollama不仅是一个速度基准；它是AI开发范式的转变。想象一下可能的应用场景：能够快速部署具有细腻多语言理解能力的Gemma3驱动的聊天机器人，实时分析图像和文本的快速原型多模态应用程序，或者能够根据需求以无服务器效率扩展的AI驱动服务。

Gemma3的开源特性，加上Cloud Run的可访问性，使开发人员能够构建创新且负责任的AI解决方案，摆脱专有生态系统带来的限制。这种组合开启了这样一个未来：复杂的AI不再是大型公司的专属领域，而是同样易于初创公司、研究人员和个人开发者的获取。

虽然对内存管理的考虑，尤其是对于最大的Gemma3模型，仍然很重要，但这也推动了优化技术和模型选择的创新。这不是障碍，而是一个探索高效量化、模型蒸馏以及战略性使用Gemma3的不同大小以满足特定应用需求的邀请。

最终，我们展示的速度和简便性不仅仅是技术优势；它们是创新的催化剂，邀请您探索在无服务器云与开源AI模型（如Gemma3）交叉点上等待的巨大而令人兴奋的潜力。

---

原文链接：[Ollama on Cloud Run with GPU in less than 20 seconds!](https://medium.com/google-cloud/ollama-on-cloud-run-with-gpu-in-less-than-20-seconds-d324abe33d80?ref=hubwiz.com)

汇智网翻译整理，转载请标明出处