> For the complete documentation index, see [llms.txt](https://submodel.gitbook.io/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://submodel.gitbook.io/docs/jian-ti-zhong-wen/pod/choose-a-pod.md).

# 选择 Pod

在规划 SubModel 部署时,选择最合适的 Pod 配置至关重要。VRAM、RAM、vCPU 以及存储(包括临时存储和持久化存储)的选择,会对项目的性能和效率产生重大影响。

本页介绍如何选择合适的 Pod 配置。这些只是通用建议,因此在做选择时务必结合你的具体需求来考量。

## 概述

理解你的模型的具体需求是关键。你通常可以在 Hugging Face 等平台的模型卡描述中,或者在模型的 `config.json` 文件里找到详细信息。

也有一些工具可以帮你评估和计算模型的具体需求,例如:

* [Hugging Face 的模型显存占用计算器(Model Memory Usage Calculator)](https://huggingface.co/spaces/hf-accelerate/model-memory-usage)
* [Vokturz 的 Can It Run LLM 计算器](https://huggingface.co/spaces/Vokturz/can-it-run-llm)
* [Alexander Smirnov 的 VRAM 估算器(VRAM Estimator)](https://vram.asmirnov.xyz)

使用这些工具能帮你更清楚地了解在挑选 Pod 时应该关注什么。

进入 Pod 选择环节时,请重点关注以下关键因素:

* **GPU**
* **VRAM**
* **磁盘大小**

这些要素中的每一个都在部署的性能和效率中起着关键作用。通过在初步调研中确定的项目具体需求的基础上,认真权衡这些因素,你就能选出最合适的 Pod 配置。

## GPU

GPU 的类型和性能对项目的处理能力至关重要,尤其是在涉及图形处理和机器学习的任务中。

### 重要性

Pod 中的 GPU 对处理复杂算法至关重要,尤其是数据科学、视频处理和机器学习等任务。更强的 GPU 可以显著加速计算,并支持更复杂的任务。

### 选择标准

* **任务需求**:考量项目中 GPU 任务的强度和性质。
* **兼容性**:确保 GPU 与你选用的软件和框架兼容。
* **能效**:考虑 GPU 的功耗,尤其是对于长期部署的场景。

## VRAM

VRAM(显存)对需要大量图形处理和渲染的任务尤为重要。它是 GPU 用来存储显示图像数据的专用内存。

### 重要性

VRAM 对密集型任务至关重要,它充当 GPU 的内存,支持快速的数据存储和访问。处理更大的纹理和更复杂的图形需要更多 VRAM,这对于高分辨率显示和高级 3D 渲染尤为重要。

### 选择标准

* **图形需求**:3D 渲染、游戏,或使用大数据集训练 AI 模型等图形密集型任务需要更多 VRAM。
* **并行处理需求**:需要同时处理多路数据流的任务能从更多 VRAM 中获益。
* **面向未来**:选择更多 VRAM 有助于让你的配置更能适应未来需求。

## 存储

合理的存储(包括临时和持久化两种)对于运行顺畅和有效的数据管理至关重要。

### 重要性

磁盘空间(无论临时还是持久化)对数据存储、缓存,以及确保项目有足够空间平稳运行都很重要。

### 选择标准

* **数据量**:估算项目将产生和处理的数据量。
* **速度要求**:更快的磁盘速度可以提升整体系统性能。
* **数据保留**:根据你的数据保留策略,在临时(易失性)存储和持久化(非易失性)存储之间做好权衡。