Proxmox VE の GPU パススルーを色々試しています。以下のページにまとめました。
GeForce の外付け GPU であれば、Proxmox 上の GUI だけで簡単に設定できることがわかりました。
AMD CPU はもともと設定不要ですし、Intel CPU でも Proxmox VE 8.2 から intel_iommu=on がデフォルトで有効化されており grub 上のカーネルオプションの設定が不要になっています。
実際に Ryzen 9 3950X + X570 にビデオカードを最大 4枚繋いでパススルーを行うことができました。
2枚はマザー上の x16 スロットに直接、もう一つは PCIe x1 からライザーケーブル経由、最後は M.2 スロットから OCulink で DEG1 に外部 GPU として接続しています。
それぞれ異なる VM に割り当ててもいいですし、全部同じ VM で使うこともできます。
例えば VRAM 8GB のビデオカードでも、3台集めれば 27b の LLM モデルを GPU で走らせることができます。GeForce RTX 2070 Super + GeForce GTX 1080 + GeForce GTX 1070 はいずれも VRAM 8GB ですが、3台使うことで ollama 上の Gemma2:27b が 13 token/s ほどになりました。CPU のみだと 1.5 token/s くらいです。
試した GPU は以下の通りです。動かなかったのは今のところ RADEON RX Vega 56 のみです。詳しくはまとめたページの方をご覧ください。
- GeForce RTX 4060 Ti
- GeForce RTX 2070 Super
- GeForce GTX 1080
- GeForce GTX 1070
- GeForce GTX 970
- GeForce GTX 960
- RADEON RX 6400
- RADEON RX 480