以前 ROCm 非対応の Radeon RX 6400 でも、環境変数の設定だけで ROCm 版の ollama を走らせることができました。同じ方法で APU の内蔵 GPU でもローカル LLM を実行できるので実際に試してみました。
今回使用した CPU 内蔵 GPU は以下の 2つです。いずれも DDR5-5600 を使用しています。
| CPU (APU) | 内蔵 GPU | アーキテクチャ | CU | sp | fp32 FLOPS |
|---|---|---|---|---|---|
| Ryzen 7 9700X | Radeon 610M | RDNA2 gfx1037 | 2 CU | 128 sp | 486.4 GFLOPS |
| Ryzen 7 7840HS | Radeon 780M | RDNA3 gfx1103 | 12 CU | 768 sp | 8294.4 GFLOPS |
インストール方法など
事前に UEFI (BIOS) 設定で、内蔵 GPU のフレームバッファの割当をできるだけ増やしておいてください。今回は Ryzen 7 9700X では 16GB、Ryzen 7 7840HS では 8GB に設定しています。
- OS は Linux を直接インストールしています
- Ubuntu 24.04LTS (Desktop 版最小構成)
- ollama をインストールします
- 公式手順どおりです
curl -fsSL https://ollama.com/install.sh | sh
- ollama の起動設定ファイルを開きます
sudo systemctl edit ollama.service
- エディタが起動したら 3行目からの空行に以下の 2行を挿入します
- Ryzen 7 9700X (RDNA2) の場合
[Service]
Environment="HSA_OVERRIDE_GFX_VERSION=10.3.0"
- Ryzen 7 7840HS (RDNA3) の場合
[Service]
Environment="HSA_OVERRIDE_GFX_VERSION=11.0.2"
- Ryzen 7 9700X (RDNA2) の場合
- 保存して終了したら以下のコマンドを実行します
sudo systemctl daemon-reloadsudo systemctl restart ollama
実行方法
- コマンドラインから直接モデル名を指定して実行します
ollama run gemma2:9b
- あとは質問などをコンソールから入力できます
もし詳細 (token/s など) を表示させたい場合は質問の前に「/set verbose [ENTER]」を入力しておきます。終了は Ctrl-D です。
実行中に別のターミナルを開いて、コマンドラインから ollama ps を実行することで GPU への割当状況を確認することができます。100% GPU になっていれば OK です。
oga@ub24llm:~$ ollama ps
NAME ID SIZE PROCESSOR UNTIL
gemma2:9b ff02c3702f32 9.4 GB 100% GPU 4 minutes from now実行結果
実際に試した結果は以下のとおりです。CPU のみの場合と比べています。
9b model (gemma2:9b) の場合
| CPU | GPU | GPU割合 | 使用メモリ | token/s |
|---|---|---|---|---|
| Ryzen 7 9700X | なし | 0% | 7.7 GB | 8.71 tps |
| Ryzen 7 9700X | Radeon 610M | 100% | 7.3 GB | 5.88 tps |
| Ryzen 7 7840HS | なし | 0% | 9.0 GB | 9.02 tps |
| Ryzen 7 7840HS | Radeon 780M | 100% | 7.3 GB | 12.89 tps |
Ryzen 7 9700X では GPU Radeon 610M を使用した方が速度が落ちているのは予想通りです。この GPU は 2CU 128sp しかなく CPU よりも演算性能が劣ります。Ryzen 7 9700X の Zen5 は AVX512 命令が同時に 2命令走るため 8 core でも 256sp 相当、クロック差を考慮すると CPU の方が 4倍以上演算能力が高いことになります。
逆に Ryzen 7 7840HS の場合は 768sp × 2ALU の GPU を搭載しており、GPU の方が何倍も演算能力が高いことになります。ですが LLM の場合は演算能力だけでなくメモリ速度の影響を強く受けます。APU ではメモリ帯域で頭打ちになるため、あまりパフォーマンスが変わらないのではないかと思ってましたが少々予想外でした。この結果だけ見るとGPU の方が 40% ほど速くなっています。なお NPU は未使用です。
以下他のモデルでの結果です
14b model (phi4:14b)
| CPU | GPU | GPU割合 | 使用メモリ | token/s |
|---|---|---|---|---|
| Ryzen 7 9700X | なし | 0% | 10 GB | 5.73 tps |
| Ryzen 7 9700X | Radeon 610M | 100% | 12 GB | 1.96 tps |
| Ryzen 7 7840HS | なし | 0% | 11 GB | 6.22 tps |
| Ryzen 7 7840HS | Radeon 780M | 80% | 10 GB | 6.59 tps |
14b のモデルではフレームバッファ割当 8GB の Radeon 780M では VRAM 領域にすべて載りませんでした。そのため 20% は CPU が用いられており CPU と GPU の差は小さくなっています。
他のモデルや他の GPU 利用時の結果は↓こちらのページにまとめています。Wiki なので逐次更新しています。
CPU の速度差
上の結果を見ると CPU 利用時は Ryzen 7 9700X よりも Ryzen 7 7840HS の方がパフォーマンスが高いように見えます。でも実際は演算性能は Zen5 の 9700X の方が上で、Desktop 向けなので電力＆冷却も 9700X の方が有利です。
これまでの表の結果を見ると動作時の使用メモリ容量が 7.7GB と 9.0GB で異なっているので、走っている ollama の runner が異なっている可能性があります。runnner によって使用する CPU 命令に違いがあり、最適化方法が異なっている可能性があります。また動作プラットフォームを変えると逆転することがあるため、計測環境の不一致も考えられます。どちらが速い、等の結論を出すにはまだ早いようです。
以下は異なる OS 下での ollama による違い調べたものです。token/s が大きい順に並べています。WSL2 の結果を見ると 9700X の方が速くなっています。
9b (gemma2:9b) CPUのみ
| OS | CPU | 使用メモリ | token/s |
|---|---|---|---|
| Windows11 + WSL2 | Ryzen 7 9700X | 7.7 GB | 9.46 tps |
| Linux | Ryzen 7 7840HS | 9.0 GB | 9.02 tps |
| Linux | Ryzen 7 9700X | 7.7 GB | 8.71 tps |
| Windows11 | Ryzen 7 9700X | 7.7 GB | 8.66 tps |
| Windows 11 + WSL2 | Ryzen 7 7840HS | 9.0 GB | 8.59 tps |
演算能力で大きく異なるはずの 9700X と 7840HS でも結果としてはあまり違いが生じない結果となっています。使用している RAM の速度が同一なので、メモリ帯域による限界ではないかと思われます。
まとめなど
さまざまな GPU で試した結果を見ても、やはりメモリ速度が非常に重要であることがわかります。CPU 内蔵 GPU (APU) ではメモリ帯域に制限があるため、いくら演算能力が高くても外付け GPU ほどの大幅な高速化は期待できません。それでも Ryzen 7 7840HS は GPU の方が速度が出ていますので、使えるケースでは活用していきたいところです。