30b 前後の高性能な AI モデルが立て続けに登場しています。先週公開された Meta の Muse Glimmer 30b と Alibaba の Qwen3.8 27b はどちらも 30b 前後の Dense モデルです。Dense モデルは MoE と違いすべてがアクティブパラメータなので、演算負荷が非常に高くメモリ帯域も圧迫します。思考能力に優れる反面、十分な速度と性能を両立するには VRAM 容量の大きな高価な GPU が必要でした。

• https://huggingface.co/meta-models/Muse-Glimmer-30B
• https://huggingface.co/Qwen/Qwen3.8-27B

このクラスの Dense モデルは VRAM 32GB 前後が必要だと思っていたのですが、Muse Glimmer 30b は予想以上に消費メモリ量が少ないことがわかりました。その理由は KV cache サイズが非常に小さいことで、bf16 で ctx 最大の 128k でもわずか 1.7GB、q8_0 なら 0.9GB しか使いません。

Qwen3.8 27b も KV cache は小さい方ですが、それでも 128k の場合 bf16 で 8GB、q8_0 でも 4.3GB ほどあります。VRAM 16GB では ctx 128k の確保も簡単ではないことがわかるかと思います。

もともと Muse Glimmer 30b は公式でも Q4 量子化モデル K-Quant は Vision 対応や DFlash 等を全部入れても 24GB に収まると書かれていました。組み合わせのバランスをうまく取れば、ほぼそのままの精度で VRAM 16GB の範囲で使えそうです。

今回は公式の GGUF ではなくUnsloth のモデルを使わせてもらいました。例えば UD-Q4_K_XL (4bit量子化モデル) を使用した場合 KV cache デフォルトの 16bit のままでもコンテキストウィンドウサイズ 48～64k くらい確保できます。KV cache を q8_0 に量子化する場合は 80k～128k くらいまで増やせます。モデルを UD-Q3_K_XL (3bit量子化モデル) に落とせば余裕ができるので、mmproj (vision) や dflash との組み合わせも出来ます。

VRAM 16GB の GPU で Muse Glimmer 30b を使う場合の組み合わせ例

• https://unsloth.ai/docs/models/muse-glimmer
• https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF

AI Agent で使う場合はできるだけ大きい Context Window が必要で、最低でも 64k 以上、可能なら最大値の 128k が欲しいところです。ただし GPU の種類や OS 環境、同時に起動しているアプリによって使えるメモリ量が変わります。VRAM が溢れていると速度が落ちるので、長い入力プロンプトで Prefill や生成速度が大きく低下している場合は Context Window サイズを減らして調整してください。

Q3_K_XL でも通常の応答や Tool Call は問題なく動作します。ただし複雑な試行錯誤を繰り返すような長時間タスクでの成功率はやはり Q4_K_XL よりも劣るようです。Q4_K_XL で成功したタスクが Q3_K_XL では成功しなかったものがありました。このあたりは使い分けが必要かもしれません。

速度が遅い GPU の場合は高速化のために DFlash が欲しいのですが、追加メモリが必要なので VRAM が少ない場合はメモリが溢れて逆に遅くなることがあります。速度が落ちている場合は無効にしてみてください。

以下の表は各種 GPU の Q3_K_XL + q8_0 で ctx 0～60k くらいまでの大雑把な速度です。コンテキスト長が長くなると速度が落ちるので幅があります。例えば最初のうちは生成 25 tps でも、ctx 60k あたりになると 20tps くらいまで落ちています。そのため目安として参考程度にお願いします。ちなみに dflash のために Q3 を使いましたが Q4 の方が Prefill は速いです。

60 シリーズ (5060Ti/4060Ti/9060XT) は演算能力もメモリ帯域も低いので、同じ VRAM 16GB でも 70 や 80 などの上位モデルはおそらく数倍高速だと思います。Radeon は ROCm ではなく Vulkan を使用しています。(AMD 公式 Blog の記事)

llama.cpp の起動オプション例

rem 精度優先 ctx 48k
llama-server.exe --model Muse-Glimmer-30B-UD-Q4_K_XL.gguf --alias Muse-Glimmer-30B --ctx-size 49152 -ctk bf16 -ctv bf16 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem 精度優先 ctx 48k
llama-server.exe --model Muse-Glimmer-30B-UD-Q4_K_XL.gguf --alias Muse-Glimmer-30B --ctx-size 49152 -ctk bf16 -ctv bf16 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem バランス ctx 98k
llama-server.exe --model Muse-Glimmer-30B-UD-Q4_K_XL.gguf --alias Muse-Glimmer-30B --ctx-size 98304 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem バランス ctx 98k
llama-server.exe --model Muse-Glimmer-30B-UD-Q4_K_XL.gguf --alias Muse-Glimmer-30B --ctx-size 98304 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem 画像対応 ctx 128k
llama-server.exe --model Muse-Glimmer-30B-UD-Q3_K_XL.gguf --mmproj mmproj-Muse-Glimmer-30B-Q8_0.gguf --alias Muse-Glimmer-30B --ctx-size 131072 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem 画像対応 ctx 128k
llama-server.exe --model Muse-Glimmer-30B-UD-Q3_K_XL.gguf --mmproj mmproj-Muse-Glimmer-30B-Q8_0.gguf --alias Muse-Glimmer-30B --ctx-size 131072 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99

rem 速度優先 ctx 128k
llama-server.exe --model Muse-Glimmer-30B-UD-Q3_K_XL.gguf --alias Muse-Glimmer-30B -md dflash-kquant.gguf --ctx-size 131072 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99 --spec-type draft-dflash --spec-draft-n-max 3

rem 速度優先 ctx 128k
llama-server.exe --model Muse-Glimmer-30B-UD-Q3_K_XL.gguf --alias Muse-Glimmer-30B -md dflash-kquant.gguf --ctx-size 131072 -ctk q8_0 -ctv q8_0 --port 9931 --log-colors off --temp 1.0 --top-p 0.95 --top-k 64 -fa on --fit off -lm none --parallel 1 -ngl 99 --spec-type draft-dflash --spec-draft-n-max 3

llama-server 起動後ブラウザで「 http://localhost:9931 」を開きます。ブラウザ自体も VRAM を消費するため容量ぎりぎりの場合はご注意ください。速度が遅い場合は dflash を無効化して ctx size を減らしてみてください。

Qwen3.8 27b の場合

Qwen3.8 27b の場合は VRAM 16GB に納める場合 Q3 量子化が必須です。以下は ctx の組み合わせの例です。

ちなみに Muse Glimmer 30b の Q3_K_XL で失敗したタスクは Qwen3.8 27b の IQ3_XXS では成功しました。Qwen3.8 27b は評判通り性能が高いようです。現在 VRAM 32GB の Radeon AI Pro R9700 で Qwen3.8 27b を、VRAM 16GB の他の GPU では Muse Glimmer 30b (Q4) を走らせているのですが、実行するタスクによっては Qwen3.8 の方が向いているかもしれません。

関連ページ

Qwen3.6 27b は性能が良く、Local LLM で UE5 の Blueprint 編集もできるなど使い勝手の良いモデルです。ただし Dense モデルなので推論速度はあまり速くありません。以下様々な環境での Qwen 3.6 27b の比較です。tps の値が大きい方が高速です。

• llama.cpp b9957, Qwen3.6 27b UD-Q4_K_M, ctx 4096, PC 側はいずれも Performance Mode に設定

コンパクトなので比較的多くの環境で動きますが、Dense モデルなので快適に使用するためにはそれなりの性能が必要となります。また実際の用途では ctx サイズを増やす必要があり、速度はさらに遅くなります。特にエージェントでは入力プロンプトも長くなるため、追加で Prefill による待ち時間も考慮する必要があります。Prefill では演算性能も重要となりさらに条件が厳しくなります。以下は llama.cpp の llama-bench による pp の値です。値が大きい方が高速です。

Ryzen AI Max+ 395 の場合は Active パラメータが少なく、代わりに RAM 容量を活かせる 122B-A10B の方が向いていると思うのですが、Qwen3.6 でこのサイズが無いのが残念です。

関連ページ