Qwen3.6 27b をベースにした 1bit (or 3値) モデル Bonsai 27b が公開されました。
Qwen3.6 27b は使い勝手の良いモデルですが、Dense なので推論は低速です。快適に使用するためには性能の高い GPU を使い全部 VRAM に乗せる必要がありました。(詳しくはこちら) Q4 でもエージェントのように長いコンテキストを扱う場合は VRAM 32GB の GPU が必要になります。
Bonsai の 1bit or 2bit (3値) では GGUF でおよそ 4GB と 7GB で非常に小さくなります。少ない VRAM でも動作するのでどれくらい動くのか試してみました。
Ternary 版実行までの手順 (Windows + CUDA)
- モデルのダウンロード
- Hugging Face の Prism-ML (以下のページ) から ” Ternary-Bonsai-27B-Q2_0.gguf ” をダウンロードします
- https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf/tree/main
- GitHub の Prism-ML から llama.cpp のブランチ版をダウンロードします
- 以下の Release 版ページから Assets の中にある ” llama-prism-b1-62061f9-bin-win-cuda-12.4-x64.zip ” と ” cudart-llama-bin-win-cuda-12.4-x64.zip ” をダウンロードします。
- https://github.com/PrismML-Eng/llama.cpp/releases
- llama-prism-b1-62061f9-bin-win-cuda-12.4-x64.zip を展開してフォルダ名を “llama-prism” にしておきます
- llama-prism フォルダはダウンロードしたモデルと同じ場所にあるものとします
- cudart-llama-bin-win-cuda-12.4-x64.zip を展開して、中の 3つの DLL ファイルを “llama-prism” フォルダの中にコピーします
- 以下の内容でバッチファイルを作成してから実行します
llama-prism\llama-server.exe --model Ternary-Bonsai-27B-Q2_0.gguf --ctx-size 8192 --temp 0.7 --top-p 0.95 --top-k 20 --port 8080 -fa on --fit off --no-mmap -ngl 99- モデルや llama-server のパスが異なる場合は修正してください。また –ctx-size の 8192 は、VRAM 容量や用途に合わせて調整してください。VRAM 16GB の場合は 122880 (120K) くらいまで増やせました。
- ブラウザで「 http://127.0.0.1:8080 」を開きます
- ブラウザ上の UI でチャットが可能です
- Reasoning を有効化する場合は入力欄下側の電球アイコン「💡」から変更してください
使ってみる
Ternary 版 (Q2_0) の速度は GeForce RTX 5060Ti 16GB で 40 tps でした。同じ 2bit 最小の Qwen3.6 UD-IQ2_XXS は 8.75GB で 30 tps だったので、Bonsai の方が小さく高速に動いています。
UE5 5.8 の mcp による Blueprint 編集を試してみましたが、残念ながら途中でループが発生してタスクを完了できませんでした。さすがに過度な期待は禁物です。量子化されたモデルを含めて UE5 の mcp 編集の結果をまとめてみました。
| Model | size | RTX5060Ti | UE5 BP |
|---|---|---|---|
| Ternary-Bonsai 27b Q2_0 | 6.67 GB | 40 tps | ✕ |
| Qwen3.6 27b UD_IQ2_XXS | 8.75 GB | 30 tps | ✕ |
| Qwen3.6 27b Q3_K_M | 12.6 GB | △ (初回は完了、編集で失敗) | |
| Qwen3.6 27b Q4_K_M | 15.6 GB | ◯ |
