VRAM 8GB の GPU 3枚で 30B 前後の LLM を動かす。Ollama でマルチ GPU 速度の比較
PC 上でローカル LLM を実行する場合、VRAM 容量が足りなくてもビデオカードを複数枚集めれば GPU 上で動作することがわかったので、色々組み合わせて速度を比較してみました。 家に眠っていた古いビデオカードを集め … 続きを読む VRAM 8GB の GPU 3枚で 30B 前後の LLM を動かす。Ollama でマルチ GPU 速度の比較
埋め込むにはこの URL をコピーして WordPress サイトに貼り付けてください
埋め込むにはこのコードをコピーしてサイトに貼り付けてください