パラメータ数とメモリ帯域 LLM はパラメータ数が多い方が性能が高いですがその分多くの RAM を必要とします。例えばパラメータ数が 32b の LLM モデルの場合、単純に考えるとパラメータだけでも fp32 で 12 … 続きを読む ローカル LLM と VRAM メモリ速度