TurboQuantで、チャットが6倍長く続く

Q4_K_M形式のGGUFなら、34Bモデルの重みはおよそ20GBです。TurboQuantがKVキャッシュを圧縮した状態なら、24GBのMacBook ProやMacBook Airで問題なく動きます。36GBあればさらに余裕があります。16GBのマシンでは、13Bまでのモデルが快適に動きます。

遅くなりません。TurboQuantがKVキャッシュを圧縮するため、1トークンごとにメモリを流れるデータが減ります。ローカルLLMの主なボトルネックはメモリ帯域なので、応答の速度は変わらないか、むしろ少し速くなります。特に長いチャットで効いてきます。圧縮そのもののコストはほとんどありません。

落ちません。GoogleはGemma、Llama、Mistralを使い、LongBench、Needle-in-Haystack、ZeroSCROLLS、RULER、L-Evalで検証しました。すべてのタスクで、精度は非圧縮のベースラインと区別がつきませんでした。

別のものです。GGUF量子化はディスク上のモデルの重みを圧縮するもので、ファイルを作るときに一度だけ適用されます。TurboQuantはモデルが生成している最中に、実行時のKVキャッシュを圧縮します。解決するボトルネックが異なり、Atomic Chatでは両方が同時に動きます。

設定は何も必要ありません。Atomic Chatは、どのモデルを読み込んでもTurboQuantを自動で適用します。

Atomic Chatで動くモデルはすべて対応しています。Qwen、Gemma、DeepSeek、Llama、Mistralなどです。TurboQuantはモデルの重みを書き換えないので、ダウンロードしたすべてのGGUFモデルに適用されます。

TurboQuantは2段階で動きます。PolarQuantはKVベクトルを極座標に写像し、3ビットに量子化します。QJLはランダム化アダマール変換を使って1ビットの誤り訂正を加えます。単純な3ビット量子化なら出力が目に見えて劣化するところを、この組み合わせでほぼロスレスの圧縮を実現します。

Q4 GGUFの70Bモデルは、重みだけで38〜40GBほど必要です。TurboQuantはその上に乗るKVキャッシュを処理しますが、ベースの重みはRAMに収まる必要があります。70Bには48GB以上のユニファイドメモリが必要です。64GBのマシンなら快適に動きます。