
WindowsでローカルLLMを動かすのに必要なもの
いちばん速いのはGPUですが、CPUでも動きます。VRAMが8GBあれば、3Bモデルが文章を読む速さで応答します。
Windows
10 / 11
64ビット
GPUメモリ
8GB+
グラフィックスカードで動かす場合
セットアップ
1クリック
インストーラー1つ
WindowsでLLMを動かす手順
3ステップ、およそ10分。そのほとんどはモデルのダウンロード時間です。
インストーラーをダウンロード
Windows用の.exeファイルが1つ。実行すればすぐ使えます。WSLもDockerも必要ありません。

モデルを選択
1,000以上のオープンモデルから、手元のメモリに収まるものを選びます。ダウンロードは一度だけ。あとはドライブから読み込まれ、自分のCPUやGPUで動きます。

チャットを開始
モデルは自分のPC上で動き、オフラインでも使い続けられます。質問の回数に上限はありません

WindowsでのTurboQuantの仕組み
TurboQuantは収まるコンテキストの量を変えるので、RAMを増やさずにコンテキストウィンドウを広げられます。
メモリを食うのはコンテキスト
キャッシュはメッセージのたびに大きくなり、会話が長くなるとモデル本体より大きくなることもあります。
ステップ1
そのキャッシュを圧縮
Atomic Chatのビルドでは、そのキャッシュを通常の16ビットではなく3ビットか4ビットで保持します。サイズは最大4.3分の1になります。
ステップ2
PC上で何が変わるか
メモリが尽きるまでに交わせる会話が長くなり、モデルを動かしたままブラウザやエディタも開いておけます。
ステップ3
Atomic Chat vs ローカルLLMツール
この中で5つのプラットフォームすべてで動かせるのはAtomic Chatだけです。
OS

Google Play
よくある質問
WindowsでローカルLLMを動かす前によく聞かれること。
不要です。カードがなければ、モデルはプロセッサ上で動きます。チャットや文章作成、簡単なコードであれば3Bや7Bのモデルで十分です。
16GBです。3Bモデルなら8GB、13Bモデルなら32GBが必要です。Windows自体もメモリを使うので、少し余裕を持たせてください。
動きます。普通のWindowsプログラムです。.exeファイルを1つ実行すればインストールは完了します。
動きません。インストーラーはx64のみなので、Snapdragon搭載のノートPCにはまだ対応していません。
できます。契約書や取引明細、スプレッドシートを開いて、そのまま質問してください。ファイルはPCに残り、アップロードされることはありません。
QwenとDeepSeekのコーダーモデルが定番です。どちらもコードを説明し、バグを見つけます。書いた内容がPCの外に出ることはありません。
あります。Atomic ChatはOpenAIと同じように使えるローカルAPIを開きます。Kilo CodeやCline、OpenAI SDKから接続できます。キーも請求もありません。
不要です。ほかのWindowsプログラムと同じようにインストールして、普通のウィンドウで使えます。
プライベートです。サーバーには何も送信されません。アカウントは不要で、クラウドに保存されるものもありません。
小さいモデルなら動かせます。Atomic ChatはApp StoreとGoogle Playにあるので、小さめのモデルをスマートフォンに入れて機内モードでも使えます。
ニュースレターを購読
Atomicの最新情報とローカルAIのニュースをメールでお届けします。


