MacでローカルLLMを動かす

4ビットなら、8Bモデルでおよそ8GB、14Bで16GB、32Bで32GB、70Bで64GB以上が目安です。ユニファイドメモリはmacOS全体と共有されるので、ほかに開いているものの分も余裕を残してください。

純粋な速度では勝てません。1秒あたりのトークン数では専用のNVIDIAカードが上です。Apple Siliconが勝るのは容量で、ユニファイドメモリのおかげで64GBのMacは、そもそも収めるだけでも非常に高価なGPUが必要なモデルを読み込めます。

はい。Atomic Chatは、macOS 13.6以降のIntel MacとApple Silicon Macに対応しています。

はい。契約書や銀行の明細、表計算ファイルを放り込んで質問できます。読み込みも分析もMac上で行われるため、ファイルがアップロードされたり記録されたりすることはありません。

Macでのコードなら、Qwen 3.5とDeepSeekの蒸留モデルに落ち着く人がほとんどです。どちらも関数の説明、バグ探し、社外秘コードのリファクタリングを、何もマシンの外に出さずにこなします。NDAでクラウドが使えない場面では、そこがいちばん重要です。

はい。macOSにはOpenAI互換のローカルエンドポイントがあります。Kilo CodeやCline、OpenAI SDKをそこに向けるだけで、APIキーもトークン単位の課金も不要です。

いいえ。ほかのMacアプリと同じく.dmgからインストールします。アプリケーションフォルダにドラッグして開くだけです。コマンドラインの操作もパッケージマネージャも、作成するアカウントもありません。

完全にプライベートです。サーバーには何も送信されず、アカウントも不要で、クラウドに記録も残りません。チャットは自分のディスクの中にあります。