セルフホスト型​LLMを自分のマシンで動かす

そのためにGPUサーバーを買う必要があるなら、たいていは割に合いません。RAMが8 GB以上のコンピュータをすでに持っているなら、答えはイエスです。モデルのダウンロードは無料で、トークンごとの請求もありません。かつては何時間もかかるセットアップが足を引っ張っていましたが、その部分はインストール1回で終わります。

必要ありません。最近のCPUでもローカルLLMは動きます。量子化した小規模・中規模のモデルは十分に答えてくれますし、RAMは8 GBから16 GBあれば始められます。GPUを使えば応答が速くなり、TurboQuantがKVキャッシュを圧縮するので、長いセッションでもRAMに収まります。

決め手はRAMです。16 GB未満ならQwenやGemmaの小さいサイズが定番で、16 GBから32 GBなら12Bから32Bのモデルが動きます。TurboQuantを使えば、長いチャットでRAMを食いつぶすこともありません。Atomic Chatは1,000以上のモデルをサイズ付きで一覧できます。いくつかダウンロードして比べてみてください。

ローカルLLMは、目の前のデバイスで動いているモデル全般を指します。セルフホスト型AIはそこにサーバーの視点が加わり、モデルは自分で管理するエンドポイントの裏側に置かれ、ほかのアプリやマシンがそこに接続します。Atomic Chatはその両方をカバーします。チャットアプリとLLMサーバーが、インストール1回で手に入ります。

できます。localhost:1337のOpenAI互換APIは、OpenCode、Goose、Kilo Code、Mastra、そしてOpenAI SDKを使うあらゆるツールからの接続を受け付けます。ツールのベースURLを自分のマシンに向ければ、そのまま手元のモデルで動きます。