iPhoneとiPadでローカルLLM
モデルを一度ダウンロードすれば、通信を切ったままでも答え続けます。同じアプリがiPhoneとiPadで動き、オープンソースで、アカウントも不要です。
iPhoneでローカルLLMを動かすのに必要なもの
必要なのはiPhoneと、少しの空き容量だけです。
iPhoneでLLMを動かす手順
手順は3つ。いちばん時間がかかるのはモデルのダウンロードです。
App Storeからダウンロード
アプリは無料で、iOS 16.2以降で動きます。アカウントも、登録の手間もありません。
モデルを選択
アプリの中から選ぶだけです。一度ダウンロードすればデバイス上に残ります。容量が必要になったら、あとから削除できます。
機内モードに切り替え
モデルはデバイス本体で動きます。飛行機の中でも、地下鉄でも、電波の届かない場所でも答え続けます。
機内モードでもオフラインで動作
モデルファイルはデバイス上にあります。処理するのはiPhone自身なので、どこにも何も送信されません。
電波がなくても問題なし
飛行機の中でも、地下鉄でも、地下室でも使えます。ネットワークが必要なのはモデルをダウンロードする最初の一度だけで、あとはもう要りません。
デバイスの外に出るものはなし
メッセージはアプリの中にとどまります。アカウントもサーバーもなく、クラウドに保存されるものもありません。
Macでも同じアプリ
Atomic ChatはMac、Windows、Linux、Androidでも動きます。デスクトップではより大きなモデルが動きます。ポケットの中でも、考え方は同じです。
よくある質問
iPhoneでローカルLLMを動かす前に、よく聞かれることです。
動きます。モデルファイルはストレージに置かれ、処理はデバイスが行います。iPhone向けのモデルはデスクトップ向けより小さいものの、日常的に使うには十分な速さです。
iOS 16.2以降です。
使えます。同じアプリがiPhoneとiPadで動きます。
アプリは約85MBです。モデルはそれに加えて容量を使いますが、空きが必要になれば削除できます。
動きます。通信が必要なのは最初のモデルのダウンロードだけです。そのあとは機内モードを含め、すべてオフラインで動きます。
無料です。App Storeから入手でき、オープンソースで、アカウントもサブスクリプションもありません。
プライベートです。メッセージはデバイス上にとどまります。サーバーに送信されるものも、クラウドに保存されるものもありません。
Macアプリはより大きなモデルに対応し、32GBのメモリなら13Bまで動きます。iPhoneでは、アプリで提供されているモデルから選びます。
あります。Mac、Windows、Linux向けです。同じアプリで、より大きなモデルが動きます。
あります。Google Playで配信しており、Android 7.0以降に対応します。
.svg)
