AndroidでローカルLLMを動かすのに必要なもの
Androidスマホと、少しの空き容量。それだけです。
AndroidでLLMを動かす手順
手順は3つ。いちばん時間がかかるのはモデルのダウンロードです。
Google Playで入手
アプリは無料で、Android 7.0以降で動きます。アカウントもサインアップも必要ありません。
モデルを選択
アプリの中から選ぶだけです。一度ダウンロードすれば、そのままスマホに残ります。モデル1つあたり1GBから4GBです。
ネットワークを切る
モデルはスマホ本体で動きます。機内モードでも、地下鉄でも、電波の届かない場所でも答え続けます。
オフラインで動き、プライベートのまま
モデルファイルはスマホのストレージに置かれます。処理するのはスマホ自身なので、どこにも何も送信されません。
電波がなくても問題なし
飛行機の中でも、地下鉄でも、地下室でも使えます。ネットワークが必要なのはモデルをダウンロードする最初の一度だけで、あとはもう要りません。
スマホの外には何も出ません
メッセージはアプリの中にとどまります。アカウントもサーバーもなく、クラウドに保存されるものもありません。
スマホに必要なスペック
Android 7.0以降。RAMは6GB以上あると快適で、モデル1つにつき1GBから4GBのストレージを使います。
よくある質問
スマホでローカルLLMを動かす前に、よく聞かれることをまとめました。
動きます。モデルファイルはストレージに置かれ、処理もスマホ本体が行います。スマホ向けのモデルはデスクトップ向けより小さく、RAMが6GB以上あれば普段使いに十分な速さです。
6GB以上のスマホがいちばん快適です。それより少なくても使えますが、小さめのモデルを選ぶ必要があります。
Android 7.0以降です。
1つあたり1GBから4GBです。空き容量が必要になったら削除して、あとで再ダウンロードできます。
使えます。ネットワークが必要なのは最初のモデルのダウンロードだけで、そのあとはすべてオフラインで動きます。
無料です。Google Playから入手でき、オープンソースで、アカウントもサブスクリプションもありません。
保たれます。メッセージはスマホの中にとどまります。サーバーに送信されることも、クラウドに保存されることもありません。
デスクトップ版はより大きなモデルを扱え、RAMが32GBあれば13Bまで動きます。スマホでは、アプリ内で用意されたモデルから選びます。
あります。Mac、Windows、Linuxに対応しています。同じアプリ、同じ考え方で、動かせるモデルが大きくなります。
あります。App Storeから入手でき、iOS 16.2以降のiPhoneとiPadに対応しています。
.svg)
