ラズベリーパイでローカルLLM

前提条件

この記事では以下の構成でやっていきます。メモリが少なかったり、ラズベリーパイ4でも動作しますが、遅くなります。

• ハードウェア:Raspberry Pi 5 8GB
• OS:Raspberry Pi OS bookworm
• MicroSDカード:32GB以上

セットアップ方法

Dockerを利用する方法がおそらく一番簡単なのでまずはDockerのインストールからやっていきます。

公式サイトに書かれている通りの手順でインストールすることができます、実行するコマンドを抜粋しています。

1.競合するパッケージを削除

for pkg in docker.io docker-doc docker-compose podman-docker containerd runc; do sudo apt-get remove $pkg; done

2.Dockerのaptリポジトリを追加

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

3.インストール

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

4.パーミッションの設定

Dockerはデフォルトでは管理者権限でしか利用できないので、以下コマンドを実行して現在ログインしているユーザーでも利用できるようにします。ちなみに毎回sudoコマンドを頭につければこのパーミッション設定はしなくてもOKですが面倒です。

sudo groupadd docker
sudo usermod -aG docker $USER

Ollamaのインストール

インストールとは言いましたが、Dockerを使うので基本的にコマンド一つです。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

特に失敗したなどのメッセージが表示されなければOKです。では次にWebインタフェースをDocker上で動かしていきます。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

アクセスしてみる

まずはラズベリーパイのIPアドレスを知らないと他のPCからアクセスできないので、ラズベリーパイのIPアドレスを調べます。マウスを右上のネットワークアイコンの上に２〜３秒置いておくと表示されます。

この例では 10.88.111.19 がIPアドレスだったので、http://10.88.111.19:3000 へアクセスします。

使うために画面の下にある Sign up をクリックするとサインアップ画面が表示されるので、適当に入力します。ここで入力した情報はラズベリーパイに保存されるので適当でOKです。

おっとどこかで見たようなUIですね。とりあえず日本語設定にします。

ではローカルLLMのモデルをダウンロードしないと使えないのでダウンロードしていきます。設定画面の「モデル」を選択して入力欄にモデル名を入力します。

モデル名すぐ近くにある、「ここをクリックしてください。」を押すと利用可能なリストが出てきます。今回は llama3 をダウンロードしてみます。

llama3 は 4.7GB 程度のサイズで、1Gbpsの回線でも1~2分ほど掛かります。

ダウンロード後はモデルを選びます

それでは遊んでいきます。

llama3 は性能はなかなか高いのですが、ラズベリーパイで動かすには若干重たいので、 phi3あたりがオススメです。

ただし唐突に寿司が好きか聞かれたりはするので、心に大人の余裕を持って望む必要があります。

まとめ

ローカルで動作させることができるので、インターネット環境に接続されていない場合であっても利用することができます。さらにAPIを呼べばコストも掛かりますがラズパイなら無料で動かす事ができます。

ただし、現時点ではまだまだ速度が早いとは言えないため、事前に生成しておくような時間的に余裕を持たせた使い方に限定される状況です。

個人的に利用できそうだなと思ったケース

どうしても速度と性能が限られるためあまり有用なケースは思いつきませんでしたが、頑張って以下ぐらいはできるかなという印象を受けました。