SummerWind

Web, Photography, Space Development

Ryzen AI 9 HX 370 のミニ PC で LLM を動かす

昨年末に勢いで買ったまま放置していた Minisforum AI370 の BIOS アップデートが5月に出ていたのでアップデートしてみたところ、UMA Frame Buffer のサイズが変更可能になっていた。せっかくなのでこれでローカル LLM がどれぐらいの速度で動くのか試してみた。

今回は Ubuntu 24.04 に Ollama をインストールして LLM を動かすことにして、UMA Frame Buffer への割り当ては最大値の 24GB にして試した。セットアップ手順は Ollama リポジトリにある以下の Pull Request のドキュメントが一番分かりやすかった。Secure Boot が有効だと AMD GPU Driver がうまく読み込まれなかったので、ひとまず BIOS で無効化して対応した。

最近リリースされた以下のモデルを Ollama で実行して遊んでみると、どれも全て GPU 上で動作できた。出力速度的には Gemma 3 は優秀だけどちょっと常用には厳しい遅さで、Qwen 3 は MoE だからか割と快適に動く、という感じだった。

サンプルコードの生成とかバッチ処理なんかには十分使えそうな感じなので、Open WebUI と組み合わせたり、自作の LLM ツールに組み込んだりして遊んでみようと思う。

Moto Ishizawa

Moto Ishizawa
ソフトウェアエンジニア。ロケットの打上げを見学するために、たびたびフロリダや種子島にでかけるなど、宇宙開発分野のファンでもある。