Ryzen AI 9 HX 370 のミニ PC で LLM を動かす
昨年末に勢いで買ったまま放置していた Minisforum AI370 の BIOS アップデートが5月に出ていたのでアップデートしてみたところ、UMA Frame Buffer のサイズが変更可能になっていた。せっかくなのでこれでローカル LLM がどれぐらいの速度で動くのか試してみた。
今回は Ubuntu 24.04 に Ollama をインストールして LLM を動かすことにして、UMA Frame Buffer への割り当ては最大値の 24GB にして試した。セットアップ手順は Ollama リポジトリにある以下の Pull Request のドキュメントが一番分かりやすかった。Secure Boot が有効だと AMD GPU Driver がうまく読み込まれなかったので、ひとまず BIOS で無効化して対応した。
最近リリースされた以下のモデルを Ollama で実行して遊んでみると、どれも全て GPU 上で動作できた。出力速度的には Gemma 3 は優秀だけどちょっと常用には厳しい遅さで、Qwen 3 は MoE だからか割と快適に動く、という感じだった。
サンプルコードの生成とかバッチ処理なんかには十分使えそうな感じなので、Open WebUI と組み合わせたり、自作の LLM ツールに組み込んだりして遊んでみようと思う。
