「世界初の無線GPU」をうたう米スタートアップWiCiが、巨大なAIモデルを自分のパソコンで動かせる無料のデスクトップアプリ「WiCi Infer」を公開した。米メディアのAndroidGuysが11月17日に報じた。アプリの中心は、オープンソース(設計図が公開されたソフト)の推論エンジン「InferSSD」で、ローカルLLM(ネットにつながずに手元で動かすAI)の最大の壁だった「メモリー不足」を回り道で解決するという。

モデル全体をメモリーに載せない

これまでの多くのローカルAIの道具は、動かす前にモデル全体をメモリー(RAMやGPUのメモリー)に読み込む必要があった。そのため、数千億パラメーター(AIの知識の細かさを表す数)の巨大モデルを動かすには、とても高価な機材が必要だった。

InferSSDは、最近の大型モデルに多い「専門家(エキスパート)」と呼ばれる部品の集まりでできた構造に注目し、その瞬間に使う専門家の部分だけをSSDから直接読み込む。どの部品を呼ぶかを決める仕組みに合わせて読み込みを流し、CPUとGPUの割り振りもその場で調整する。その結果、7,630億パラメーターの「DeepSeek V4.1 Flash」や、8,160億パラメーターの「Muse Spark Open」といった約8,000億パラメーター級のモデルを、一般向けの機器で、追加の圧縮なしに動かせるとしている。小さめの「Qwen3(350億パラメーター)」なら、メモリー8GBのパソコンでも動くという。

速さは定番ツールの最大17.8倍

WiCiの社内テストでは、定番のローカルAIツール「llama.cpp」と比べて大きく速かった。メモリー48GBの「M5 Max」搭載MacBook ProでMuse Spark Openを動かした場合、文章を生み出す速さはllama.cppの6.2倍。メモリー128GBのNVIDIA「DGX Spark」では17.8倍で、1秒あたり2.14トークン(llama.cppは0.12トークン)だった。結果はモデルや機材、設定によって変わるが、どの構成でも差は一貫していたという。

アプリには、対応モデルを探してダウンロードできる画面とチャット画面が付く。ほかのアプリから手元のモデルを呼び出せる窓口(API)もあり、Claude Codeのように独自のモデルの接続先を設定できるツールなら、作業の流れを変えずにつなげられる。macOS向けに無料で配布され、月額料金やログインは不要だ。さらに性能が欲しい人向けには、Wi-Fi経由でパソコンにNVIDIAのGPUの力を足す機器「WiCi One」も用意している。

手元でAIを動かす機材としては、当サイトのNVIDIA「RTX Spark」の小型デスクトップも伝えている。なお数値はWiCiの社内テストによるもので、第三者による検証結果はまだ出ていない。