8,000億パラメーター級のAIを手元のMacで、無料アプリ「WiCi Infer」公開 SSDから必要な部分だけ読み込む新エンジン、8GBのPCでも中型モデル
「無線GPU」を手がける米スタートアップWiCiが、巨大なAIモデルを手元のパソコンで動かせる無料のMac用アプリ「WiCi Infer」を公開した。オープンソースのエンジン「InferSSD」が、モデル全体をメモリーに載せる代わりに、その瞬間に必要な部分だけをSSDから読み込むことで、約8,000億パラメーター級のモデルも一般向けの機器で動かせるという。
