「電子ゴミ(e-waste)」とも呼ばれる古い業務用GPUで、最新のAIを手元で快適に動かせる——そんな検証結果が海外で話題になっている。米Tom's Hardwareは11月19日、データセンターで使われなくなったNVIDIAのTesla V100を3枚使った自作機で、AIモデル「Qwen 3.6 35B」が毎秒約100トークン(AIが文字を出す単位。1トークンはだいたい1語前後)で動いたと報じた。かかった費用は約1,042ドルだという。

9通りの組み合わせで130以上のテスト

検証したのは、自宅にサーバーを置いて楽しむ「ホームラボ」の愛好家だ。ブログ記事「Scaling ‘E-Waste’」で、古いGPUのK80・P100・V100(16GB)をそれぞれ1〜3枚挿した9通りの構成を、同じSupermicro製のマザーボード(Xeon 2基)で比べた。手元でAIを動かす無料ソフト「llama.cpp」を使い、QwenやGemma 4など130以上のテストを、読み込ませる文章の長さ4K〜128Kで実施した。結果は掲示板Redditのホームラボ向けコミュニティにも投稿されている。

目標は、会話がスムーズに感じられる毎秒70トークン。主役のQwen 3.6 35Bは、データを8ビットに圧縮した形(Q8)ではGPU1〜2枚ではメモリーが足りず動かないため、3枚構成になった。なお、費用の1,042ドルにはCPUは1基分しか入っておらず、メモリー・保存装置・ケース・冷却は含まれていない。V100は冷却装置なしで売られ発熱が大きいため、制作者は1枚ずつ送風用の部品を3Dプリンターで作ったという。

短い文章で毎秒100.8、長い文章でも72.7

Qwen 3.6 35Bは、350億の部品(パラメーター)のうち1回に約30億だけを使う「MoE」という効率のよい作りのモデルだ。読み込ませる文章が短い4Kの条件では毎秒100.8トークン、最長の128Kでも毎秒72.7トークンと目標を超えた。一方、全部の部品を毎回使う作りのQwen 3.6 27Bは、4Kで毎秒24.3、128Kで毎秒14.2にとどまり、MoEのほうが4〜5倍速かった。

V100はひとつ前の世代のP100に比べ、同じ作業での電力消費が約半分だった。P100の3枚構成では、同じモデルで毎秒40.2〜55.2にとどまった。

最新のMacやDGX Sparkとの比較

Tom's Hardwareは、ほかの公開データと比べた。最新のMac Studio(M5 Max、40コアGPU・128GBメモリー・1TBで5,399ドル)は短い文章ではわずかに速いが、64K以上の長い文章ではV100の3枚構成が上回るという。NVIDIAの小型AI機「DGX Spark」(希望小売価格4,700ドル)と比べても健闘した。ただし、GPUを増やして増えるのはメモリーの量で、大きなモデルを動かせるようになるが、速さそのものは上がらないとも指摘している。

手元でAIを動かす試みは、当サイトの「8,000億パラメーター級のAIを手元のMacで」やPS4でAIを動かした話でも紹介している。

V100×3枚でのAIの速さ(Q8、毎秒トークン)
数値を表で見る
項目毎秒トークン
Qwen 3.6 35B(4K)100.8
Qwen 3.6 35B(128K)72.7
Qwen 3.6 27B(4K)24.3
Qwen 3.6 27B(128K)14.2

図のポイント4つの項目を比べた棒グラフです。いちばん大きいのは「Qwen 3.6 35B(4K)」の100.8、いちばん小さいのは「Qwen 3.6 27B(128K)」の14.2です。

かっこ内は読み込ませた文章の長さ。目標は毎秒70トークン出典: Tom's Hardware(2026年11月19日)をもとにKEN TECH TIMES編集部作成