中古GPU「V100」8枚の自作AIサーバー、DeepSeek V4.1 Flashの8割を4ビット化　米弁護士が更新

海外メディアTom's Hardwareは11月14日、中古のNVIDIA製GPU「V100」を8枚使ったAIサーバーを事務所に置いて仕事に使っている米国の弁護士が、システムを大きく更新したと報じた。サーバーでは中国DeepSeekのオープンウェイトモデル（中身の重みが公開され、自分のPCで動かせるAI）「DeepSeek V4.1 Flash」を、自作の法律業務用の仕組みと組み合わせて動かしている。本人は「書類が事務所の外に出ない」ことを最大の利点に挙げる。

よく使う部分だけを高精度に

今回の更新では、処理のおよそ8割を2ビットから、NVIDIAの4ビット形式「NVFP4」に近い精度へ引き上げた。精度（数値をどれだけ細かく持つか）が上がると、元のモデルに近い答えが出やすくなる。ただ、この規模のモデルを公式の精度で載せるには約269GiBが必要で、32GBのV100が8枚（合計256GiB）では足りない。

そこで、モデルの部品にあたる「エキスパート」（言葉ごとに実際に働く専門部分）を全部2ビットで載せたうえで、よく使われるものから順に4ビット版へ入れ替えた。入れ替えられたのは全1万5,360個のうち約38.7％（5,949個）だが、文章を生成する際の呼び出しの80〜86％がこの4ビット側に当たるという。メモリーは256GBから1TBに増やし、RTX 3090も追加した。

精度は上がり、速度は少し低下

NVIDIA公式の4ビット版を基準にした比較では、次に出す言葉が基準と同じになる割合が92.2％から95.1％に上昇。選択式の知識テスト513問で答えが変わった数は79問から8問に減った。一方、コード生成の速度は毎秒160〜215トークンから150〜180トークンに下がった。以前の不安定な動作は、電源ユニットの不良が原因だった可能性が高いという。

ソフト面はAnthropicの「Claude Code」に手伝わせ、専用の処理プログラムの作成や再量子化（精度の変換）を進めたという。ローカルLLMの基盤ソフトについてはllama.cpp v1.0.0の記事も参考になる。中古GPUと工夫で、機密情報を外に出さないAI環境を作る実例として興味深い。