1トークンの旅。
遅さは廊下の幅ではなく、
廊下を往復した回数で決まる。

1トークンを作るのに、廊下を120回往復する

ニューラルネットは「前の層の答えを使って次の層を解く」構造です。2台に分けると、層をまたぐたびに お互いの計算結果を合体させる必要がある(all-reduce)。60層なら、1トークンあたり約120回の往復。 スライダーで廊下の長さを変えて、勝敗がどこでひっくり返るか見てください。

クラウド、Spark、Mac Studio

同じ「AIを動かす機械」でも、4つの軸の配分がまるで違う。得意な仕事が違うのは、性能の優劣ではなく配分の差です。

Mac Studio の理論値は 819 ÷ 145 ≒ 5.6 tok/s。Spark 2台の 546 ÷ 145 ≒ 7.5 より低い。 それでも Mac が実戦で勝つのは、廊下がなく理論値に近づけることと、机に 367GB の余白が残るから。 実測が 2〜9 tok/s と3倍も振れたのは、その余白のなさが出ています。

教科書を薄くする

量子化は、教科書の中身を減らしません。減らすのは印刷の精度です。 「3.14159265」と16桁で刷ってあった数字を、「3.1」と刷り直す。書いてある内容の順番も構造も同じ。ページが薄くなるだけ。

量子化は配達だけを直す薬です。「Spark は電卓が速く、配達が遅い」という診断と、正確に噛み合っている。