忠実な模型になる層
L0 – L2
B/F比・演算強度・Token/J は同オーダー。メモリの壁は手元で完全に再現できる。
相似が崩れる境界
L3 / L5 / L7
通信・熱・故障。2〜5桁ちがう。ここで模型は反例装置に変わる。
掘るべき順序
L2 を足場に L3・L5
L2は実測で完結するので教材化しやすい。L3/L5は崩れるがゆえに知識の希少性が高い。
§1中核の仮説 — 相似形の「正体」
流体力学では、実物の船と模型がレイノルズ数で結ばれるとき、模型実験の結果を実物に外挿できます。AI計算系にも同じ役割を果たす無次元量が数個あり、それが相似の成否を決めます。
最も重要な洞察：このうち B/F比と演算強度は、デスクサイド機とラックスケール機でほぼ同オーダーです。しかし C/C比・熱流束・N·λ は2〜5桁ちがう。
つまり手元の2台は「メモリの壁」の完全な相似模型であり、「通信の壁・熱の壁・故障の壁」の模型としてはレジームが違う。この非対称こそが、問いを立てる軸になります。
§2どこで何桁ずれるか
代表機材の公称値から、6つの量の桁差を並べます。緑は相似が成立する量、赤は崩れる量。バーの長さは常用対数（桁数）。
相似が成立（同オーダー）
相似が崩れる（2桁以上）
B/F 比約 2.7e-4 vs 4.0e-4 B/FLOP
ノード間帯域（C/C比）25 GB/s 級 vs 1.8 TB/s 級
※ B/F比は公称ピーク値（低精度演算・統合メモリ帯域／HBM帯域）に基づく概算。実効値は数割落ちますが、両者で同程度に落ちるため比は保たれます。
§3問いを生成する装置
各層に対して、常に同じ3つの問いを当てます。これが問いの連鎖の生成器です。個別の知識を暗記するのではなく、生成器を持つことが目的です。
Q-a ／ 同定
この層のボトルネックを決める物理量・無次元数は何か。
Q-b ／ 相似判定
その量は手元の機材とハイパースケールで何桁ちがうか。相似は成立するか。
Q-c ／ 創発
相似が崩れる境界で、新たに現れる技術・制度・職能は何か。
Q-c が最も生産的です。「規模が変わると質が変わる」箇所が、特許も標準も生まれる場所だからです。逆に言えば、Q-b で「相似が成立する」と判定された層には、規模固有の新技術は生まれにくい。
§4層別の問いの連鎖（L0 – L8）
各層をクリックすると問いが開きます。左端の色は相似の判定——緑=成立 黄=部分的 赤=崩れる。
L0
素子・物理層なぜ低精度化が「妥協」ではなく必然なのか
相似 成立
- なぜ Dennard スケーリングは終わったのか。リーク電流と閾値電圧の関係で説明できるか
- なぜ FP4／NVFP4 なのか。精度を落とすことで何が節約されるのか——演算器面積か、メモリ帯域か、電力か。3つの寄与を分離できるか
- ブロック単位スケーリング（マイクロスケーリング）は、なぜ単純なINT4より精度が保てるのか
- 1演算に必要なエネルギーの下限は何で決まるか（Landauer限界は実効的に効いているか、それとも配線容量が支配的か）
答えの核：現代のチップでは、演算そのものよりデータ移動が桁ちがいに高価です（オンチップ移動と DRAM アクセスで100倍以上）。低精度化の最大の効能は演算器ではなく転送バイト数の削減＝B/F比の改善。これが FP4 を「精度の妥協」ではなくアーキテクチャ上の必然にしている。
L1
パッケージ層LPDDR5X統合メモリ と HBM3e は何を賭け違えたのか
相似 成立
- デスクサイド機が LPDDR5X 統合メモリ（128GB / 273GB/s 級）、ラックスケール機が HBM3e（192GB / 8TB/s 級）を選ぶのはなぜか。容量・帯域・電力・コストの4次元でどのトレードオフを取ったのか
- なぜ HBM は3D積層でなければならないのか。帯域はピン数×周波数だが、ピン数を増やす物理的制約は何か（配線ピッチ、電力、シグナルインテグリティ）
- CPU–GPU コヒーレント統合メモリは、プログラミングモデル上、何を変えたか。128GB統合メモリに大モデルが載ることと、十数TB規模のコヒーレントドメインは、同じ原理の拡張か
- チップレット化はなぜ起きたか。歩留まりと Reticle 限界という2つの独立な理由を区別できるか
同じ「統合メモリでモデルが載る」という体験でも、片方は容量を取って帯域を捨てた選択、もう片方は両方を積層技術で買った選択。手元の機材が遅い理由は設計ミスではなく、意図された象限の違いです。
L2
ノード層 — ルーフライン手元で最も直接的に検証できる層
相似 完全
- 推論の prefill と decode で律速要因がちがうのはなぜか
- decode のトークン生成速度の理論上限は何で決まるか
- KVキャッシュはなぜ帯域と容量の両方を食うのか。その量はコンテキスト長に対しどうスケールするか
- バッチサイズを上げると何が改善し、何が悪化するか（スループット vs レイテンシ vs KVキャッシュ容量）
核となる式：自己回帰デコードは1トークンあたり全重みを1回読む。ゆえに
単一ストリームのトークン毎秒 ≒ メモリ帯域 ÷ モデルバイト数
273GB/s のデスクサイド機で 32B・NVFP4（約16GB）を回すと 273 ÷ 16 ≒ 17 tok/s が理論天井。この式は上位GPUでも一字も変わりません。帯域とモデルサイズを入れ替えるだけ。これが手元の機材が「おもちゃ」ではなく模型である最強の証拠です（§5で実際に動かせます）。
L3
スケールアップ・ドメイン層相似が崩れる第1の境界
相似 崩壊
- テンソル並列（TP）はなぜコヒーレント／超高帯域ドメイン内に閉じ込めるべきなのか。層ごとに All-Reduce が入るという C/C比 の観点で答えられるか
- 「数十GPUを1つの巨大GPUに見せる」ことの本質的な価値は何か。それは帯域か、レイテンシか、プログラミングモデルの単純さか
- 2ノードを 200GbE（実効25GB/s級）で繋いだものは、GPU当たり1.8TB/s級のドメインの相似模型になるか
相似が崩れる第1の境界。約2桁の差があるため、手元の2ノードで測った TP のスケーリング効率はハイパースケールを予測しません。ここで模型は反例装置に変わる——通信が律速する体験を得るための装置として、むしろ教育的価値がある。
L4
スケールアウト層4つの並列化と、トポロジが生まれた理由
相似 崩壊
- 4つの並列化（データ／テンソル／パイプライン／エキスパート）は、それぞれどの通信パターンをどの周波数で発生させるか
- なぜ Rail-optimized トポロジが登場したのか。Fat-tree の何が不都合だったのか
- All-Reduce の通信量は GPU 数にどう依存するか（Ring vs Tree vs 階層型）
- InfiniBand と RoCE の選択は何を賭けているのか。輻輳制御と損失許容という点で、通信規格の設計思想とどこが似ていて、どこが違うか
- 光インターコネクト／CPO はなぜ今、必然になったのか。電気配線の距離×帯域の限界という物理で説明できるか
L3 が「1台に見せる」限界を扱うのに対し、L4 は「見せることを諦めた先」の設計。諦めた瞬間にトポロジ・集団通信アルゴリズム・輻輳制御という3つの独立した技術系統が立ち上がる——これが規模による質的転換の典型例です。
L5
熱・電力層相似が崩れる第2の境界／最も空白が大きい
相似 崩壊
- 空冷から液冷（Direct-to-Chip）への転移点は、どの物理量が決めるのか
- ラック100kW超と、デスクサイド機の数百Wは、体積当たり熱密度では意外に近いのではないか。にもかかわらず冷却方式がちがうのは、何がちがうからか（答えは体積密度ではなく局所熱流束と熱輸送距離）
- PUE は何を測り、何を隠しているか。WUE、CUE との関係
- 同期集団通信が引き起こす電力振動：数万GPUが同時に計算→通信を繰り返すと、数十MW級の負荷が秒スケールで振動する。これは2台では絶対に観測されない現象。系統側は何を要求し、事業者は何で対処するか（蓄電池、ダミー負荷、ファーム側の電力スムージング）
相似が崩れる第2の境界。かつ創発現象。N=2 には存在しない物理が N=10万 で現れる。ここは電力系統工学と計算機科学の交叉点で、どちらの共同体もまだ十分に統合していない——規格も特許も薄い領域です。
L6
系統・立地層なぜ「土地」ではなく「変電設備」で決まるのか
模型に存在しない層
- なぜ立地は「土地」ではなく「変電設備のリードタイム」で決まるのか
- ギガワット級案件で、系統接続・自家発・原子力PPA が議論される順序は何が駆動しているか
- 学習と推論で立地要件はどう非対称か（学習＝遅延無関係・電力最優先／推論＝需要地近接）
L6 は模型側に対応物が存在しません。相似が「崩れる」のではなく「そもそも無い」層。ここは机上の理解に頼るしかない反面、律速がハードウェアでなく調達リードタイムと契約である点で、L8 と直結します。
L7
信頼性・運用層相似が崩れる第3の境界／最も見落とされやすい
相似 崩壊
- MTBF が部品数に反比例するとき、10万GPUの平均無故障時間は分オーダーになる。この条件下で「学習が完走する」とはどういう意味か
- goodput という指標はなぜ必要になったのか
- チェックポイント間隔の最適値は、故障率と保存コストからどう導けるか
- サイレントデータ破損（SDC）はなぜAI学習で特に厄介なのか。損失関数が壊れても学習は「進んでしまう」
相似が崩れる第3の境界。そして最も見落とされやすい。手元の環境では信頼性は前提ですが、ハイパースケールでは設計変数になります。「壊れないようにする」から「壊れ続ける中で前に進む」への転換であり、これは量ではなく質の変化です。
L8
経済・制度層境界＝参入障壁＝IP機会
帰結の層
- 減価償却期間の想定（3年か6年か）が、TCO と、ひいてはトークン価格にどう波及するか
- 電力契約（テイク・オア・ペイ、需給調整参加）が、スケジューラの設計にまで降りてくるのはなぜか
- どの層に標準化が発生し、どの層が独自実装のままか。ノード内高速リンクは独自、Ethernet 系は標準化、冷却は業界団体経由——この分布は何で説明できるか
- 相似が崩れる境界（L3／L5／L7）は、参入障壁であり IP 機会でもある。押さえる側と押さえられる側の、どちらに位置するか
L8 は独立した層ではなく、L0–L7 の帰結が価格と契約に翻訳される層です。相似が崩れる境界＝希少な知識＝参入障壁＝標準化の争点という等式が成り立つなら、知財のマッピングは物理から演繹できることになります。
§5ルーフラインを自分の手で動かす
L2 の核となる式を、そのまま計算機にしました。プリセットを切り替えても式は一行も変わりません。変わるのは帯域とモデルサイズだけ——これが「相似」の実体です。
単一ストリーム上限
17.1 tok/s
273 GB/s ÷ 16 GB = 17.1 tok/s
1トークンあたり
58.6 ms
重みを1回読み切る時間。これ以上速くはならない。
いまの設定
デスクサイド統合メモリ（LPDDR5X 273GB/s）
ここで確かめてほしいこと：帯域を 273 から 8000 に上げると tok/s は約29倍になりますが、式の形は変わりません。逆にモデルを大きくすると、どんな高級機でも同じ勾配で遅くなる。「速いGPU」ではなく「帯域とバイト数の比」が全てを決めている——これが L0 の低精度化（バイト数を減らす）と L1 の HBM 採用（帯域を増やす）が、同じ一つの式の両側から壁を押していることの意味です。
§6学習と推論の非対称性
見落としやすい軸です。「AI計算」とひとくくりにすると、要求する物理がまったく違う3つの状態が混ざります。
prefill/decode 分離（disaggregated serving）が標準的な設計になった理由は、この表の3列目と4列目が要求するハードウェアが違うから。異なる物理に異なる資源を割り当てる——これは L2 のルーフライン理解から論理的に導出できる設計です。手元の環境でも、長文入力（prefill重）と長文出力（decode重）で GPU 利用率のプロファイルがまったく違うことを観測できます。
§7手元の2台で実際に検証できる問い
模型の価値は「測れること」です。特別な機材を足さずに回せるものを5つ挙げます。
- 実験1ルーフラインの再現 — バッチサイズを 1→2→4→8→16 と振り、tok/s を測る。単一ストリームでは帯域律速（§5の天井）、バッチを上げるとスループットが線形近く伸びる領域があり、やがて演算律速か KV容量で折れる。この折れ点の存在自体が、ハイパースケール推論サービスのバッチ戦略の根拠です。
- 実験2B/F比の実測 — NVFP4 と BF16 で同一モデルを比較。速度向上が「演算器由来」なら理論FLOPS比に近づき、「帯域由来」ならバイト数比に近づく。どちらに寄るかで、L0 の問いに実測で答えが出ます。
- 実験3通信の壁を体感する — 32B級を2ノードにTP分割し、単ノード（必要なら量子化を強めて）と比較。おそらく遅くなる。その遅さの量が、専用高速リンクが存在する理由の定量的な答えです。25GB/s と 1.8TB/s の差を身体で理解できる。
- 実験4エネルギー効率の測定 — ワットメータで Token/J を実測。データセンタの MW/EFLOPS 議論と同じ単位に落ちます。ここが最も直接的に「相似」が効く指標です。
- 実験5故障の模擬 — 学習途中でノードを1台落とし、復帰コストを測る。N=2 での MTBF 体験を N=10万 に外挿すると、goodput 問題の切実さが計算で出ます。
§8問いの連鎖の全体構造
物理の不変量
▼
同一 — 0桁
B/F比・演算強度・Token/J
→ 手元の機材は忠実な模型（L0–L2）
2桁ずれる
C/C比（通信）
→ 高速リンク／光／トポロジ が創発（L3–L4）
レジーム転移
熱流束・電力振動
→ 液冷／蓄電池／系統協調 が創発（L5–L6）
N依存で創発
N·λ（故障）
→ goodput／チェックポイント／SDC対策（L7）
▼ すべての境界が ▼
参入障壁 ＝ 標準化領域 ＝ IP機会（L8）
§9どこから掘るか
この構造で最も投資効率が高いのは、L2（実測で完全に理解できる）を足場にして L3 と L5 の境界を攻めることだと考えています。L2 は模型で答えが出るので教材化しやすく、L3／L5 は相似が崩れるがゆえに知識の希少性が高い。とりわけ L5 の電力振動と系統協調は、電力工学と計算機科学のどちらの共同体もまだ十分に統合しておらず、標準化の空白地帯です。
選択肢A ／ L2 の実験設計を詰める
実測 → 教材
§7 の実験1・2・4 を手順化し、数値付きの教材にする。もくもく会でそのまま再現できる形が成果物。
選択肢B ／ L5 を深掘る
空白地帯
同期集団通信による電力振動と系統側の要求を、公開資料から地図化する。規格も特許も薄い領域。
選択肢C ／ L8 のマッピング
境界 → IP
「相似が崩れる境界＝IP機会」の仮説を、実際の特許・標準の分布と突き合わせて検証する。