Transformer と Hugging Face を、
制約から読み直す

2.1ルールベースと機械学習の本質的差異

従来型プログラミングでは、人間が写像 f そのものを記述していました。機械学習で人間が書くのは二つだけです。(a) パラメータ付き関数族（アーキテクチャ）と(b) 損失関数。f はその中から誤差最小化の探索結果として決まります。

• 演繹から帰納への転換。有限の事例から一般化可能な規則性を推定する営みになった。
• 帰結として、成否が 訓練分布が本番分布を代表しているか に本質依存する。これは従来型プログラミングには存在しなかった種類の脆弱性。
• ルールが暗黙にデータへ埋め込まれるため、判断根拠が自明でなくなる。説明可能性という問題はここに起源がある。

2.2なぜ「深く」するのか

• 画像：エッジ → 模様 → 部品 → 物体
• 言語：形態素 → 句 → 構文関係 → 意味

3.1RNN / LSTM が抱えていた三つの制約

• 逐次性 — h_t が h_t−1 に依存する。系列長 T に対し T ステップの逐次計算が不可避で、GPU の並列性を活かせない。
• 情報経路の長さ — 文頭と文末の相互作用に T 回の変換が要る。勾配が繰り返し掛け算され消失／発散する。LSTM のゲートは緩和にすぎず、経路長 O(T) 自体は変わらない。
• 固定サイズのボトルネック — 過去の全情報を有限次元の隠れベクトルに圧縮し続けるため、長文で情報が落ちる。

Transformer の一手は、再帰を捨てて任意の 2 トークン間を 1 回の Attention で直結すること。これで 経路長 O(1) と 逐次依存の消滅 が同時に成立します。

3.2Attention の計算

各トークン埋め込みを 3 つの学習済み行列で射影し、Query（何を探すか）／Key（何を提供できるか）／Value（実際に渡す情報）を得る。Q と全 K の内積でスコアを取り、√d_k でスケールし、softmax で合計 1 の重みへ正規化し、その重みで V を加重平均する。

Multi-Head は複数の部分空間で並列実行する仕組みです。あるヘッドは主語-述語の一致を、別のヘッドは代名詞の先行詞を——というように異なる関係を同時に捉える。単一の注意分布では、どれか一つの関係しか表現できないからです。

3.3並列処理と、その二つの代償

再帰がないので全トークンの Q, K, V を一度に計算でき、Attention 全体が QKᵀ という一回の行列積に帰着します。GPU が最も得意な形式です。ただし代償が二つ。

• 代償 1：順序情報の喪失 — Attention は集合演算（置換同変）。位置エンコーディングで復元する（→ §06.2）。
• 代償 2：O(L²) — 全ペア相互作用のため系列長の 2 乗。長文脈対応が今なお研究課題である根本原因はここ。

3.4画像・音声への応用

Transformer が要求するのは ベクトルの列と位置情報だけ。言語であることは要件ではありません。

4.1入力 ID は意味を持たない

• モデルの実体は微分可能な浮動小数点テンソル演算の連鎖。文字列はその演算対象にならない。
• ID 5023 が ID 12 より「大きい／近い」ということは一切ない。ID は埋め込み行列の行番号で、実質はルックアップ。意味を担うのはその行の学習済みベクトルのほう。
• 語彙を固定サイズにするのは、埋め込み行列の行数と出力 softmax の次元数がそれで決まるから。可変ではモデル形状が定義できない。

4.2未知語をどう扱うか

語彙に 文字（またはバイト）レベルの単位を必ず含める ことで、任意の文字列を既知断片の列へ分解可能にする——これが設計の骨格です。

• byte-level BPE（GPT-2, RoBERTa）は語彙に 256 バイトを全て含むため、原理的に未知語が存在しない。
• 意味的には 合成性 が効く。断片ベクトルの組み合わせから未知語の意味をある程度推測できる。
• ただし細かく割れるほど系列長が伸び、性能とコストの両方で不利。日本語や医学用語が英語より多くトークンを消費する現象がこれ（→ §07.1 の fertility）。

4.3Padding と Truncation

バッチ処理は (batch_size, seq_len) の矩形テンソルを要求します。長さの不揃いは許されない。

5.1三ステージの内部状態変化

• 事前学習：人手ラベルが要らないからこそデータ量をスケールできる。獲得されるのは特定タスクの解法ではなく、言語の統計的構造そのもの。
• ファインチューニング：学習率は事前学習より 1〜2 桁小さく。大きすぎると破滅的忘却を起こす。PEFT なら更新パラメータは全体の 1% 未満（→ §08.1）。
• 推論：model.eval() で dropout 無効化・BatchNorm 統計固定、torch.no_grad() で計算グラフの保持を停止。変化するのはアクティベーションだけ。

5.2pipeline() は何を隠しているか

隠蔽しているのは四つ —— Auto クラスによる設定駆動のクラス解決／キャッシュ管理／前処理・後処理の定型／デバイス配置。この四つを手書きすれば AutoTokenizer + AutoModelForXxx と等価になります。降りるべきタイミングは §06.3 に。

6.1√d_k スケーリング — 消失であって爆発ではない

q_i, k_i が平均 0・分散 1・独立なら、内積 q·k = Σ q_ik_i は平均 0・分散 d_k、標準偏差 √d_k になります。d_k=64 なら典型スコアは ±8、d_k=128 なら ±11。

softmax は入力差が数倍開くと急速に one-hot 化します。そのヤコビアンは diag(p) − ppᵀ で、p が one-hot に近づくと全成分がゼロに漸近する。Attention 重みが事実上ハード選択になった瞬間、W_Q, W_K へ勾配が流れなくなる。学習初期にこれが起きると、注意の割り当て方そのものを学習できないまま固まります。

限界も知っておく：これは初期化時の統計を仮定した近似にすぎません。低精度学習では大きな logit が数値問題を起こすため、近年は QK-LayerNorm（Q/K に直接 LayerNorm）や logit soft-capping が併用されます。

6.2位置符号化 — 並列化の代償を払い戻す

Attention は 置換同変（permutation equivariant） です。入力順を入れ替えると出力も同じく入れ替わるだけで、順序そのものは区別できない。語順情報がアーキテクチャから完全に消えているので、外から足し戻す必要があります。

別解：ALiBi — 符号化そのものを捨て、Attention スコアに距離比例の負バイアスを直接加算する。

6.3pipeline() から降りるべきとき

判断基準は一つ：入出力の契約が既定と一致するか。 降りるべきトリガは、スループット最適化が要るとき／埋め込みや Attention 重みを副産物として使うとき／共有エンコーダ上に複数ヘッドを乗せるとき／量子化・コンパイル済みモデルを差し込むとき。

7.1語彙戦略とドメイン適応 — fertility という指標

単語単位の語彙は Zipf 則により裾が無限に伸びて飽和しません。サブワードがやっているのは、語彙サイズ V と系列長 L の積に対するトレードオフの最適化です。

ドメイン適応の定量指標は fertility（1 単語あたりの平均トークン数）。これが 2 倍になると何が起きるか：

• 実効文脈長が半分（512 トークンで扱える情報量が半減）
• Attention 計算量が 4 倍（O(L²) なので 2 乗で効く）
• API 課金が 2 倍
• 意味的に一体の概念が複数トークンに分散し、表現学習そのものが困難化する

7.2streaming=True の真の違い

8.1LoRA — なぜ 0.4% で足りるのか

• B をゼロ初期化・A をガウス初期化。学習開始時に ΔW = 0、つまり元モデルと完全に等価な状態から始まる。これが安定性に効いています。
• 削減効果：d=k=4096, r=8 なら dk = 16.8M に対し r(d+k) = 65K ≒ 0.4%。オプティマイザ状態（Adam で 12 バイト/param）も同率で削減されるため、メモリ効果は勾配・オプティマイザ側でとりわけ大きい。

表現力が保たれる根拠は Aghajanyan らの 固有次元（intrinsic dimensionality）：事前学習済みモデルの下流適応に必要な更新は、パラメータ空間の極めて低次元な部分空間に収まる。事前学習で汎用表現が獲得済みなので、必要なのは既存特徴の再結合であって新規特徴の獲得ではない、ということです。

8.2Prefix / Prompt Tuning との構造的な差

実務：安定性と推論効率の両面から LoRA が事実上の標準。Prefix Tuning は、単一基盤モデルに膨大なタスク数を乗せてバッチ内で混在させたい場合に利点が残ります。

8.3混合精度と勾配蓄積 — 「50% 削減」を分解する

削減の出所はアクティベーションです。 バックワード用に保持される中間表現は batch × L × d × 層数 に比例し、大規模学習ではメモリの支配項になる。これが半減する。「最大 50%」はアクティベーションが支配的な設定での話です。

マスター重みが必要な理由：fp16 の仮数部は 10 ビットしかなく、1.0 + 0.0001 のような微小更新が丸めで消える。だから更新は fp32 マスターコピー上で行い、fp16 にキャストして forward に使います。

A100 以降は bf16 が推奨です。

勾配蓄積 — 擬似的にしか等価でない五点

PyTorch の .backward() は param.grad に加算します（上書きしない）。この性質を利用して step() と zero_grad() を N ミクロバッチに 1 回だけ呼ぶ。ただし大バッチと等価ではありません。

• アクティベーションメモリは減らない。ミクロバッチ 1 個分のピークは不変。真のメモリ削減には gradient checkpointing を併用する。
• BatchNorm があると等価でない（統計がミクロバッチ単位になる）。Transformer は LayerNorm なので問題なし。
• 勾配クリッピングは蓄積完了後。でないと意味が変わる。
• 損失の正規化を忘れると実効学習率が N 倍。トークン数が可変の因果 LM では、単純な /N ではなく総トークン数での正規化が正しい（2024 年に広く報告されたバグの温床）。
• DDP では no_sync() を使わないと、ミクロバッチ毎に all-reduce が走って通信量が N 倍になる。

8.4DeepSpeed ZeRO — 総量ではなく構造が効く

出発点は「DDP は全 GPU に全状態を完全複製している」という無駄です。混合精度 + Adam で 16 バイト/param、うち 12 バイト（マスター重み 4 + m 4 + v 4）がオプティマイザ状態。7B なら 112GB がそれだけで消える。N 台あるなら重複保持する必要はない。

• Stage 1：勾配 all-reduce 後、各 GPU が担当区画だけ更新して all-gather。all-reduce を reduce-scatter + all-gather に分解しただけなので 通信量は DDP と同じ。
• Stage 2：バックワード中、層の勾配が確定した時点で即 reduce-scatter して担当外を破棄。通信量は依然 DDP と同等。ここまでは実質「ただ得」で、実務の第一選択。
• Stage 3：各 GPU がモデルの 1/N しか保持しない。forward で層 i の直前に all-gather し、計算後すぐ破棄。backward で再度 all-gather。

インターコネクト依存性が強い。 NVLink / InfiniBand なら実用的ですが、10GbE 程度のクラスタでは GPU 利用率が半分以下に落ちることも珍しくありません。Offload はさらに CPU RAM / NVMe へ退避する最後の手段。PCIe（〜32GB/s）は GPU HBM（〜2TB/s）より 2 桁遅く、速度を大きく犠牲にします。

9.1量子化

• 重みは平均ゼロ付近 → 対称
• ReLU 後のアクティベーションは非負 → 非対称

キャリブレーションの役割：重みの分布は静的に既知なので測定不要。問題は入力依存のアクティベーションです。代表データを流して範囲を推定する。

要は クリッピング誤差と丸め誤差のトレードオフ最適化。データは 128〜512 サンプル、本番分布を代表するものが必要です。ドメインがずれると劣化します。

LLM 特有の困難 — 系統的外れ値

Dettmers らの知見。6.7B を超えると、特定の隠れ次元に桁違いに大きな外れ値（他の 100 倍以上）が系統的に出現し、per-tensor 量子化を破壊します。

PTQ の限界：4 ビット以下や小規模モデルでは劣化が無視できず、QAT（straight-through estimator で疑似量子化を通す）が必要になります。

9.2知識蒸留 — dark knowledge を運ぶ

ハードラベルは「犬」としか教えません。教師の出力分布「犬 0.9 / オオカミ 0.08 / 猫 0.015 / 車 0.000001」は 誤答クラス間の相対的な類似構造を含んでいる。Hinton の言う dark knowledge です。

• 情報量：ハードラベルは 1 サンプルあたり log₂C ビット未満。C 次元の連続分布はその何倍もの信号を運ぶ。
• 生徒はより少ないサンプルで学習でき、教師が獲得した滑らかな決定境界（＝汎化）を直接転写できる。
• ラベルノイズを教師が平滑化する正則化効果も持つ。

T=1 が通常。T>1 で平坦化、T→∞ で一様、T→0 で one-hot。目的は 確率がほぼゼロのクラス間の相対的な大小関係を可視化することです。0.000001 と 0.0000001 の差は T=1 では損失にほぼ寄与しないが、これこそ教師の持つ細かい類似度情報。実用域は T = 2〜10。

KL を使う理由：目標が「教師分布の再現」であり、分布間距離の自然な尺度だから。KL(P‖Q) = H(P,Q) − H(P) で H(P) は生徒パラメータに関して定数なので、勾配としては交差エントロピーと同一になります。

発展形：DistilBERT は上記に加えて隠れ状態のコサイン類似度損失を併用し、さらに生徒を教師の層から間引いて初期化する（表現空間の整合が学習を容易にする）。FitNets は中間層の特徴マップを合わせ、Attention Transfer は Attention 行列を転写します。

10.0用語の整理（先に）

「Late Fusion＝文字列連結」「Early Fusion＝クロスアテンション統合」という説明は、RAG 文献の一般的用法とは逆です。Izacard & Grave の FiD が "Fusion-in-Decoder"（＝後段での融合）と命名されている通り、クロスアテンション統合は通常 late / deep fusion 側に分類されます。本稿では機構名で呼び分けます。

実務でこの語を使うときは、定義を明示するのが安全です。

10.1入力連結型 — 現行 RAG の圧倒的多数

メリット：実装が単純（プロンプトテンプレートのみ）／生成モデル無改変で閉じた API モデルにも使える／検索器と生成器を独立に差し替え可能／引用元の追跡が容易。

10.2周辺化型と FiD

Lewis らのオリジナル RAG は、検索文書を潜在変数 z として扱い明示的に周辺化します。

検索スコアの統合機構の実体：p_η(z|x) は DPR の質問／文書エンコーダ内積を top-k 上で softmax したもの。k 個の (x, z_i) ペアを BART エンコーダに通し、デコーダのクロスアテンションが各文書表現を参照する。「動的に統合される」の実体は、デコーダ出力の対数確率に log p_η(z|x) が加算されて周辺化されることです。

FiD は周辺化を省き、k 文書を別々にエンコードして、その出力を連結したものにデコーダがクロスアテンションを張る。エンコーダ計算量が O(kℓ²)（ℓ＝1 文書長）で済み 100 文書規模までスケールします。入力連結型の O((kℓ)²) に対する明確な優位。

10.3BM25 と密ベクトル検索

• k₁（1.2〜2.0）＝ 項頻度の飽和。20 回出ても 10 回の 2 倍にはならない。
• b（0.75）＝ 文書長の正規化。
• IDF ＝ 希少語の重み付け。

数理的には語彙空間（数十万次元）における疎ベクトルの重み付き内積。転置インデックスで候補文書のみ走査するため高速です。ただし語の一致が前提なので、「腎臓」と「renal」は無関係と判定される。

密検索はバイエンコーダで ℝ⁷⁶⁸ 程度へ写像し、幾何的近さで測ります。対照学習を通じて意味的近接性が距離に埋め込まれる。同義語・言い換え・多言語をまたげる一方、訓練分布外の固有名詞・型番・略語に弱い。ABC-1234X は BM25 なら確実に当たるが、密ベクトルでは埋もれます。

10.4コサイン類似度 vs L2 距離 — 静かに壊れる罠

L² 距離は cos の単調減少関数。つまり 正規化済みなら L2 と内積の検索順位は完全に一致します。計算が軽い方（FAISS では METRIC_INNER_PRODUCT）を選べばよい。

選択基準は埋め込みモデルの訓練目的に従う。これが唯一の正解です。

E5 系のように prefix（query: / passage: ）の指定があるモデルは、それも守らないと性能が大幅に落ちます。

10.5FAISS のインクリメンタル更新

劣化のメカニズムは分布ドリフトです。訓練時と異なる分布のデータを追加し続けると、① リスト長が不均衡化（特定セルに集中）してそのセルに当たったクエリのレイテンシが悪化し、② 新分布の密な領域にセントロイドが無いため、同じ nprobe でのリコールが落ちる。

対処：リスト長の分散と recall@k を監視し、閾値超過でバックグラウンド再訓練・再構築 → 原子的差し替え（blue-green）。FAISS はオンライン部分再クラスタリングを提供しないため、インデックス全体の再構築が標準です。

• 削除：remove_ids() は IVF では動作するがリストの詰め直しで高コスト。HNSW は削除を実質サポートしません（グラフ構造が壊れる）。運用は tombstone 方式（削除フラグを外部保持し検索後にフィルタ）＋定期再構築。
• ID 管理：内部連番が振られるため、IndexIDMap でラップするか add_with_ids() で外部 ID を紐付ける。

n_list ≈ 4√N が経験則。

10.6Milvus のシャードとパーティション

両者は目的が異なります。

アーキテクチャの要点はストレージとコンピュートの分離です。実データを S3/MinIO に置き、QueryNode はセグメントをロードして応答するだけのステートレスに近い存在にする。だから水平スケールが容易で、ノード追加時は既存セグメントが再配分（load balance）されます。数十億規模ではこれに DiskANN（メモリに収まらないインデックスを SSD へ）、PQ 圧縮、レプリカによる読取スケールを組み合わせる。

11.1動的バッチング — 固定長出力の場合

• GPU は数千コアの並列演算器。バッチ 1 では演算器の大半が遊ぶ。
• 重み行列を HBM から読み出すコストがバッチサイズによらず一定 → バッチ 1 と 32 で所要時間がほとんど変わらない（メモリ帯域律速）。
• つまりバッチ 1 で処理するのは、スループットを 1/32 に捨てているに等しい。
• しかし本番ではリクエストは無関係なクライアントから 1 件ずつ届く → サーバ側で人為的に集約する。

11.2生成モデルでは、この設計が不適切になる

解決は continuous batching（in-flight batching）。トークン生成の各ステップでバッチ構成を組み替えます。完了したシーケンスを即座に抜き、待機中リクエストを即座に入れる。vLLM の PagedAttention は KV キャッシュを OS の仮想メモリのようにページ単位で管理し、断片化を排して同時実行数を大幅に増やします。

12.1ReAct ループ — 制御の実体

1. ツール名・説明・出力フォーマットを記述したプロンプトを組む
2. LLM を呼ぶ。停止シーケンス "Observation:" を指定する（これが決定的。指定しないとモデルはツール結果まで自分で捏造して続ける）
3. 出力を正規表現でパースし Action / Action Input を抽出
4. ツール実行 → 結果を Observation: として文字列に追記
5. 履歴全体を再投入。Final Answer が出るまで反復

現代的な代替：ネイティブ tool calling（構造化 JSON でツール呼出を返す API 機能）がテキストパースの脆さを根本解消し、並列ツール呼出にも対応します。新規実装で ReAct のテキストパース方式を選ぶ理由はほぼありません。ただし Thought → Action → Observation という認知ループの構造自体は不変で、tool calling はその実装層を置き換えただけです。

12.2タスク分解の三つの型

LangGraph 等の状態機械ベースが主流化した理由は、制御を暗黙のプロンプトではなく明示的なグラフとして書けるからです。分岐条件・リトライ・人間の承認ゲート・チェックポイント再開を、コードとして検証可能な形で表現できる。

12.3RabbitMQ vs Redis — 判断軸は速度ではない

Redis Streams がこの対比で重要です。Pub/Sub の欠点を埋める後発機能で、追記型ログ、コンシューマグループ、XACK、pending entries list による再配送、AOF/RDB 永続化を備える。RabbitMQ に近い保証を Redis のレイテンシで得る中間解です。

CNN には二つの帰納バイアスがアーキテクチャに焼き込まれています。局所性（近傍ピクセルのみ結合）と平行移動同変性（同じフィルタを全位置で共有）。この事前知識のおかげで、比較的少ないデータで学習が成立します。

ViT はこれをほぼ全部捨てます。パッチ分割の中に弱い局所性が残り、位置埋め込みが座標を与えるだけ。代わりに 第 1 層から受容野が画像全体になる。CNN が「局所特徴を積み上げて徐々に大域へ」なのに対し、ViT は最初から任意のパッチ対を直結できます。

DeiT が蒸留トークンを使って ImageNet だけで戦えるようにしたのは、CNN 教師から帰納バイアスを転写する迂回路と読めます（→ §09.2 の蒸留）。データで買えないなら、教師から借りる。

現実の解は融合です。Swin Transformer はウィンドウ分割＋シフトで局所性を戻しつつ階層構造を持たせ、ConvNeXt は逆に CNN 側を ViT の設計思想で作り直しました。両側から歩み寄っている。

14.1従来の BPE 実装が隠していた前提

従来の BPE 実装は「空白で単語に分ける」という前処理（pre-tokenization）を暗黙の前提にしていました。これが二つの問題を生みます。

• 空白のない言語で成立しない。 日本語・中国語・タイ語では MeCab や Jieba のような外部の形態素解析器を挟む必要があり、その辞書とバージョンが再現性の依存先になる。モデルを配布しても、受け取った側が同じ辞書を持っていなければ同じ分割にならない。
• 可逆性が失われる。 空白で切って結合すると、連続空白やタブが復元できない。

14.2解 — 空白を「ただの 1 文字」にする

SentencePiece の解は、入力を生の Unicode ストリームとして扱い、空白を含めて記号 ▁（U+2581）に置き換えてから学習することです。空白が特別扱いでなくなり、単なる 1 文字になる。

• 完全可逆 —— detokenize(tokenize(x)) == x がバイト列レベルで保証される
• 言語非依存 —— 外部解析器が不要
• 前処理が学習済みモデルに内包される —— 配布物が自己完結する

14.3それでも残るトレードオフ

この二段構えを採ると、§14.1 で挙げた「辞書とバージョンが再現性の依存先になる」問題が部分的に戻ってきます。何を優先するかの判断であって、正解が一つあるわけではありません。

実務で問題になる区分は full fine-tuning vs feature extraction（linear probing） なので、そう読み替えます。

原理的なトレードオフの本質は「事前学習表現が下流タスクに対して線形分離可能か」です。ドメインが近ければ（ImageNet → 一般物体）線形プローブで十分。遠ければ（自然画像 → 医用 X 線、一般文書 → 特許明細書）特徴自体を作り直す必要があり、full FT が要る。

15.1見落とされやすい二つの知見

実務の順序：線形プローブでベースラインを取り、不足なら LoRA、それでも足りなければ full FT。最初から full FT に行くのは、コストとリスクの両面で非効率です。しかも LP-FT の知見からすると、full FT に行く場合でも「まずヘッドを収束させる」一手を挟むほうが安全になります。

16.1学習率 — 効くのはスケジュール

更新式 θ ← θ − η∇ における η の役割は自明ですが、実務で効くのはスケジュールのほうです。

• ファインチューニング時に 1〜2 桁下げる理由は破滅的忘却の回避（→ §05.1）ですが、加えて 層別学習率（discriminative learning rate）も有効です。下層ほど汎用的な表現を持つので学習率を小さく、上層ほど大きくする。ULMFiT 以来の定石で、full FT の破壊性を緩和します（→ §15.1 の feature distortion と同じ問題への別解）。
• バッチサイズとの関係：バッチを k 倍にしたら学習率も k 倍（linear scaling rule）が経験則。ただし大バッチでは √k 倍のほうが良いという報告もあり、どちらも近似です。勾配蓄積で実効バッチを増やしたなら、学習率も合わせて上げないと効果が出ません（→ §08.3）。

16.2重み減衰 — SGD では等価、Adam では等価でない

SGD では両者は等価です。損失に (λ/2)‖θ‖² を足すと勾配に λθ が加わり、更新は θ ← θ − η(∇L + λθ) となる。これは減衰そのものです。

Adam では等価になりません。 L2 項を損失に入れると、その寄与も √v で割られるからです。

つまり Adam + L2 では 勾配の大きいパラメータほど正則化が弱くなる。「大きく動いているパラメータこそ抑えたい」という意図と正反対です。AdamW はこれを分離し、全パラメータに一様な減衰をかけます。Transformer の学習で AdamW が事実上の標準になっているのは、この一点の修正の効果です。

通常の backward は、連鎖律の計算に各層の入力が必要なので、forward 時の全アクティベーションを保持します。層数 n に対しメモリ O(n)。

チェックポインティングは、一部の層（チェックポイント）の出力だけ保存し、残りは破棄する。backward でその区間に来たら、直前のチェックポイントから forward を再実行して必要なアクティベーションを復元します。

17.1メモリ節約手法の位置づけ

この表は §08 の対話パネルで実際に動かせます（checkpointing / LoRA / QLoRA のトグル）。

17.2OOM が出たときの診断

この切り分けを飛ばして手当たり次第に試すと、効かない手法に時間を使うことになります。§22 の D4「制約が設計を決める」の、最も日常的な適用例です。

18.1ONNX — 最適化しているのは ONNX ではない

原理は「動的グラフから静的グラフへの転換」です。PyTorch の eager 実行は、Python インタプリタが 1 演算ずつカーネルを起動する。エクスポート時にグラフ全体が確定すると、実行前に全体を見渡した最適化ができるようになります。

18.2Accelerate — 置き換えではなく薄いラッパー

設計思想がここに出ています。Trainer が学習ループごと引き受けるのに対し、Accelerate は ループを手元に残したまま分散化します。

バックエンド抽象化が核心です。同じコードのまま、accelerate config の設定だけで 単一 GPU / DDP / FSDP / DeepSpeed / TPU / Apple MPS を切り替えられる。ZeRO Stage の変更が YAML の 1 行になる（→ §08.4 の降り順が設定変更だけで試せる）。これが「コードを修正せずに」の実体です。

19.1CLIP — 融合しない。整列させるだけ

やっているのは、両エンコーダの出力を同じ埋め込み空間に写像し、N 枚の画像と N 個のキャプションの N×N 類似度行列を作って、対角成分（正しいペア）が最大になるよう対照学習することだけです（InfoNCE）。

N 個の負例が同時に効くため、バッチサイズが性能に直結します（原論文は 32,768）。この構造ゆえです。

19.2Whisper — こちらは本当に融合している

Whisper は全く違う機構です。音声を対数メルスペクトログラムにして Audio Encoder に通し、Text Decoder がクロスアテンションでそのエンコーダ出力を参照しながらトークンを自己回帰生成する。標準的な seq2seq です。

ここでは融合が起きています。ただし方向は 音声 → テキストの一方向で、対称ではありません。マルチタスクをタスクトークン（<|transcribe|> / <|translate|> / 言語タグ）で切り替えるのが設計上の特徴です。

19.3三つのパターンとして整理する

三番目が現在の主流です。LLaVA が典型で、CLIP の視覚エンコーダ出力を MLP プロジェクタで LLM の埋め込み次元に写像し、画像をただのトークンとしてテキストと同じ列に並べる。以降は LLM が自己注意で両者を区別なく扱います。

20.1継承の原理 — 四つの経路

20.2緩和手法と、その限界

20.3説明責任 — Attention 重みは説明ではない

評価ベンチマーク：StereoSet、CrowS-Pairs、WinoBias、BOLD、HolisticBias。ただしこれらも英語中心で、日本語を含む多くの言語で十分な評価資源が存在しません。日本語で運用するなら、既製ベンチマークの通過は根拠として弱い、と考えるべきです。

20.4実務としての結論 — 制度で受け止める

技術的緩和には上限があり、残るのはプロセスの問題です。Mitchell らの Model Cards と Gebru らの Datasheets for Datasets が提案した方向 —— 訓練データの由来、評価した集団と結果、意図された用途と意図されない用途を文書化して開示する —— が、現時点で最も実効性のある枠組みです。EU AI Act の高リスク分類、透明性義務、技術文書要件も基本的にこの線に沿っています。

訓練 — VRAM が足りない

推論 — レイテンシ / コストを下げたい

RAG — 検索品質が出ない

インフラ選定 — 境界はどこか

数式インデックス