世界を数式で描く　03 / 05 もくもく会トップ
SERIES 世界を数式で描く ― 03

動画生成AIは物理を理解しているのか「もっともらしい」と「正しい」の分かれ目

文章から作られた動画は、驚くほどリアルです。ボールは弾み、水は流れます。では、動画生成AI は物理の法則を身につけているのでしょうか。研究で分かっていることと、触って確かめられる例えで考えます。

この記事で持ち帰る3行
  1. 拡散モデルは「ありそうな動画」の分布を学ぶ。方程式は持たない
  2. 見た目がリアルでも、物理を理解している証拠にはならない
  3. 物理の発見の核心は「どの変数で書くか」にある

動画生成AIは何を学んでいるか

01の3経路でいう経路 C です。動画生成AI の多くは拡散モデルという方式で作られています。大量の動画から「動画としてありそうな画素の並び」の統計（確率分布）を学び、生成するときは、ノイズだけの状態から少しずつノイズを取り除いて、ありそうな動画を取り出します。

物理の法則は、どこにも明示されていません。学習した重みの中に、統計的な相関として暗黙に入っているだけです。だから問題は、その相関が、学習したことのない状況でも法則どおりに働くかです。

V03-2例え

ノイズから分布へ

何を見るか背景の濃淡が「ありそうな場所」の分布です（3つの山）。点はノイズだらけの位置から出発し、「ありそうな方向」（スコア）に少しずつ進みます。ノイズの大きさを段階的に下げていくと、点が分布の形に集まります。 触ってみよう再生して、点がまず大まかに3つに分かれ、次に山の形にまとまるのを見る。
例えです。本物の拡散モデルは、スコアを大量のデータからニューラルネットで学びます。ここでは学習済みモデルの代わりに、式で書ける分布（3つの正規分布の重ね合わせ）の正解のスコアを使い、ランジュバン動力学で点を動かしています。ノイズの大きさは 3.0 から 0.05 まで、10段階で下げています。
数式で見る
x ← x + (ε / 2) · ∇ log p_σ(x) + √ε · z,　　z は標準正規分布の乱数

∇ log p_σ(x) が「スコア」で、分布の密度が高くなる向きを指します。p_σ は、もとの分布をノイズの大きさ σ でぼかしたものです。混合正規分布なら、ぼかした分布も混合正規分布（各成分の分散に σ² を足したもの）なので、スコアを正確に計算できます。σ を大きい値から小さい値へ下げていくのが、拡散モデルの生成の考え方です。

研究で分かっていること

研究分かったこと示唆
Kang ほか「How Far is Video Generation from World Model: A Physical Law Perspective」（ICML 2025）物体の移動と衝突を扱う2D のシミュレーションで、古典力学に従う動画を作り、拡散モデルで動画を生成するモデルを学習させた。学習した範囲の内側では完全に近く予測できたが、外側では失敗した。モデルは一般的な法則を取り出しておらず、最も近い学習事例をまねる「事例ベース」の汎化をしていた。事例を参照するときの手がかりの優先順位は、色 ＞ 大きさ ＞ 速度 ＞ 形。規模を大きくするだけでは法則は見つからない、と結論している物理と関係のない手がかり（色）に頼っている
Motamed ほか「Do generative video models understand physical principles?」（2025年）物理の理解を測るベンチマーク用データセット Physics-IQ（流体・光・材料の力学・電磁気・熱などを含む）で、Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoet を評価した。物理の理解は大きく限られ、見た目のリアルさとは無関係だった。ただし一部の問題はすでに解けている「リアルに見える」は「物理的に正しい」の証拠にならない
Garrido ほか「Intuitive physics understanding emerges from self-supervised pretraining on natural videos」（2025年）自然な動画の結果を、画素ではなく学習した表現の空間で予測するよう学習したモデルに、物体の永続性（見えなくなっても物は消えない）や形の一貫性といった直観的な物理の理解が現れた。画素を予測するモデルは偶然に近い成績だった「何を予測させるか」が理解の質を決める

出典：arXiv:2411.02385、arXiv:2501.09038、arXiv:2502.11831（いずれも要旨を2026年10月21日に確認）

1本目の「事例ベース」と「色への依存」を、手で触れる大きさにしたのが次の例えです。

V03-1例え

事例をまねる予測と、法則で解く予測

何を見るか45度の角度で投げたボールの飛び方を予測します。学習データは、初速1〜5 m/s の9本の軌道（薄い線）で、ボールの色は初速ごとに違います。緑の線は運動の式で計算した正解、橙の線は「いちばん近い学習事例の軌道をそのまま返す」予測です。 触ってみよう① 初速を 1〜5 の間で動かす（2本はほぼ重なる）。② 初速を 5 より上げる（橙だけが外れる）。③「色を手がかりにする」を入れ、ボールの色だけを変える（同じ初速なのに予測が変わる）。
例えです。論文の実験の再現ではありません。論文の「最も近い学習事例をまねる」「色を優先する」という結果を、仕組みが見える大きさに縮めたものです。学習データでは、初速と色が一対一に対応しています（遅いほど赤、速いほど青）。

核心：変数の選び方

物理学の発見の本当の中身は、方程式そのものより、「どの変数で書くか」の選択にあります。質量、運動量、エネルギー。これらの変数を選んだとたん、法則は短く、どこでも使える形になります。

動画生成AI には、変数が与えられていません。見えているのは画素の並びだけです。だから、色のように見た目には効くが、物理とは関係のない手がかりに引きずられることがあります。上の例えで「色を手がかりにする」を入れたときに起きたのが、それです。

知財で言えば　実施例をいくら大量に集めても、上位概念のクレームが書けないと、実施例から離れた態様は捉えられません。事例ベースの汎化は、実施例を並べた明細書に似ています。法則は、うまく書けた上位概念のクレームに似ています。

理解の判定：因果の梯子

「再現できる」と「理解している」は同じでしょうか。判定の物差しとして、問いを3段に分ける考え方があります（因果の梯子）。上の段ほど、見たものの統計だけでは答えられません。

V03-3

どの段の問いに答えられるか

何を見るか3段の問いに、動画生成AI と物理シミュレータがそれぞれ答えられるかの目安です。 触ってみよう上のボタンで答える側を切り替える。
目安であって、測った結果ではありません。動画生成AI の評価は、上の研究と、方程式を持たないという作りから考えたものです。

2つの経路は融合しつつある

経路 A（方程式で計算する）と経路 C（統計から生成する）は、対立しているだけではありません。パストレーシングも拡散モデルも、「ノイズから出発して、だんだん正しい画像に近づける」点は同じです。02で見たとおり、Blender のノイズ除去自体がニューラルネットです。

点の集まりを画像との誤差で最適化する 3D Gaussian Splatting（05）、場面を連続関数で表す NeRF、レンダリングの計算を微分できる形にして逆算に使う微分可能レンダリングなど、2つを組み合わせる試みが続いています。

用語集

拡散モデル
ノイズを少しずつ取り除いて、学習したデータに似たものを生成する方式
確率分布
どんなデータがどれくらい「ありそう」かを表したもの
スコア
確率分布の密度が高くなる向き。拡散モデルが学ぶもの
ランジュバン動力学
スコアの向きに進みながら乱数で揺らし、分布に従う点を作る方法
汎化
学習したことのないデータにも、正しく対応できること
学習分布の外
学習データが含まなかった範囲（たとえば、より速い初速）
事例ベースの汎化
法則を取り出さず、最も近い学習事例をまねて答えること
因果の梯子
観察・介入・反実仮想の3段に問いを分け、どこまで答えられるかで理解を測る考え方

この記事の問い