Registry Economics

Hugging Face は何のレジストリか

GitHub / Docker Hub / npm と並べて読むと、この会社の輪郭がはっきりする。 Git との関係、Xet のチャンク重複排除、オープンウェイトとオープンソースの違い、 そして「無料で配って企業から回収する」事業構造まで、一次情報で裏を取りながら整理する。

2026-08-12 一次情報で裏取り済み 単一HTML・外部依存なし

結論を先に

Hugging Face は CDN ではない。GitHub / Docker Hub / npm と同じ「レジストリ(登録所)」の系譜にある。 ただし扱う対象が数十〜数百GBのバイナリであるため、GitHub よりはるかにインフラ寄りの技術投資 (独自ストレージ Xet、CDN、オブジェクトストレージ、サーバーレスGPU)を強いられ、 結果として収益構造とインフラ技術は Cloudflare 型、握っている資産は GitHub 型という ハイブリッドになっている。

一行でまとめるなら —— GitHub の立ち位置を、CDN 企業の技術と経済構造で実現している会社

01まず並べる — 4つのレジストリ

ソフトウェアの世界には「作ったものを登録して、世界中の誰かが取りに来る場所」がいくつかある。 それぞれ扱う単位が違うだけで、構造はよく似ている。

レジストリ登録される単位1件の典型サイズ標準を握る道具取得コマンド
GitHubソースコード数MBGit + Pull Request 文化 git clone
npmJavaScript パッケージ数十KB〜数MBpackage.json / 依存解決 npm install
Docker Hubコンテナイメージ数十MB〜数GBDockerfile / OCI 規格 docker pull
Hugging Faceモデルの重み・データセット 数GB〜数百GBtransformers from_pretrained()

どれも同じ型を踏んでいる。開発者が毎日打つコマンドのデフォルトの参照先を無償で押さえ、 企業からだけ回収する。 この型が成立すると事業として非常に強く、実際 GitHub は 2018年に Microsoft へ約75億ドルで買収され、 その GitHub が 2020年に npm を買収している[15][16]。 レジストリは、買うだけの価値がある資産だと市場が実証している。

GitHub が「原稿を書く編集部」、npm が「部品問屋」、Docker Hub が「完成品の梱包倉庫」だとすると、 Hugging Face は「刷り上がった百科事典を配る物流センター」。 どれも本を扱うが、1冊がノート1冊分か、軽トラック1台分かで、必要な設備がまるで変わる。

02誤解の解消 — Hugging Face Hub は Git そのもの

「Hugging Face は Git や GitHub とは別物」という理解から入ると、かえって全体像を見失う。 実際には Hugging Face Hub のリポジトリは、本物の Git リポジトリである。 コミット履歴があり、ブランチがあり、Pull Request がある。

この記事の執筆にあたって、実際に git clone できることを確認した。

$ git clone https://huggingface.co/spaces/lysandre/hf-japan-inspired-lab
Cloning into 'hf-japan-inspired-lab'...
Filtering content: 100% (92/92), 37.82 MiB | 2.26 MiB/s, done.

$ git log --oneline -3
0450c47 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026
194d381 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026
96dd4e7 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026

URL のパスも huggingface.co/<組織名>/<リポジトリ名> という GitHub とまったく同じ形をしている。 UI もそっくりで、Files タブ、Commits タブ、Discussions タブ(Issues 相当)が並ぶ。

では何が違うのか。中身のファイルの性質である。

GitHub(コード)Hugging Face(モデルの重み)
1ファイルの大きさ数KB〜数百KB数GB〜200GB
中身人間が読めるテキスト人間には読めない数値の羅列
差分(diff)の意味「この行が変わった」と読める読んでも何もわからない
主な使われ方変更を積み重ねて育てる丸ごと取得して実行する
1リポジトリの版数数千〜数万コミット数版〜数十版

Git は本来「小さなテキストファイルの変更履歴を追う」ために設計されている。 そこへ 100GB のバイナリを放り込むと破綻する。 そこで従来は Git LFS(Large File Storage)という拡張が使われてきたが、 LFS は「ファイルが変わった」ことしか検知できず、1バイトでも変われば版まるごと別途保存する

Git LFS の何が問題か

70B クラスのモデルをファインチューニングして、5つの版を公開したとする。 重みの大部分は凍結されていて実質変わっていないのに、LFS は 140GB × 5 版 = 700GB を素直に保存する。 アップロードもその分の時間がかかる。これが Hugging Face が独自ストレージを作った動機である。

03Xet — チャンク重複排除の仕組み

Hugging Face は 2024年8月にシアトルのスタートアップ XetHub を買収し、 Git LFS を置き換える独自ストレージバックエンド Xet を導入した[4]。 仕組みの核心は CDC(Content-Defined Chunking:内容依存チャンク分割)である。

ステップ1 — ファイルを「内容で」刻む

ファイルを 平均 64KB のチャンク(塊)に分割する。ここが肝で、 「64KB ごと」という固定位置では切らない。 バイト列の上をローリングハッシュという小さな計算式が滑っていき、 ハッシュ値が特定のパターンに当たった位置を境界にする。 境界の位置が内容そのものによって決まるので、同じ内容の領域は常に同じチャンクになる。

なぜこれが決定的なのか。文章で試すとすぐわかる。

A. 固定長で切った場合(6文字ずつ)— 途中に "very " を挿入
The quick brown fox jumps over the very lazy dog
8個中3個のチャンクが変化 — 挿入位置より後ろの境界が全部ずれた
B. 内容依存で切った場合(CDC)— 同じ挿入
The quick brown fox jumps over the very lazy dog
4個中1個だけが変化 — 編集の起きたチャンク以外は1バイトも変わらない

※ この例は Hugging Face 公式ドキュメントに掲載されている図を再現したもの[3]。 実際のチャンクサイズは 64KB なので、固定長方式では「5バイトの挿入で数百MB分のチャンクが無効化される」ことになる。

ステップ2 — 既にあるチャンクは送らない

各チャンクのハッシュを、3段階で照合する。

① 今回の転送内同一アップロード内の重複を先に潰す
② ローカルキャッシュ過去に自分が上げたメタデータと照合
③ グローバル照会Xet ストレージ全体に問い合わせ

いずれかにヒットしたチャンクはまるごと送信をスキップする。 ここが重要なのだが、③ の照合対象は自分のリポジトリだけではない。 Xet ストレージ全体である。 つまり 他人が既に上げた同一チャンクにも相乗りできる

ステップ3 — 新しいチャンクだけを 64MB ブロックにまとめて保存

ファイル例: 20GB
CDC 分割約 312,500 チャンク
重複 → 破棄送信しない
新規 → 64MB ブロックまとめて転送
CAS に保存ハッシュをキーに1回だけ

保存先は CAS(Content-Addressed Store:内容アドレス指定ストア)。 ファイル名ではなく中身のハッシュ値が住所になるので、 同じ中身は世界中で物理的に1つしか存在しない。

図書館が本を1冊ずつ丸ごと保管するのをやめて、「段落」単位で保管するようにしたと思えばいい。 改訂版が来ても、変わった段落だけを新しく棚に入れ、あとは「1版と同じ段落を参照」という札を貼るだけで済む。 しかも「他の本と全く同じ段落」があれば、それも共有できる。

この設計が生む、地味だが効く副作用

公式ベンチマークでは、反復的な開発の3ユースケースにおいて Git LFS 比でストレージ・転送性能ともに一貫して約50%の改善が報告されている[5]。 技術的な源流は XetHub 創業陣による論文 Git is for Data(CIDR 2023)[17]

04Hub の三層 — Storage / Compute / Community

Hugging Face は自社の Hub を「ひとつのプラットフォーム、三つのレイヤ」と説明している。 この整理が、後の事業構造の話にそのまま効いてくる。

Storage

保存するもの

Everything you save.

  • Models — 約298万件
  • Datasets — 約99.7万件
  • Buckets — ML特化オブジェクトストレージ
Compute

実行するもの

Everything you run.

  • Spaces — デモ・アプリのホスティング
  • Jobs — サーバーレスの学習・評価
  • Inference Endpoints — 本番用API
Community

共有するもの

Everything you share.

  • Papers — arXiv連携の日次論文
  • Discussions — PR・Issue・議論
  • Posts — コミュニティフィード

モデル数・データセット数は 2026年8月12日時点で huggingface.co/models / /datasets に表示されていた実数(2,984,565 件 / 997,247 件)[1][2]

三層のうち、どこが「防壁」なのか

素朴に読むと Storage が本体に見えるが、置き場所そのものは代替可能である。 S3 でもいい。実際の防壁は、Storage の下に敷かれたCommunity の側にある。

モデルページには、そのモデルを使った Spaces、派生モデル(ファインチューニング系列)、 引用論文、Discussions が自動で紐づく。 「重みファイル」が「文脈つきの資産」に変わるのがここで、 これは単なるファイル置き場では複製できない。 GitHub のスター数・Issue・PR 履歴が移行の壁になるのと同じ構造である。

05オープンウェイト ≠ オープンソース

ここは実務上いちばん誤解が高くつくところなので、定義から詰める。

オープンウェイト(open weights)
学習済みのパラメータ(重み)がダウンロードできる状態。走らせられるし、追加学習もできる。

オープンソース AI(open source AI)
OSI(Open Source Initiative)が 2024年10月28日に公表した OSAID 1.0 の基準を満たす状態[8]。要件は3つ。

OSAID 1.0 が要求するもの中身Llama 系は?
① 学習・実行のコード OSI承認ライセンスの下で提供されること 部分的
② 重みとパラメータ 使用・研究・改変・再配布が自由な条件で提供されること 条件付き
③ データ情報 訓練データの出所・処理・入手方法が、 熟練者が実質的に再現できる程度に開示されること 非開示

オープンソースは「レシピと仕入れ先を全部公開する」。 オープンウェイトは「完成した料理を持ち帰らせてくれるし、味を足してもいい。でもレシピは教えない」。 どちらも「オープン」と呼ばれるが、再現できるかどうかが決定的に違う。

ライセンスの罠 — Llama の3つの制限

Llama Community License は、真のオープンソースライセンスには存在しない 3種類の制限を含んでいる[9]

  1. 規模の閾値 — リリース日の前月時点で 月間アクティブユーザー7億人を超えるサービスを提供している場合、 Meta に別途ライセンスを請求する必要がある。付与するかは Meta の裁量。
  2. 競合制限 — ユーザー数に関係なく、一定クラスの製品への利用が禁じられる。
  3. 競合モデルの学習禁止 — Llama を使って競合する AI を改良・学習させてはならない。

①はほぼ全ての企業にとって理論上の話にとどまるが、 ②③ は規模に関係なく効く。「オープンだから自由」で通すと足をすくわれる。 OSI 自身も「オープンウェイトは、あなたが聞かされてきたものとは少し違う」という記事を出している[10]

簡易判定 — そのモデルは「オープンソース AI」か

4つの項目をチェックしてください

06事業構造 — 無料で配って、企業から回収する

公開されている価格表は明快である[7]

プラン価格中身
無料$0公開リポジトリの作成・取得は無制限に近い
PRO$9 / 月プライベート容量10倍、推論クレジット20倍、ZeroGPU枠8倍
Team$20 / ユーザー / 月SSO、データ保管地域の指定、監査ログ、粒度の細かい権限管理
Enterprise$50 / ユーザー / 月上記+SCIMプロビジョニング、最上位レート制限、専任サポート

注目すべきは、有料プランの中身がほぼ全てコンプライアンス機能だということ。 SSO、監査ログ、データ保管地域、権限管理、SOC 2 / GDPR 対応。 「AI が高性能になる」ことには一切お金を取っていない。 企業が社内規程を通すために必要なものだけを売っている。

ストレージは、明示的に価格勝負を挑んでいる

提供者価格($/TB/月)備考
HF Hub(公開)$12 〜 $8500TB以上で $8 まで逓減
HF Hub(非公開)$18 〜 $12同上
Backblaze B2$15HF の価格表に併記
AWS S3$23HF の価格表に併記

※ 出典は Hugging Face 自身の価格ページに掲載されている比較表[7]。 S3 は egress(外部転送)課金が別途あるため、実効差はさらに開く。 自社に有利な比較であることは割り引いて読む必要がある。

Docker Hub との対比 — 無料枠の絞り方が正反対

同じレジストリでも、無料枠の設計思想はかなり違う。 Docker Hub は現在、匿名ユーザーは6時間あたり100 pull、無料アカウントでも6時間あたり200 pullという レート制限を敷いている[11]。CI/CD が制限に当たる事例が実際に多発した。

Hugging Face はこの方向に踏み込んでいない。 取得側を絞らず、保存容量と企業機能で課金する。 数百GBのファイルを世界中に配りながらこれを維持できるのは、 Xet の重複排除と自社CDNで配信の限界費用を構造的に下げているからで、 技術投資が無料枠の維持コストを直接押し下げている。

07では CDN 企業なのか — Cloudflare との比較

ここが本題である。技術要素だけ見ると、Hugging Face は確かに CDN 企業に似てくる。 だが売っているものが違う

CloudflareHugging Face
無料で配るもの帯域・SSL・DDoS防御ストレージ・帯域・公開リポジトリ
無料枠の位置づけ顧客獲得の装置(loss-leader)同じ
回収先Workers・Zero Trust・Enterprise契約Enterprise Hub・GPU・ストレージ
本当の商品ネットワークそのもの名前空間と標準規格
中を通るものへの関心基本的に無関心(速く安全に運ぶだけ)中身が資産(モデル・派生系列・議論)
競合との差別化軸速度・拠点数・価格デファクト標準としての参照され方

Cloudflare の無料枠が成立するのは、帯域が商品ではないからである。 同社が売っているのはセキュリティ・DNS・ゼロトラストであり、 トラフィックが増えるほどネットワークの価値が上がって Enterprise 顧客に効く[12]。 構造として非常によくできているが、土管は原理的に代替可能で、 だから Cloudflare は常に価格と性能で殴り合い続けなければならない。

Hugging Face が握っているのは土管ではない

この会社の本丸は transformers ライブラリが 「モデル定義のデファクト標準」になっていることにある。

v5 時点で 400以上のモデルアーキテクチャ75万のコミュニティチェックポイントに対応し、 1日あたりのインストール数は 2万から300万へ成長している[13]。 新しいモデルが出ると、作者はまず transformers 形式で実装を書く。 すると vLLM も SGLang も MLX も llama.cpp も、それを規格書として参照して自分の実装を作る。

この「参照される位置」がどれだけ強いかは、 2026年2月20日に llama.cpp / ggml のチームが Hugging Face に合流したという出来事が示している[14]。 ローカル推論の事実上の標準実装が、モデル定義の事実上の標準の側に来た。 土管の会社には、こういうことは起きない。

Cloudflare が「高速道路を敷く会社」だとすると、 Hugging Face は「住所表記の規格を決めて、その台帳を運営している会社」。 高速道路は別の会社が敷いても機能するが、住所の書き方を変えるのは社会全体を巻き込む。

08レジストリ → コンピュートへの拡張

2026年時点の Hugging Face は、レジストリの位置からインフラ側へ一歩踏み出している。 その理由は、AI 開発の物理的な制約にある。

なぜ「ストレージをコンピュートの隣に置く」ことが商売になるのか

機械学習の学習では、データを置いた場所と GPU の場所が離れていると、 転送料と待ち時間で採算が壊れる。 特にクラウドの egress 課金(データを外に出すときの通信費)は重い。 「モデルもデータセットも、もう Hugging Face に置いてあるでしょう? 計算もここでやれば転送はゼロですよ」——これが成立する。

その受け皿として、直近で2つの製品が出ている。

Storage

Hugging Face Buckets

  • S3ライクなオブジェクトストレージ。Xet が裏側
  • Git リポジトリと違い非バージョン管理・上書き可。チェックポイントやログ向け
  • S3互換APIを持ち、AWS CLI・boto3・s5cmd がそのまま使える
  • クラウド/リージョンを指定したCDN 事前ウォーミングが可能
Compute

Hugging Face Jobs

  • CPU から A100・TPU まで、秒単位課金のサーバーレス実行
  • UV / Docker ライクなインターフェース
  • hf CLI・Python・HTTP API から起動
  • Bucket をボリュームとしてマウント可能

出典:Buckets[6] / Jobs[18] の公式ドキュメント。

この動きの型

① 標準を押さえるtransformers がモデル定義の規格に
② 名前空間を押さえるfrom_pretrained() の既定参照先
③ 資産が集まる約298万モデル・約99.7万データセット
④ 隣に計算を置くBuckets / Jobs / Endpoints

①〜③ は GitHub / npm / Docker Hub が辿った道と同じ。 ④ が Cloudflare の「CDN → Workers」と同型である。 既に押さえている場所のに計算を持ってきて、 レジストリとしての支配力をコンピュート事業への入口に変換する。

09まとめ

もうひとつ、規模感の補助線を置いておく。 Hugging Face の直近の公表ラウンドは 2023年8月のシリーズD、2億3,500万ドル調達・評価額45億ドルで、 Google・Amazon・NVIDIA・Intel・AMD・Qualcomm・IBM・Salesforce が名を連ねた[19]競合になりうる巨大企業が揃って出資しているのは、 この会社が「誰かの陣営」になると全員が困るという、 中立レジストリ特有のポジションを示している。

10裏取りメモ

検証で判明した訂正点

裏が取れたもの

裏が取れなかった/数字が割れているもの

11出典

  1. Hugging Face — Models(モデル総数、2026-08-12 取得) https://huggingface.co/models
  2. Hugging Face — Datasets(データセット総数、2026-08-12 取得) https://huggingface.co/datasets
  3. Hugging Face Docs — Xet: Deduplication https://huggingface.co/docs/hub/xet/deduplication
  4. Hugging Face Docs — Xet: our Storage Backend https://huggingface.co/docs/hub/xet/index
  5. Hugging Face Blog — From Files to Chunks / From Chunks to Blocks https://huggingface.co/blog/from-files-to-chunks
  6. Hugging Face Docs — Storage Buckets https://huggingface.co/docs/hub/storage-buckets
  7. Hugging Face — Pricing https://huggingface.co/pricing
  8. Open Source Initiative — The Open Source AI Definition 1.0 https://opensource.org/ai/open-source-ai-definition
  9. Llama 3.1 Community License Agreement https://www.llama.com/llama3_1/license/
  10. Open Source Initiative — Open Weights: not quite what you've been told https://opensource.org/ai/open-weights
  11. Docker — Revisiting Docker Hub Policies https://www.docker.com/blog/revisiting-docker-hub-policies-prioritizing-developer-experience/
  12. Cloudflare の無料枠と収益構造に関する各種解説(2026年時点のプラン整理)
  13. Hugging Face Blog — Transformers v5 https://github.com/huggingface/blog/blob/main/transformers-v5.md
  14. Hugging Face Blog — GGML and llama.cpp join Hugging Face(2026-02-20) https://huggingface.co/blog/ngxson/ggml-and-llama-cpp-join-hugging-face
  15. CNBC — Microsoft's GitHub agrees to buy npm(2020-03-16) https://www.cnbc.com/2020/03/16/microsoft-github-agrees-to-buy-code-distribution-start-up-npm.html
  16. Microsoft による GitHub 買収(2018年、約75億ドル)
  17. Low et al., Git is for Data, CIDR 2023(XetHub の技術的源流) https://www.cidrdb.org/cidr2023/papers/p43-low.pdf
  18. Hugging Face Docs — Jobs https://huggingface.co/docs/hub/jobs
  19. TechCrunch — Hugging Face raises $235M(2023-08-24) https://techcrunch.com/2023/08/24/hugging-face-raises-235m-from-investors-including-salesforce-and-nvidia

価格・件数・仕様はいずれも 2026年8月12日時点の確認値。 レジストリ各社の料金体系とレート制限は頻繁に変わるため、実務判断の際は必ず一次情報を再確認すること。