Hugging Face は何のレジストリか
GitHub / Docker Hub / npm と並べて読むと、この会社の輪郭がはっきりする。 Git との関係、Xet のチャンク重複排除、オープンウェイトとオープンソースの違い、 そして「無料で配って企業から回収する」事業構造まで、一次情報で裏を取りながら整理する。
結論を先に
Hugging Face は CDN ではない。GitHub / Docker Hub / npm と同じ「レジストリ(登録所)」の系譜にある。 ただし扱う対象が数十〜数百GBのバイナリであるため、GitHub よりはるかにインフラ寄りの技術投資 (独自ストレージ Xet、CDN、オブジェクトストレージ、サーバーレスGPU)を強いられ、 結果として収益構造とインフラ技術は Cloudflare 型、握っている資産は GitHub 型という ハイブリッドになっている。
一行でまとめるなら —— GitHub の立ち位置を、CDN 企業の技術と経済構造で実現している会社。
01まず並べる — 4つのレジストリ
ソフトウェアの世界には「作ったものを登録して、世界中の誰かが取りに来る場所」がいくつかある。 それぞれ扱う単位が違うだけで、構造はよく似ている。
| レジストリ | 登録される単位 | 1件の典型サイズ | 標準を握る道具 | 取得コマンド |
|---|---|---|---|---|
| GitHub | ソースコード | 数MB | Git + Pull Request 文化 | git clone |
| npm | JavaScript パッケージ | 数十KB〜数MB | package.json / 依存解決 |
npm install |
| Docker Hub | コンテナイメージ | 数十MB〜数GB | Dockerfile / OCI 規格 | docker pull |
| Hugging Face | モデルの重み・データセット | 数GB〜数百GB | transformers |
from_pretrained() |
どれも同じ型を踏んでいる。開発者が毎日打つコマンドのデフォルトの参照先を無償で押さえ、 企業からだけ回収する。 この型が成立すると事業として非常に強く、実際 GitHub は 2018年に Microsoft へ約75億ドルで買収され、 その GitHub が 2020年に npm を買収している[15][16]。 レジストリは、買うだけの価値がある資産だと市場が実証している。
GitHub が「原稿を書く編集部」、npm が「部品問屋」、Docker Hub が「完成品の梱包倉庫」だとすると、 Hugging Face は「刷り上がった百科事典を配る物流センター」。 どれも本を扱うが、1冊がノート1冊分か、軽トラック1台分かで、必要な設備がまるで変わる。
02誤解の解消 — Hugging Face Hub は Git そのもの
「Hugging Face は Git や GitHub とは別物」という理解から入ると、かえって全体像を見失う。 実際には Hugging Face Hub のリポジトリは、本物の Git リポジトリである。 コミット履歴があり、ブランチがあり、Pull Request がある。
この記事の執筆にあたって、実際に git clone できることを確認した。
$ git clone https://huggingface.co/spaces/lysandre/hf-japan-inspired-lab
Cloning into 'hf-japan-inspired-lab'...
Filtering content: 100% (92/92), 37.82 MiB | 2.26 MiB/s, done.
$ git log --oneline -3
0450c47 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026
194d381 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026
96dd4e7 Deploy Inspired.Lab - Hugging Face + Kotoba, 23rd July 2026
URL のパスも huggingface.co/<組織名>/<リポジトリ名> という GitHub とまったく同じ形をしている。
UI もそっくりで、Files タブ、Commits タブ、Discussions タブ(Issues 相当)が並ぶ。
では何が違うのか。中身のファイルの性質である。
| GitHub(コード) | Hugging Face(モデルの重み) | |
|---|---|---|
| 1ファイルの大きさ | 数KB〜数百KB | 数GB〜200GB |
| 中身 | 人間が読めるテキスト | 人間には読めない数値の羅列 |
| 差分(diff)の意味 | 「この行が変わった」と読める | 読んでも何もわからない |
| 主な使われ方 | 変更を積み重ねて育てる | 丸ごと取得して実行する |
| 1リポジトリの版数 | 数千〜数万コミット | 数版〜数十版 |
Git は本来「小さなテキストファイルの変更履歴を追う」ために設計されている。 そこへ 100GB のバイナリを放り込むと破綻する。 そこで従来は Git LFS(Large File Storage)という拡張が使われてきたが、 LFS は「ファイルが変わった」ことしか検知できず、1バイトでも変われば版まるごと別途保存する。
Git LFS の何が問題か
70B クラスのモデルをファインチューニングして、5つの版を公開したとする。 重みの大部分は凍結されていて実質変わっていないのに、LFS は 140GB × 5 版 = 700GB を素直に保存する。 アップロードもその分の時間がかかる。これが Hugging Face が独自ストレージを作った動機である。
03Xet — チャンク重複排除の仕組み
Hugging Face は 2024年8月にシアトルのスタートアップ XetHub を買収し、 Git LFS を置き換える独自ストレージバックエンド Xet を導入した[4]。 仕組みの核心は CDC(Content-Defined Chunking:内容依存チャンク分割)である。
ステップ1 — ファイルを「内容で」刻む
ファイルを 平均 64KB のチャンク(塊)に分割する。ここが肝で、 「64KB ごと」という固定位置では切らない。 バイト列の上をローリングハッシュという小さな計算式が滑っていき、 ハッシュ値が特定のパターンに当たった位置を境界にする。 境界の位置が内容そのものによって決まるので、同じ内容の領域は常に同じチャンクになる。
なぜこれが決定的なのか。文章で試すとすぐわかる。
※ この例は Hugging Face 公式ドキュメントに掲載されている図を再現したもの[3]。 実際のチャンクサイズは 64KB なので、固定長方式では「5バイトの挿入で数百MB分のチャンクが無効化される」ことになる。
ステップ2 — 既にあるチャンクは送らない
各チャンクのハッシュを、3段階で照合する。
いずれかにヒットしたチャンクはまるごと送信をスキップする。 ここが重要なのだが、③ の照合対象は自分のリポジトリだけではない。 Xet ストレージ全体である。 つまり 他人が既に上げた同一チャンクにも相乗りできる。
ステップ3 — 新しいチャンクだけを 64MB ブロックにまとめて保存
保存先は CAS(Content-Addressed Store:内容アドレス指定ストア)。 ファイル名ではなく中身のハッシュ値が住所になるので、 同じ中身は世界中で物理的に1つしか存在しない。
図書館が本を1冊ずつ丸ごと保管するのをやめて、「段落」単位で保管するようにしたと思えばいい。 改訂版が来ても、変わった段落だけを新しく棚に入れ、あとは「1版と同じ段落を参照」という札を貼るだけで済む。 しかも「他の本と全く同じ段落」があれば、それも共有できる。
この設計が生む、地味だが効く副作用
公式ベンチマークでは、反復的な開発の3ユースケースにおいて Git LFS 比でストレージ・転送性能ともに一貫して約50%の改善が報告されている[5]。 技術的な源流は XetHub 創業陣による論文 Git is for Data(CIDR 2023)[17]。
04Hub の三層 — Storage / Compute / Community
Hugging Face は自社の Hub を「ひとつのプラットフォーム、三つのレイヤ」と説明している。 この整理が、後の事業構造の話にそのまま効いてくる。
保存するもの
Everything you save.
- Models — 約298万件
- Datasets — 約99.7万件
- Buckets — ML特化オブジェクトストレージ
実行するもの
Everything you run.
- Spaces — デモ・アプリのホスティング
- Jobs — サーバーレスの学習・評価
- Inference Endpoints — 本番用API
共有するもの
Everything you share.
- Papers — arXiv連携の日次論文
- Discussions — PR・Issue・議論
- Posts — コミュニティフィード
モデル数・データセット数は 2026年8月12日時点で huggingface.co/models / /datasets に表示されていた実数(2,984,565 件 / 997,247 件)[1][2]。
三層のうち、どこが「防壁」なのか
素朴に読むと Storage が本体に見えるが、置き場所そのものは代替可能である。 S3 でもいい。実際の防壁は、Storage の下に敷かれたCommunity の側にある。
モデルページには、そのモデルを使った Spaces、派生モデル(ファインチューニング系列)、 引用論文、Discussions が自動で紐づく。 「重みファイル」が「文脈つきの資産」に変わるのがここで、 これは単なるファイル置き場では複製できない。 GitHub のスター数・Issue・PR 履歴が移行の壁になるのと同じ構造である。
05オープンウェイト ≠ オープンソース
ここは実務上いちばん誤解が高くつくところなので、定義から詰める。
オープンウェイト(open weights)
学習済みのパラメータ(重み)がダウンロードできる状態。走らせられるし、追加学習もできる。
オープンソース AI(open source AI)
OSI(Open Source Initiative)が 2024年10月28日に公表した
OSAID 1.0 の基準を満たす状態[8]。要件は3つ。
| OSAID 1.0 が要求するもの | 中身 | Llama 系は? |
|---|---|---|
| ① 学習・実行のコード | OSI承認ライセンスの下で提供されること | 部分的 |
| ② 重みとパラメータ | 使用・研究・改変・再配布が自由な条件で提供されること | 条件付き |
| ③ データ情報 | 訓練データの出所・処理・入手方法が、 熟練者が実質的に再現できる程度に開示されること | 非開示 |
オープンソースは「レシピと仕入れ先を全部公開する」。 オープンウェイトは「完成した料理を持ち帰らせてくれるし、味を足してもいい。でもレシピは教えない」。 どちらも「オープン」と呼ばれるが、再現できるかどうかが決定的に違う。
ライセンスの罠 — Llama の3つの制限
Llama Community License は、真のオープンソースライセンスには存在しない 3種類の制限を含んでいる[9]。
- 規模の閾値 — リリース日の前月時点で 月間アクティブユーザー7億人を超えるサービスを提供している場合、 Meta に別途ライセンスを請求する必要がある。付与するかは Meta の裁量。
- 競合制限 — ユーザー数に関係なく、一定クラスの製品への利用が禁じられる。
- 競合モデルの学習禁止 — Llama を使って競合する AI を改良・学習させてはならない。
①はほぼ全ての企業にとって理論上の話にとどまるが、 ②③ は規模に関係なく効く。「オープンだから自由」で通すと足をすくわれる。 OSI 自身も「オープンウェイトは、あなたが聞かされてきたものとは少し違う」という記事を出している[10]。
簡易判定 — そのモデルは「オープンソース AI」か
06事業構造 — 無料で配って、企業から回収する
公開されている価格表は明快である[7]。
| プラン | 価格 | 中身 |
|---|---|---|
| 無料 | $0 | 公開リポジトリの作成・取得は無制限に近い |
| PRO | $9 / 月 | プライベート容量10倍、推論クレジット20倍、ZeroGPU枠8倍 |
| Team | $20 / ユーザー / 月 | SSO、データ保管地域の指定、監査ログ、粒度の細かい権限管理 |
| Enterprise | $50 / ユーザー / 月 | 上記+SCIMプロビジョニング、最上位レート制限、専任サポート |
注目すべきは、有料プランの中身がほぼ全てコンプライアンス機能だということ。 SSO、監査ログ、データ保管地域、権限管理、SOC 2 / GDPR 対応。 「AI が高性能になる」ことには一切お金を取っていない。 企業が社内規程を通すために必要なものだけを売っている。
ストレージは、明示的に価格勝負を挑んでいる
| 提供者 | 価格($/TB/月) | 備考 |
|---|---|---|
| HF Hub(公開) | $12 〜 $8 | 500TB以上で $8 まで逓減 |
| HF Hub(非公開) | $18 〜 $12 | 同上 |
| Backblaze B2 | $15 | HF の価格表に併記 |
| AWS S3 | $23 | HF の価格表に併記 |
※ 出典は Hugging Face 自身の価格ページに掲載されている比較表[7]。 S3 は egress(外部転送)課金が別途あるため、実効差はさらに開く。 自社に有利な比較であることは割り引いて読む必要がある。
Docker Hub との対比 — 無料枠の絞り方が正反対
同じレジストリでも、無料枠の設計思想はかなり違う。 Docker Hub は現在、匿名ユーザーは6時間あたり100 pull、無料アカウントでも6時間あたり200 pullという レート制限を敷いている[11]。CI/CD が制限に当たる事例が実際に多発した。
Hugging Face はこの方向に踏み込んでいない。 取得側を絞らず、保存容量と企業機能で課金する。 数百GBのファイルを世界中に配りながらこれを維持できるのは、 Xet の重複排除と自社CDNで配信の限界費用を構造的に下げているからで、 技術投資が無料枠の維持コストを直接押し下げている。
07では CDN 企業なのか — Cloudflare との比較
ここが本題である。技術要素だけ見ると、Hugging Face は確かに CDN 企業に似てくる。 だが売っているものが違う。
| Cloudflare | Hugging Face | |
|---|---|---|
| 無料で配るもの | 帯域・SSL・DDoS防御 | ストレージ・帯域・公開リポジトリ |
| 無料枠の位置づけ | 顧客獲得の装置(loss-leader) | 同じ |
| 回収先 | Workers・Zero Trust・Enterprise契約 | Enterprise Hub・GPU・ストレージ |
| 本当の商品 | ネットワークそのもの | 名前空間と標準規格 |
| 中を通るものへの関心 | 基本的に無関心(速く安全に運ぶだけ) | 中身が資産(モデル・派生系列・議論) |
| 競合との差別化軸 | 速度・拠点数・価格 | デファクト標準としての参照され方 |
Cloudflare の無料枠が成立するのは、帯域が商品ではないからである。 同社が売っているのはセキュリティ・DNS・ゼロトラストであり、 トラフィックが増えるほどネットワークの価値が上がって Enterprise 顧客に効く[12]。 構造として非常によくできているが、土管は原理的に代替可能で、 だから Cloudflare は常に価格と性能で殴り合い続けなければならない。
Hugging Face が握っているのは土管ではない
この会社の本丸は transformers ライブラリが
「モデル定義のデファクト標準」になっていることにある。
v5 時点で 400以上のモデルアーキテクチャと 75万のコミュニティチェックポイントに対応し、 1日あたりのインストール数は 2万から300万へ成長している[13]。 新しいモデルが出ると、作者はまず transformers 形式で実装を書く。 すると vLLM も SGLang も MLX も llama.cpp も、それを規格書として参照して自分の実装を作る。
この「参照される位置」がどれだけ強いかは、 2026年2月20日に llama.cpp / ggml のチームが Hugging Face に合流したという出来事が示している[14]。 ローカル推論の事実上の標準実装が、モデル定義の事実上の標準の側に来た。 土管の会社には、こういうことは起きない。
Cloudflare が「高速道路を敷く会社」だとすると、 Hugging Face は「住所表記の規格を決めて、その台帳を運営している会社」。 高速道路は別の会社が敷いても機能するが、住所の書き方を変えるのは社会全体を巻き込む。
08レジストリ → コンピュートへの拡張
2026年時点の Hugging Face は、レジストリの位置からインフラ側へ一歩踏み出している。 その理由は、AI 開発の物理的な制約にある。
なぜ「ストレージをコンピュートの隣に置く」ことが商売になるのか
機械学習の学習では、データを置いた場所と GPU の場所が離れていると、 転送料と待ち時間で採算が壊れる。 特にクラウドの egress 課金(データを外に出すときの通信費)は重い。 「モデルもデータセットも、もう Hugging Face に置いてあるでしょう? 計算もここでやれば転送はゼロですよ」——これが成立する。
その受け皿として、直近で2つの製品が出ている。
Hugging Face Buckets
- S3ライクなオブジェクトストレージ。Xet が裏側
- Git リポジトリと違い非バージョン管理・上書き可。チェックポイントやログ向け
- S3互換APIを持ち、AWS CLI・boto3・s5cmd がそのまま使える
- クラウド/リージョンを指定したCDN 事前ウォーミングが可能
Hugging Face Jobs
- CPU から A100・TPU まで、秒単位課金のサーバーレス実行
- UV / Docker ライクなインターフェース
hfCLI・Python・HTTP API から起動- Bucket をボリュームとしてマウント可能
出典:Buckets[6] / Jobs[18] の公式ドキュメント。
この動きの型
①〜③ は GitHub / npm / Docker Hub が辿った道と同じ。 ④ が Cloudflare の「CDN → Workers」と同型である。 既に押さえている場所の隣に計算を持ってきて、 レジストリとしての支配力をコンピュート事業への入口に変換する。
09まとめ
- 役割 — CDN ではない。モデルのレジストリ兼、事実上の標準規格の管理者。
- 技術基盤 — 扱うものが巨大バイナリなので、GitHub より深いインフラ投資(Xet・CDN・Buckets)を強いられている。
- 収益構造 — Cloudflare と同型の「無料で広く、企業から回収」。ただし売り物はコンプライアンス機能。
- 拡張の型 — Cloudflare の CDN→Workers と同型で、レジストリ→コンピュートへ伸ばしている最中。
- 最も近い会社 — GitHub。GitHub の立ち位置を、CDN 企業の技術と経済構造で実現している。
もうひとつ、規模感の補助線を置いておく。 Hugging Face の直近の公表ラウンドは 2023年8月のシリーズD、2億3,500万ドル調達・評価額45億ドルで、 Google・Amazon・NVIDIA・Intel・AMD・Qualcomm・IBM・Salesforce が名を連ねた[19]。 競合になりうる巨大企業が揃って出資しているのは、 この会社が「誰かの陣営」になると全員が困るという、 中立レジストリ特有のポジションを示している。
10裏取りメモ
検証で判明した訂正点
裏が取れたもの
- Hub リポジトリが本物の Git であること — 実際に
git cloneして確認(本文§02) - Xet の CDC・64KBチャンク・64MBブロック・CAS・3段階照合 — 公式ドキュメント[3]
- XetHub 買収が2024年8月であること[4]、Git LFS 比 約50%改善[5]
- 価格(PRO $9 / Team $20 / Enterprise $50、ストレージ $8〜$18/TB/月)[7]
- OSAID 1.0 の公表日(2024年10月28日)と3要件[8]
- Llama の 7億MAU 条項[9]
- Docker Hub のレート制限(匿名100/6h、無料200/6h)[11]
- transformers v5 の 400+アーキテクチャ/日次300万インストール[13]
裏が取れなかった/数字が割れているもの
- Hugging Face の売上高。 2023年時点で年換算3,000万ドル・5,000万ドル・7,000万ドルと 複数の推定が流通しており、いずれも第三者推計。公式の開示は見つからなかったため本文では扱っていない。
- 2023年8月以降の資金調達。 新しいラウンドの公表は確認できなかった。 評価額45億ドルは2023年時点の数字である点に注意。
- 「Fortune 500 の30%以上が利用」という主張は Hugging Face 自身の発信によるもので、 独立した検証手段がない。本文では採用していない。
11出典
- Hugging Face — Models(モデル総数、2026-08-12 取得) https://huggingface.co/models
- Hugging Face — Datasets(データセット総数、2026-08-12 取得) https://huggingface.co/datasets
- Hugging Face Docs — Xet: Deduplication https://huggingface.co/docs/hub/xet/deduplication
- Hugging Face Docs — Xet: our Storage Backend https://huggingface.co/docs/hub/xet/index
- Hugging Face Blog — From Files to Chunks / From Chunks to Blocks https://huggingface.co/blog/from-files-to-chunks
- Hugging Face Docs — Storage Buckets https://huggingface.co/docs/hub/storage-buckets
- Hugging Face — Pricing https://huggingface.co/pricing
- Open Source Initiative — The Open Source AI Definition 1.0 https://opensource.org/ai/open-source-ai-definition
- Llama 3.1 Community License Agreement https://www.llama.com/llama3_1/license/
- Open Source Initiative — Open Weights: not quite what you've been told https://opensource.org/ai/open-weights
- Docker — Revisiting Docker Hub Policies https://www.docker.com/blog/revisiting-docker-hub-policies-prioritizing-developer-experience/
- Cloudflare の無料枠と収益構造に関する各種解説(2026年時点のプラン整理)
- Hugging Face Blog — Transformers v5 https://github.com/huggingface/blog/blob/main/transformers-v5.md
- Hugging Face Blog — GGML and llama.cpp join Hugging Face(2026-02-20) https://huggingface.co/blog/ngxson/ggml-and-llama-cpp-join-hugging-face
- CNBC — Microsoft's GitHub agrees to buy npm(2020-03-16) https://www.cnbc.com/2020/03/16/microsoft-github-agrees-to-buy-code-distribution-start-up-npm.html
- Microsoft による GitHub 買収(2018年、約75億ドル)
- Low et al., Git is for Data, CIDR 2023(XetHub の技術的源流) https://www.cidrdb.org/cidr2023/papers/p43-low.pdf
- Hugging Face Docs — Jobs https://huggingface.co/docs/hub/jobs
- TechCrunch — Hugging Face raises $235M(2023-08-24) https://techcrunch.com/2023/08/24/hugging-face-raises-235m-from-investors-including-salesforce-and-nvidia
価格・件数・仕様はいずれも 2026年8月12日時点の確認値。 レジストリ各社の料金体系とレート制限は頻繁に変わるため、実務判断の際は必ず一次情報を再確認すること。