AI もくもく会 / suiP Vol. 03  /  Local LLM Studies 2026.05
Field Notes on Distillation

NotebookLM を、
ローカルで再現する。
世界の 4 つの系譜。

NotebookLM のあの体験——ソース限定、引用付き、長い文書との対話——を、クラウド API に依存せず手元の計算資源で再現しようという試みが、いま世界中で並走している。オープンソースクローン、Meta 公式レシピ、学術的な蒸留研究、そして業務統合型の独自路線。それぞれの狙いと現在地を、系譜として整理する。

Figure 01  ──  系譜図: 一つの問いから分岐する 4 つの経路
NotebookLM 再現アプローチの系譜図 NotebookLM をどう再現するか 系譜 I OSS クローン TURNKEY / GUI Open Notebook SurfSense · InsightsLM 系譜 II Meta レシピ DIY / MODULAR NotebookLlama llama-cookbook 系譜 III 学術的蒸留 RESEARCH / KD DRAG · Self-RAG RAFT · Pleias-RAG 系譜 IV 業務統合型 DOMAIN-SPECIFIC 計算資源分離 特許 / IP 特化
§ 01 The Four Lineages

四つの系譜、それぞれの狙い同じ NotebookLM を見ながら、まったく違う場所を目指している。

ITURNKEY
OSS CLONE

ターンキー型 OSS クローン

docker compose up — 動くところから始める

GUI つきで、Docker 一発で立ち上がる系統。NotebookLM の体験そのものを最短で置き換えることを狙う。ローカル LLM (Ollama) との接続も標準搭載で、非エンジニアでも触れる。

アーキテクチャは既に成熟していて、SurfSense は階層的 2-tier RAG と Reciprocal Rank Fusion をデフォルトで組み込み、6,000 以上の embedding model を切り替え可能。Open Notebook は 18 プロバイダー対応 + マルチスピーカーポッドキャスト生成。InsightsLM は Ollama+Qwen3+Whisper+CoquiTTS の完全ローカル版を別リポジトリで提供している。

Representative Works
Open Notebook — GitHub 4,100★, Apache-2.0, Docker + Ollama
SurfSense — Slack/Notion/GitHub 連携、階層 RAG
InsightsLM — Supabase + N8N, ローカル版あり
AnythingLLM — GitHub 7,600★, MIT, Desktop 特化
IIMETA
RECIPE

Meta 公式レシピ系

クローンではなく、料理法として

Meta が llama-cookbook の一部として公開した NotebookLlama。プロダクトを提供せず、PDF 前処理 → トランスクリプト → ドラマ化 → TTS の 4 段階モジュラーパイプラインを「レシピ」として提示する。

設計思想は明確で、Llama 70B から 1B までを差し替えて品質と資源のトレードオフを検証できる。小型モデル前提の設計思想が随所にある。派生として run-llama/notebookllama(LlamaCloud ベース)、unionai-oss/notebook-llama(ワークフロー移植)が存在。

Representative Works
NotebookLlama — Meta 公式、llama-cookbook
run-llama/notebookllama — LlamaCloud + uv
Union notebook-llama — ワークフロー化
IIIACADEMIC
DISTILLATION

学術的「真の蒸留」研究

モデルそのものを小さくする

RAG の知識と振る舞いを、大規模モデルから小規模モデル (SLM) へする研究群。プロンプトで引用を強制するのではなく、モデルの重みに焼き付ける。

DRAG (arXiv:2506.01954) は Evidence- と Knowledge Graph-based Distillation を組み合わせ、MiniRAG を 27.7% 上回る性能を同一モデル条件下で達成した。Self-RAG は reflection token で検索/生成/自己批評を制御。RAFT はディストラクター耐性と逐語引用を学習。Pleias-RAG は小規模 reasoner に引用機能を組み込んだモデルファミリー。

Representative Works
DRAG — Evidence + Knowledge Graph 蒸留
Self-RAG — Reflection token, 自己制御
RAFT — Retrieval-Augmented Fine-Tuning
ReAugKD · Pleias-RAG — 引用学習と非パラメトリック記憶
IVDOMAIN
INTEGRATION

業務統合型・独自路線

計算資源を時間軸で分離する

世界的にはまだ類例が少ない、業務ドメインに深く食い込んだ設計。共通思想は「」——夜間バッチで埋め込み・インデックス生成を済ませ、推論時は 14B クラスの軽量 LLM で回す。

特許 FTO や IP 戦略のような機微情報を扱う用途では、クラウド API が最初から選択肢に入らない。Tailscale ACL でネットワーク境界を切り、複数マシンに計算資源を分散させる運用が現実解になる。羽矢﨑モデルはここに位置する。

Design Signatures
三層分離 — 前処理 / 検索 / 生成を独立
ハイブリッド検索 — BM25 + Vector + Reranker
引用強制プロンプト — Citation-aware Generation
マルチホスト運用 — Tailscale ACL 境界
§ 02 Comparison Matrix

横に並べて、違いを見る同じ問いから出発しても、選ぶ軸で答えは変わる。

観点 I. OSS クローン II. Meta レシピ III. 学術蒸留 IV. 業務統合型
目的 機能再現 レシピ提供 モデル小型化 業務統合
蒸留方法 しない (API 差し替え) しない パラメータ蒸留 計算資源分離
引用生成 実装レベル なし (podcast 主) 学習で組み込み Prompt で強制
展開単位 単機 Docker 単機 単機 Tailscale マルチホスト
ドメイン 汎用 汎用 汎用 特許 / IP
成熟度 高 (数千 star) 中 (公式レシピ) 研究段階 個別実装段階
ローカル要件 Ollama 対応済み Llama 前提 再訓練が必要 qwen3:14b + Ollama

系譜 I・II は「NotebookLM の 体験」を再現する立場。系譜 III は「NotebookLM の 賢さ」を蒸留する立場。系譜 IV は「NotebookLM を 業務資産にする」立場。どれが正しいというより、目指す場所が違う。

§ 03 The Fourth Way

第 4 の道は、なぜ独自なのか重い処理を時間軸で切り離す、という素朴な発想。

NotebookLM が重いのは、Gemini 1.5 Pro の長文コンテキスト処理そのものにある。ここに真っ向勝負するのが系譜 III の蒸留研究だが、業務現場ではもう一つの道がある——。

夜間バッチで正規化・チャンキング・埋め込み・インデックス構築まで済ませ、推論時にはハイブリッド検索 + Reranker で top-5 に絞り込む。ここまで来れば、qwen3:14b の 32k コンテキストで NotebookLM 体験の 85% は再現できる。残る 15% は、マルチホップと引用の追従精度——これは LangGraph のオーケストレーションで補える。

機微情報を扱う業務(特許 FTO、契約審査、機密戦略)では、そもそもクラウド API に投入できない。ここが第 4 の道の必然性であり、同時に世界的にはまだレシピが少ない領域でもある。

三層分離 Tailscale 境界 127.0.0.1 バインド ドメイン特化 引用強制 夜間バッチ

Phase 1 から順に組み上げる実装計画は、別途 notebooklm-local-rebuild-plan.md にまとめている。Claude Code のプランモードで読み込めば、そのまま実装に入れる粒度で書いてある。

§ 04 Further Reading

もくもくの糸口今日の 2 時間で、どこから触れるか。

まず動かす

  • Open Notebook を Docker で起動 github.com/lfnovo/open-notebook
  • InsightsLM のローカル版を Qwen3 で github.com/theaiautomators
  • SurfSense の階層 RAG を読む github.com/Decentralised-AI/SurfSense

レシピを読む

  • NotebookLlama 4 段階パイプライン meta / llama-cookbook
  • Union AI ワークショップスライド go.union.ai/workshop-notebook-lm-clone

研究を追う

  • DRAG: Distilling RAG for SLMs arXiv:2506.01954
  • Pleias-RAG Model Family arXiv:2504.18225
  • Self-RAG / RAFT / ReAugKD reflection tokens · citation training

書籍で体系化

  • 大規模言語モデル入門 山田育矢ほか / 技術評論社
  • LangChain と LangGraph による RAG・AI エージェント実装 西見公宏ほか / 技術評論社
  • LLM のファインチューニングと RAG 新納浩幸 / オーム社