国産LLM LLM-jp-4 を
ローカル環境で動かす

2つのモデルの技術的差異

3段階学習パイプライン

コーパス構成と設計思想

日本語の割合が全体の約3.6%にもかかわらず日本語性能でGPT-4oを上回れた設計思想がここにある。英語の大量学習で汎用的な推論能力を獲得した上で、中間学習で日本語の指示理解力を底上げし、さらにSFTで精密なチューニングを行う多段構成。

コーパスの内訳には、インターネット上の公開データ、政府・国会の文書、合成データが含まれる。OSAID（オープンソースAIの定義）に配慮し、すべて第三者が入手可能なデータで構成されている点が大きな特徴。コーパス構築スクリプトもGitLabで公開されている。

ベンチマーク結果の読み方

日本語MT-Bench（GPT-5.4ジャッジ）

英語MT-Bench（GPT-5.4ジャッジ）

導入手順 A：Transformers（公式サポート）

Hugging Face Transformers 経由が最もシンプルな導入方法。公式cookbookも提供されている。

bash
# 依存関係
pip install torch transformers accelerate flash-attn

python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "llm-jp/llm-jp-4-8b-thinking"

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True  # カスタムトークナイザー用
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

chat = [
    {"role": "user",
     "content": "半導体製造プロセスの特許出願における進歩性の判断基準を説明してください"}
]

inputs = tokenizer.apply_chat_template(
    chat, add_generation_prompt=True,
    tokenize=True, return_tensors="pt"
).to(model.device)

with torch.no_grad():
    output = model.generate(
        inputs,
        max_new_tokens=512,
        do_sample=True,
        top_p=0.95,
        temperature=0.7
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

導入手順 B：Ollama（GGUF変換）

Ollama公式レジストリには未登録のため、GGUF変換→カスタムモデル登録の手順が必要。

bash
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j

bash
pip install huggingface_hub
huggingface-cli download llm-jp/llm-jp-4-8b-thinking \
    --local-dir ./llm-jp-4-8b

bash
python3 convert_hf_to_gguf.py ./llm-jp-4-8b \
    --outfile llm-jp-4-8b-q4_k_m.gguf \
    --outtype q4_k_m

Modelfile
FROM ./llm-jp-4-8b-q4_k_m.gguf

PARAMETER temperature 0.7
PARAMETER num_ctx 8192
PARAMETER top_p 0.95

SYSTEM "あなたは知財戦略を支援するAIアシスタントです。
特許分析、FTO調査、IP戦略の策定を正確かつ丁寧に行います。"

bash
ollama create llm-jp-4-8b -f Modelfile
ollama run llm-jp-4-8b

# 動作確認
ollama run llm-jp-4-8b "特許法104条の3について要約してください"

導入手順 C：OpenAI互換APIとして公開

Mac mini M4 で Ollama サーバーとして起動し、Tailscale VPN 経由で他マシンからアクセスする構成。

bash
# ⚠ 0.0.0.0 バインド禁止（セキュリティルール）
# Tailscale内部IPまたはlocalhostのみ
OLLAMA_HOST=127.0.0.1:11434 ollama serve

bash
# 他マシンからTailscale IP経由でアクセス
curl http://<tailscale-ip>:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llm-jp-4-8b",
    "messages": [
      {"role": "user", "content": "半導体製造装置のFTOリスクを分析してください"}
    ]
  }'

qwen3 との使い分け戦略

今後のロードマップ

NIIは2026年度中に以下のモデルを順次公開予定：

OSAID準拠の戦略的意味

OSAID（オープンソースAIの定義）に配慮し、すべて第三者が入手可能なデータで学習している。 コーパス構築スクリプトもGitLabで公開。 特許業務や企業内RAGで「学習データの出所が不透明」という懸念を排除できるのは大きな利点。

SEP戦略を進める企業にとって、AIインフラ自体の透明性・説明可能性を確保できることは、 クライアントや規制当局に対するリスクヘッジにもなる。

参照リンク

• NII プレスリリース（2026/04/03）
• LLM-jp リリースページ（HF / GitLab リンク集）
• Hugging Face: llm-jp-4-8b-thinking
• Hugging Face: llm-jp-4-32b-a3b-thinking
• SFTデータセット（17 subsets）
• 大規模言語モデル研究開発センター（LLMC）