オープン教材「动手学大模型（Dive into LLMs）」の日本語インデックス。各章の要約は当社作成、本文・スライド・コードは原典（GitHub）にリンクします。
出典: Lordog/dive-into-llms（GitHub · 約5.3万 stars）
《动手学大模型》（Dive into LLMs）は、上海交通大学の講義 「自然言語処理フロンティア技術（NIS8021）」「人工知能安全技術（NIS3353）」 （担当: 张倬胜 准教授）から派生した、大規模言語モデルの入門プログラミング教材です。 非営利・完全無料で公開されています。全11章、各章に 教程（本文の解説）・スライドPDF・Jupyterノートブック（演習コード）が付きます。
このページの位置づけ： 原文は中国語です。ライセンスが明示されていないため全文の転載・翻訳掲載はせず、 各章の要点を日本語でまとめた索引として提供します。実際の学習は各リンク先（GitHub の原典）で行ってください。
原典リポジトリ: github.com/Lordog/dive-into-llms
ノートブックは GitHub 上でそのまま閲覧できます（描画されない場合はファイル先頭の「Open in Colab」や nbviewer を利用）。 スライドPDF はブラウザ内でプレビューされます。
| 区分 | 章 | 必要なもの |
|---|---|---|
| API のみ | 2, 10 | LLM APIキー（通義千問 / OpenAI 等）。GPU不要 |
| 小規模GPU | 1, 3, 5, 7 | 単一GPU（8〜24GB程度）。一部CPUでも可 |
| 大容量GPU | 4, 8, 9, 11 | VRAM 40〜80GB、章9はA100 80GB×3以上 |
Hugging Face からのダウンロードが遅い場合、原文では
hf-mirror.com ミラーの利用が案内されています。
原題: 预训练语言模型微调与部署
Hugging Face Transformers の使い方を学び、BERT などの事前学習モデルを特定タスク （例: フェイクニュース検出＝テキスト分類）でファインチューニング・推論する。 さらに Gradio と Hugging Face Spaces で誰でも触れる Demo として公開するまでの一連。 「関心モジュールを分解した最小構成」と「集成スクリプト（run_classification.py）」の2ルートを扱う。
使うもの: Transformers, Gradio, Hugging Face Spaces
原題: 大模型提示学习与思维链
LLM API（通義千問・智譜AI・OpenAI 等）の取得と呼び出し（GUI・コマンドライン・ストリーミング）。 ゼロショット／フューショットのプロンプト設計、思考連鎖（自然言語CoT・プログラムCoT）、 自己一貫性（temperature を上げて複数回サンプリングし多数決）、 さらにエージェント行動の安全性を判定させる例まで。
使うもの: DashScope などの LLM API
原題: 大模型知识编辑
EasyEdit ツールキットで、再学習せずにモデルの特定の知識だけをピンポイントで書き換える （例: メッシの職業を football → basketball）。ROME・MEND・MEMIT などの編集手法、 評価4指標（信頼性・汎化性・局所性・移植性）、バッチ編集、Counterfact / ZsRE ベンチマークでの検証。
使うもの: EasyEdit（GPT-2 / Llama など）
原題: LLM数学推理
DeepSeek-R1 が生成した回答を教師データにして Qwen2.5-Math-1.5B を SFT（教師ありファインチューニング）し、 「反省」「検算」といった推論スキルを蒸留する。データセット（DeepMath-103K）の前処理 → 訓練 → 生成 → 数学能力の評価まで、データ蒸留の全工程を体験する。
使うもの: Transformers, Datasets, vLLM ／ ディスク50GB以上
原題: RLHF安全对齐
PPO ベースの RLHF を最小構成で実験する。BERT 感情分類器を報酬関数にして、 GPT-2 を「ポジティブな映画レビューを書く」よう最適化。 Rollout → 評価 → PPO最適化 のループ、参照モデルとの KL ダイバージェンスによる暴走防止、 trl ライブラリの使い方。A800 80GB で約35分の実験。
使うもの: trl, Transformers, wandb
原題: 多模态大语言模型
MLLM の類型と2つの主要アーキテクチャ（LLMを離散的なスケジューラにする方式／ エンコーダ-LLM-デコーダを一体で学習する方式）を整理。 「任意モダリティ↔任意モダリティ」の先駆け NExT-GPT のコードを題材に、 推論のデプロイ（Gradio）と3段階学習（入力側整列 → 出力側整列 → 指示チューニング）を実践する。
使うもの: NExT-GPT, ImageBind, Vicuna, Stable Diffusion / AudioLDM / ZeroScope
原題: GUI智能体构建
スマホ画面のスクリーンショットを見て次の操作（CLICK / TYPE / SCROLL など）を出力するエージェントを作る。 OS-Kairos データセットで Qwen2-VL-7B を LLaMA-Factory を使って SFT。 各操作に自信度スコアを付け、スコアが低い＝モデルの能力の限界＝人間の介入が必要、という自適応の仕組みを体験する。
使うもの: Qwen2-VL-7B, LLaMA-Factory, OS-Kairos
原題: 大模型智能体安全
LLM エージェントが「未来のOS」に向かう中で、開放的な環境でリスクを自覚できるかを検証する。 R-Judge 評価プラットフォーム（7カテゴリ・27シナリオ・10種のリスク・人手ラベル付き）を使い、 ユーザー／エージェント／環境の多輪の対話ログから「リスク記述」と「安全ラベル（safe / unsafe）」を 判定させる。安全判断・リスク識別・Oracle テストの3段階。
使うもの: R-Judge, 通義千問 / GPT など
原題: 模型水印
LLM の生成文に、人間には気づかれずアルゴリズムで検出できる「透かし」を埋め込む。 X-SIR リポジトリで KGW / SIR / X-SIR の3アルゴリズムを扱い、 埋め込み → 検出（z-score）→ 評価（ROC曲線・AUC）→ 頑健性評価 （言い換え・翻訳などの除去攻撃で透かしが残るか）まで。
使うもの: X-SIR
原題: 大模型越狱攻击
「より良い安全性は、まず攻撃を知ることから」という立場の、安全性研究・レッドチーム向け教材。 EasyJailbreak フレームワークで主要な脱獄手法（PAIR ほか）を実行し、 攻撃ループ（Selector / Mutator / Constraint / Evaluator）の構造と、独自攻撃の組み立て方を学ぶ。 悪用ではなく、防御・評価の設計を理解するための内容です。
使うもの: EasyJailbreak
原題: 大模型隐写
GPT-2 の生成文の中に、自然な文章を保ったまま秘密情報を埋め込む。 ハフマン符号と固定長符号（FLC）の2方式を実装し、隠写文と通常文を並べて生成・比較。 秘密情報を二進列に変換 → トークン選択に埋め込み → 同じモデルと文脈で抽出、という仕組みを理解する。
使うもの: Transformers（GPT-2、約500MB）
本ページの各章要約は社内向けに当社が作成したものです。教材本文・スライド・コードの著作権は 《动手学大模型》開発チーム（上海交通大学ほか）に帰属します。内容は 原典リポジトリ で随時更新されます（華為昇腾と共同の「大模型開発全流程」シリーズなど）。