第一天

實戰 Transformers 模型訓練

1. 數據集處理庫 Hugging Face Datasets

2. Hugging Face Datasets 庫簡介

3. 數據預處理策略：填充與截斷

4. 使用 Datasets.map 方法處理數據集

5. Transformers 模型訓練入門

6. 模型訓練基類 Trainer

7. 訓練參數與超參數配置 TrainingArguments

8. 模型訓練評估庫 Hugging Face Evaluate

大模型高效微調技術揭秘

1. PEFT 基于重參數化（Reparametrization-based）訓練方法

2. LoRA 低秩適配微調 （2021 Microsoft）

3. AdaLoRA 自適應權重矩陣微調 （2023 Microsoft, Princeton, Georgia Tech）

4. QLoRA 量化低秩適配微調 （2023 University of Washington）

5. UniPELT：大模型 PEFT 統一框架（2022）

6. （IA）3：極簡主義增量訓練方法 （2022）

第二天

7. Before PEFT：Hard Prompt / Full Fine-tune

8. PEFT 主流技術分類介紹

9. PEFT Adapter 技術

10. Adapter Tuning （2019 Google）

11. PEFT – Soft Prompt 技術（Task-specific Tuning）

12. Prefix Tuning （2021 Stanford）

13. Prompt Tuning （2021 Google）

14. PEFT – Soft Prompt 技術（Prompt Encoder）

15. P-Tuning v1 （2021 Tsinghua, MIT）

16. P-Tuning v2 （2022 Tsinghua, BAAI, Shanghai Qi Zhi Institute）

大模型高效微調工具 Hugging Face PEFT 入門與實戰

1. Hugging Face PEFT 快速入門

2. PEFT 庫是什么？

3. PEFT 與 Transformers 庫集成

4. PEFT 核心類定義與功能說明

5. AutoPeftModels、PeftModel

第三天

6. PeftConfig

7. PeftType | TaskType

8. 實戰 PEFT 庫 LoRA 模型微調

9. OpenAI Whisper 模型介紹

10. 實戰 LoRA 微調 Whisper-Large-v2 中文語音識別 3.9.限制控制智能體執行

11. AI調用shell接管控制電腦

實戰私有數據微調 ChatGLM3

1. 實戰構造私有的微調數據集

2. 使用 ChatGPT 自動設計生成訓練數據的 Prompt

3. 合成數據： LangChain + GPT-3.5 Turbo

4. 數據增強：提升訓練數據多樣性

5. 提示工程：保持批量生成數據穩定性

6. 實戰私有數據微調 ChatGLM3

7. 使用 QLoRA 小樣本微調 ChatGLM3

8. ChatGLM3 微調前后效果對比

9. 大模型訓練過程分析與數據優化