第一天

大模型的歷史發展

大模型的起源：從早期神經網絡到Transformer

重要的里程碑：AlexNet、BERT、GPT系列等

大模型的演進：模型規模與性能的關系

大模型在不同領域的應用

自然語言處理領域

計算機視覺領域

自動駕駛、醫療、金融等領域的案例分析

自動駕駛、醫療、金融等領域的案例分析

大模型商業模式

大模型的商業應用場景

云計算與AI服務

大模型數據許可與訪問模式

大模型的商業利潤模式

當前中國的政策支持

中國AI產業政策的演變

大模型的政策支持與監管

數據隱私與安全政策

知識產權保護

案例研究與討論

分析大模型在中國的商業成功案例

政策對企業和行業的影響

介紹Lora、FT和PT的基本原理和方法

未來展望：中國大模型行業的機遇與挑戰

第二天

Lora

介紹Lora的背景、原理和優勢

講解Lora的核心技術，包括低秩矩陣分解、稀疏注意力機制和動態投影

演示如何使用Lora對GLM等大模型進行壓縮和加速

指導學員進行Lora的實驗，包括安裝環境、下載數據集、運行代碼和評估結果

FT

介紹FT的背景、原理和優勢

講解FT的核心技術，包括參數共享、任務適應和知識蒸餾

演示如何使用FT對GLM等大模型進行微調和遷移一

指導學員進行FT的實驗，包括選擇任務、加載模型、調整參數和測試性能

第三天

PT

介紹PT的背景、原理和優勢

講解PT的核心技術，包括自監督學習、掩碼語言模型和下一句預測

演示如何使用PT對GLM等大模型進行預訓練和初始化

指導學員進行PT的實驗，包括構建語料庫、設計目標函數、訓練模型和保存權重

實驗

實驗室實踐：參與者將應用所學知識，進行一個大模型訓練和微調的實際項目

案例研究：探討大模型在實際項目中的成功案例