第一部分 DeepSeek-V3的架構創(chuàng)新：訓練GPU和成本均低，但效果卓越

1、V3風靡海內外的關鍵因素：訓練成本極低、引領前沿創(chuàng)新

1) V3訓練成本：所用的GPU訓練資源僅為Llama 3.1 405B的差不多1/14

2) 在國內也能引領世界級前沿

2、模型架構：MLA、負載均衡的MoE、Multi-Token預測

1) 多頭潛在注意力

2) 無輔助損失的負載平衡 DeepSeekMoE

3) 多token預測：Multi-Token Prediction顯著加快模型的解碼速度

第二部分 DeepSeek-V3基礎設施層面的創(chuàng)新：FP8 訓練等

1、訓練框架(含GPU的內部結構示意圖)

1) 雙管道DualPipe與計算-通信重疊

2) 跨節(jié)點全對全通信的高效實現：通過PXT連接CUDA和底層GPU硬件

3) 極致內存節(jié)省與最小開銷

2、FP8訓練：雖算的快 但精度不夠，故需提高精度

1) 混合精度框架

2) 通過量化和乘法提高精度

3) 低精度存儲和通信：降低內存和通信開銷

3、推理與部署

1) 預填充

2) 解碼

4、硬件設計建議

第三部分 DeepSeek-V3的預訓練與后訓練

1、預訓練

1) 數據構建：提高數學、編程、多語言樣本，最終14.8T語料

2) 超參數

3) 長上下文擴展

4) 評估與討論

2、訓練后處理：透露了大半后來引爆全球的R1正式版訓練流程

1) 監(jiān)督微調

2) 強化學習：涉及獎勵模型和GRPO

3) 評估與討論：關于DeepSeek-R1提煉與多token預測

第四部分 DeepSeek R1：如何通過純RL訓練大模型的推理能力

1、提出背景與相關工作

1) R1-Zero的提出背景：無需人類數據，從零實現自我迭代

2) R1的提出背景：解決Zero可讀性差等問題

2、DeepSeek-R1-Zero：規(guī)則驅動的大規(guī)模RL訓練，無冷啟動、無SFT

1) RL算法GRPO：不需要critic

2) 規(guī)則獎勵建模(準確率獎勵 + 格式獎勵)：不用訓練專門的獎勵模型RM

3) 訓練模板：通過prompt讓Zero啟動深度思考的推理模式

4) Zero的性能、自我進化過程和頓悟時刻

3、DeepSeek-R1：先冷啟動數據SFT再RL，之后再SFT再RL

1) 階段一 冷啟動(主要關注推理)：通過R1-Zero生成數千條長CoT數據

2) 階段二 面向推理的GRPO RL：類似Zero的規(guī)則獎勵，但增加語言一致性獎勵

3) 階段三 V3上的兩輪SFT(結合rejection sampling)：涉及80w通用層面的推理和非推理數據

4) 階段四 所有場景的RL：提高有用性和無害性，且混合規(guī)則獎勵和偏好獎勵

4、蒸餾：賦予小模型推理能力

5、一些經驗總結：成功和失敗的經驗分析總結

第五部分 本地部署準備工作：各個版本、推理框架、硬件資源

DeepSeek-R1的多個版本：加上2個原裝671B的，總計8個參數版本

主流的大模型推理框架：分為PC端和Android端

不同參數的模型所要求的硬件

蒸餾版和滿血版的兩類部署

第六部分 通過Ollama、vLLM本地部署DeepSeek-R1蒸餾版：支持聯網搜索及知識庫問答

1、基于Ollama和各類插件構建智能對話：終端、open-webui(支持聯網)、Chatbox

1) Ollama下的終端命令行交互

2) Ollama下的open-webui交互：基于docker安裝，且支持聯網搜索

3) 基于Ollama + ChatBox部署deepseek-r1:7b

2、基于Ollama和Page Assist/AnythingLLM構建本地知識庫問答系統(tǒng)

1) 基于Ollama + Page Assist搭建本地知識庫問答系統(tǒng)：且支持聯網搜索

2) 基于Ollama + AnythingLLM搭建本地知識庫問答

3、通過vLLM推理deepseek-r1

1) 基于vLLM的命令行交互——R1-Distill-Llama-8B

2) 基于vllm + open WebUi 部署r1 7b

4、本地手機端部署DeepSeek-R1蒸餾Llama/Qwen后的版本

第七部分 無蒸餾前提下本地部署R1 or R1-Zero 671B滿血版

1、折中路徑：無蒸餾但量化部署Deepseek-R1 671B滿血版

1) 本地CPU上運行 Deepseek-R1 的完整的硬件 + 軟件設置

2) GPU上跑無蒸餾但量化的Deepseek-R1 671B滿血版

2、企業(yè)級部署：無蒸餾不量化部署Deepseek-R1 671B滿血版