編輯推薦

手把手教你從零構建垂直大模型。

內容簡介

本書是一本深度探討大模型在低算力環(huán)境下實現(xiàn)遷移與微調的實踐指南，并深入講解了大模型的部署與優(yōu)化策略。書中結合多個垂直領域的應用場景，從理論到技術實現(xiàn)，全程詳盡講解了如何應對大模型在行業(yè)落地中的技術挑戰(zhàn)，幫助讀者逐步掌握大模型的遷移與微調核心技術。

作者簡介

作者程戈，博士生導師，湘潭大學計算機學院·網(wǎng)絡空間安全學院教授，湘潭大學技術轉移中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，智慧司法與數(shù)字治理湖南省重點實驗室副主任，CCF計算法學會執(zhí)委。

章節(jié)目錄

版權信息

前言

第1章 垂直領域大模型的行業(yè)變革與機遇

1.1 大模型下的行業(yè)變革

1.2 垂直領域大模型遷移的動機

1.3 垂直領域大模型遷移的機遇

第2章 垂直領域遷移技術棧

2.1 垂直領域遷移的方式

2.2 低算力微調

2.3 推理優(yōu)化

第3章 大模型的開源生態(tài)

3.1 大模型的開源社區(qū)

3.2 開源生態(tài)下基座模型選擇的關鍵指標

3.3 開源基座模型LLaMA系列

第4章 自舉領域數(shù)據(jù)的獲取

4.1 指令自舉標注

4.2 自舉無監(jiān)督標注

4.3 自我策展

4.4 自我獎勵

第5章 數(shù)據(jù)處理

5.1 數(shù)據(jù)處理的挑戰(zhàn)

5.2 數(shù)據(jù)質量

5.3 高效數(shù)據(jù)集訪問

第6章 大模型抽象

6.1 計算圖

6.2 靜態(tài)計算圖

6.3 動態(tài)計算圖

6.4 算子優(yōu)化與調度

6.5 大模型中的張量與算子

6.6 大模型的序列化

第7章 LoRA低算力微調

7.1 LoRA的原理

7.2 LoRA的重參數(shù)化方法

7.3 秩的選擇

7.4 LoRA的多任務處理策略

7.5 LoRA量化版本QLoRA

7.6 LoRA微調類型

第8章 大模型的分布式訓練

8.1 分布式訓練的挑戰(zhàn)

8.2 分布式集群架構

8.3 分布式訓練的通信架構

8.4 并行模式

8.5 大模型的張量并行

8.6 數(shù)據(jù)并行的內存優(yōu)化

第9章 推理優(yōu)化技術

9.1 計算加速

9.2 內存優(yōu)化

9.3 吞吐量優(yōu)化

9.4 量化

第10章 大模型的編譯優(yōu)化

10.1 深度學習編譯與大模型編譯

10.2 深度學習框架與編譯優(yōu)化

10.3 訓練階段的編譯優(yōu)化

10.4 端側部署的編譯優(yōu)化

10.5 服務器端部署的編譯優(yōu)化

第11章 大模型部署的非性能需求

11.1 內容安全

11.2 水印

11.3 監(jiān)控

11.4 評估

第12章 垂直領域大模型的服務器端部署

12.1 服務器端部署架構

12.2 運行庫優(yōu)化

12.3 TGI生產(chǎn)環(huán)境解決方案

大模型垂直領域低算力遷移：微調、部署與優(yōu)化是2024年由機械工業(yè)出版社出版,作者程戈。

溫馨提示：
得書感謝您對《大模型垂直領域低算力遷移：微調、部署與優(yōu)化》關注和支持，如本書內容有不良信息或侵權等情形的，請聯(lián)系本網(wǎng)站。