編輯推薦

手把手教你從零構(gòu)建垂直大模型。

內(nèi)容簡介

本書是一本深度探討大模型在低算力環(huán)境下實現(xiàn)遷移與微調(diào)的實踐指南，并深入講解了大模型的部署與優(yōu)化策略。書中結(jié)合多個垂直領(lǐng)域的應(yīng)用場景，從理論到技術(shù)實現(xiàn)，全程詳盡講解了如何應(yīng)對大模型在行業(yè)落地中的技術(shù)挑戰(zhàn)，幫助讀者逐步掌握大模型的遷移與微調(diào)核心技術(shù)。

作者簡介

作者程戈，博士生導師，湘潭大學計算機學院·網(wǎng)絡(luò)空間安全學院教授，湘潭大學技術(shù)轉(zhuǎn)移中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，智慧司法與數(shù)字治理湖南省重點實驗室副主任，CCF計算法學會執(zhí)委。

章節(jié)目錄

版權(quán)信息

前言

第1章 垂直領(lǐng)域大模型的行業(yè)變革與機遇

1.1 大模型下的行業(yè)變革

1.2 垂直領(lǐng)域大模型遷移的動機

1.3 垂直領(lǐng)域大模型遷移的機遇

第2章 垂直領(lǐng)域遷移技術(shù)棧

2.1 垂直領(lǐng)域遷移的方式

2.2 低算力微調(diào)

2.3 推理優(yōu)化

第3章 大模型的開源生態(tài)

3.1 大模型的開源社區(qū)

3.2 開源生態(tài)下基座模型選擇的關(guān)鍵指標

3.3 開源基座模型LLaMA系列

第4章 自舉領(lǐng)域數(shù)據(jù)的獲取

4.1 指令自舉標注

4.2 自舉無監(jiān)督標注

4.3 自我策展

4.4 自我獎勵

第5章 數(shù)據(jù)處理

5.1 數(shù)據(jù)處理的挑戰(zhàn)

5.2 數(shù)據(jù)質(zhì)量

5.3 高效數(shù)據(jù)集訪問

第6章 大模型抽象

6.1 計算圖

6.2 靜態(tài)計算圖

6.3 動態(tài)計算圖

6.4 算子優(yōu)化與調(diào)度

6.5 大模型中的張量與算子

6.6 大模型的序列化

第7章 LoRA低算力微調(diào)

7.1 LoRA的原理

7.2 LoRA的重參數(shù)化方法

7.3 秩的選擇

7.4 LoRA的多任務(wù)處理策略

7.5 LoRA量化版本QLoRA

7.6 LoRA微調(diào)類型

第8章 大模型的分布式訓練

8.1 分布式訓練的挑戰(zhàn)

8.2 分布式集群架構(gòu)

8.3 分布式訓練的通信架構(gòu)

8.4 并行模式

8.5 大模型的張量并行

8.6 數(shù)據(jù)并行的內(nèi)存優(yōu)化

第9章 推理優(yōu)化技術(shù)

9.1 計算加速

9.2 內(nèi)存優(yōu)化

9.3 吞吐量優(yōu)化

9.4 量化

第10章 大模型的編譯優(yōu)化

10.1 深度學習編譯與大模型編譯

10.2 深度學習框架與編譯優(yōu)化

10.3 訓練階段的編譯優(yōu)化

10.4 端側(cè)部署的編譯優(yōu)化

10.5 服務(wù)器端部署的編譯優(yōu)化

第11章 大模型部署的非性能需求

11.1 內(nèi)容安全

11.2 水印

11.3 監(jiān)控

11.4 評估

第12章 垂直領(lǐng)域大模型的服務(wù)器端部署

12.1 服務(wù)器端部署架構(gòu)

12.2 運行庫優(yōu)化

12.3 TGI生產(chǎn)環(huán)境解決方案

大模型垂直領(lǐng)域低算力遷移：微調(diào)、部署與優(yōu)化是2024年由機械工業(yè)出版社出版,作者程戈。

溫馨提示：
得書感謝您對《大模型垂直領(lǐng)域低算力遷移：微調(diào)、部署與優(yōu)化》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。