編輯推薦

掌握大模型核心技術(shù)，邁向智能科技的巔峰。

內(nèi)容簡介

本書是一本從工程化角度講解大語言模型的核心技術(shù)、構(gòu)建方法與前沿應(yīng)用的著作。

首先從語言模型的原理和大模型的基礎(chǔ)構(gòu)件入手，詳細(xì)梳理了大模型技術(shù)的發(fā)展脈絡(luò)，深入探討了大模型預(yù)訓(xùn)練與對(duì)齊的方法；然后闡明了大模型訓(xùn)練中的算法設(shè)計(jì)、數(shù)據(jù)處理和分布式訓(xùn)練的核心原理，展示了這一系統(tǒng)性工程的復(fù)雜性與實(shí)現(xiàn)路徑。

除了基座模型的訓(xùn)練方案，本書還涵蓋了大模型在各領(lǐng)域的落地應(yīng)用方法，包括低參數(shù)量微調(diào)、知識(shí)融合、工具使用和自主智能體等，展示了大模型在提高生產(chǎn)力和創(chuàng)造性任務(wù)中的卓越性能和創(chuàng)新潛力。

無論是人工智能領(lǐng)域的研究員、工程師，還是對(duì)前沿技術(shù)充滿好奇的讀者，本書都將是您了解和掌握大模型技術(shù)的必備指南。

作者簡介

作者蘇之陽，現(xiàn)任微軟資深應(yīng)用科學(xué)家，前小冰研發(fā)總監(jiān)，專注于搜索排序算法和對(duì)話系統(tǒng)研發(fā)，曾主導(dǎo)了小冰智能評(píng)論和小冰框架等項(xiàng)目的架構(gòu)設(shè)計(jì)和開發(fā)在大語言模型的研發(fā)與應(yīng)用方面具有豐富的經(jīng)驗(yàn)。在國際學(xué)術(shù)會(huì)議和期刊上發(fā)表多篇高質(zhì)量論文，研究興趣涵蓋自然語言處理、深度學(xué)習(xí)以及云計(jì)算等領(lǐng)域。

章節(jié)目錄

版權(quán)信息

前言

第1章 語言模型簡介

1.1 傳統(tǒng)語言模型

1.1.1 n-gram語言模型

1.1.2 神經(jīng)網(wǎng)絡(luò)語言模型

1.1.3 傳統(tǒng)語言模型的應(yīng)用

1.2 大語言模型

1.2.1 大模型的發(fā)展歷程

1.2.2 訓(xùn)練大模型的挑戰(zhàn)

1.2.3 大模型的應(yīng)用

1.3 大模型實(shí)例

1.3.1 基座模型實(shí)例

1.3.2 對(duì)齊模型實(shí)例

1.4 小結(jié)

第2章 大模型網(wǎng)絡(luò)結(jié)構(gòu)

2.1 Seq2Seq結(jié)構(gòu)

2.2 注意力機(jī)制

2.3 Transformer架構(gòu)

2.3.1 Transformer模型結(jié)構(gòu)

2.3.2 編碼器單元

2.3.3 解碼器單元

2.3.4 位置編碼

2.4 詞元化

2.4.1 BPE

2.4.2 字節(jié)級(jí)BPE

2.4.3 WordPiece

2.4.4 Unigram語言模型

2.4.5 SentencePiece

2.5 解碼策略

2.5.1 貪心搜索

2.5.2 集束搜索

2.5.3 Top-k采樣

2.5.4 核采樣

2.5.5 溫度采樣

2.6 小結(jié)

第3章 大模型學(xué)習(xí)范式的演進(jìn)

3.1 預(yù)訓(xùn)練與微調(diào)的原理和典型模型

3.1.1 預(yù)訓(xùn)練與微調(diào)

3.1.2 三個(gè)典型模型

3.2 多任務(wù)學(xué)習(xí)的原理和典型模型

3.2.1 多任務(wù)學(xué)習(xí)

3.2.2 兩個(gè)典型模型

3.3 大規(guī)模模型的能力

3.3.1 少樣本學(xué)習(xí)

3.3.2 提示學(xué)習(xí)

3.3.3 上下文學(xué)習(xí)

3.4 小結(jié)

第4章 大模型對(duì)齊訓(xùn)練

4.1 對(duì)齊

4.1.1 對(duì)齊的定義

4.1.2 對(duì)齊的衡量指標(biāo)

4.2 基于人類反饋的強(qiáng)化學(xué)習(xí)

4.2.1 監(jiān)督微調(diào)的原理

4.2.2 訓(xùn)練獎(jiǎng)勵(lì)模型的原理

4.2.3 強(qiáng)化學(xué)習(xí)的原理

4.3 基于AI反饋的強(qiáng)化學(xué)習(xí)

4.4 直接偏好優(yōu)化

4.5 超級(jí)對(duì)齊

4.6 小結(jié)

第5章 大模型評(píng)測(cè)與數(shù)據(jù)集

5.1 大模型評(píng)測(cè)方法

5.1.1 人工評(píng)測(cè)

5.1.2 自動(dòng)評(píng)測(cè)

5.2 大模型評(píng)測(cè)指標(biāo)

5.2.1 準(zhǔn)確率、精確率、召回率與F1分?jǐn)?shù)

5.2.2 困惑度

5.2.3 BLEU與ROUGE

5.2.4 pass@k

5.3 大模型能力評(píng)測(cè)基準(zhǔn)

5.3.1 MMLU

5.3.2 GSM8K

5.3.3 C-Eval

5.3.4 HumanEval

5.4 數(shù)據(jù)集及預(yù)處理方法

5.4.1 預(yù)訓(xùn)練數(shù)據(jù)集

5.4.2 指令微調(diào)數(shù)據(jù)集

5.4.3 人工反饋數(shù)據(jù)集

5.4.4 數(shù)據(jù)預(yù)處理方法

5.5 小結(jié)

第6章 分布式訓(xùn)練與內(nèi)存優(yōu)化

6.1 大模型擴(kuò)展法則

6.2 分布式訓(xùn)練策略

6.2.1 數(shù)據(jù)并行

6.2.2 張量并行

6.2.3 流水線并行

6.2.4 混合并行

6.3 大模型訓(xùn)練中的不穩(wěn)定現(xiàn)象

6.4 分布式訓(xùn)練集群架構(gòu)

6.4.1 中心化架構(gòu)：參數(shù)服務(wù)器

6.4.2 去中心化架構(gòu)：集合通信

6.5 內(nèi)存優(yōu)化策略

6.5.1 混合精度訓(xùn)練

6.5.2 梯度檢查點(diǎn)

6.5.3 梯度累積

6.5.4 FlashAttention

6.6 分布式訓(xùn)練框架

6.7 小結(jié)

第7章 大模型的垂直場(chǎng)景適配方案

7.1 從零開始訓(xùn)練新模型

7.2 全量參數(shù)微調(diào)

7.3 低參數(shù)量微調(diào)

7.3.1 適配器方法

7.3.2 提示詞微調(diào)

7.3.3 前綴微調(diào)

7.3.4 LoRA

7.4 超低參數(shù)量微調(diào)的探索

7.5 小結(jié)

第8章 知識(shí)融合與工具使用

8.1 知識(shí)融合

8.1.1 檢索增強(qiáng)生成

8.1.2 解碼器融合

8.1.3 提示融合

8.2 工具使用

8.2.1 WebGPT

8.2.2 LaMDA

8.2.3 Toolformer

8.3 自主智能體

8.3.1 自主智能體的組件

8.3.2 自主智能體的工作流程

8.4 小結(jié)

第9章 大模型的進(jìn)階優(yōu)化

9.1 模型小型化

9.1.1 模型量化

9.1.2 知識(shí)蒸餾

9.1.3 參數(shù)剪枝

9.2 推理能力及其延伸

9.2.1 思維鏈

9.2.2 零樣本思維鏈

9.2.3 最少到最多提示

9.2.4 ReAct：推理能力+行動(dòng)能力

9.3 代碼生成

9.3.1 Codex

9.3.2 代碼生成的要素

9.4 多模態(tài)大模型

9.4.1 BEiT-3

9.4.2 CLIP

9.4.3 Flamingo

9.4.4 MiniGPT-4

9.5 高質(zhì)量數(shù)據(jù)的作用與構(gòu)建

9.5.1 LIMA

9.5.2 教科書級(jí)數(shù)據(jù)

9.6 模型能力“涌現(xiàn)”的原因

9.7 小結(jié)

第10章 大模型的局限性與未來發(fā)展方向

10.1 大模型的局限性

10.1.1 事實(shí)性錯(cuò)誤

10.1.2 理解和推理缺陷

10.1.3 知識(shí)更新問題

10.1.4 安全性問題

10.1.5 計(jì)算資源限制

10.2 大模型的未來發(fā)展方向

10.2.1 更強(qiáng)的記憶：從通用到個(gè)性化

10.2.2 裝上“手腳”：賦予模型使用工具的能力

10.2.3 多模態(tài)交互：穿越文本的邊界

10.3 小結(jié)

大語言模型：原理、應(yīng)用與優(yōu)化是2024年由機(jī)械工業(yè)出版社出版,作者蘇之陽。

溫馨提示：
得書感謝您對(duì)《大語言模型：原理、應(yīng)用與優(yōu)化》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請(qǐng)聯(lián)系本網(wǎng)站。