編輯推薦

掌握大模型核心技術(shù)，邁向智能科技的巔峰。

內(nèi)容簡介

本書是一本從工程化角度講解大語言模型的核心技術(shù)、構(gòu)建方法與前沿應(yīng)用的著作。

首先從語言模型的原理和大模型的基礎(chǔ)構(gòu)件入手，詳細(xì)梳理了大模型技術(shù)的發(fā)展脈絡(luò)，深入探討了大模型預(yù)訓(xùn)練與對齊的方法；然后闡明了大模型訓(xùn)練中的算法設(shè)計、數(shù)據(jù)處理和分布式訓(xùn)練的核心原理，展示了這一系統(tǒng)性工程的復(fù)雜性與實現(xiàn)路徑。

除了基座模型的訓(xùn)練方案，本書還涵蓋了大模型在各領(lǐng)域的落地應(yīng)用方法，包括低參數(shù)量微調(diào)、知識融合、工具使用和自主智能體等，展示了大模型在提高生產(chǎn)力和創(chuàng)造性任務(wù)中的卓越性能和創(chuàng)新潛力。

無論是人工智能領(lǐng)域的研究員、工程師，還是對前沿技術(shù)充滿好奇的讀者，本書都將是您了解和掌握大模型技術(shù)的必備指南。

作者簡介

作者蘇之陽，現(xiàn)任微軟資深應(yīng)用科學(xué)家，前小冰研發(fā)總監(jiān)，專注于搜索排序算法和對話系統(tǒng)研發(fā)，曾主導(dǎo)了小冰智能評論和小冰框架等項目的架構(gòu)設(shè)計和開發(fā)在大語言模型的研發(fā)與應(yīng)用方面具有豐富的經(jīng)驗。在國際學(xué)術(shù)會議和期刊上發(fā)表多篇高質(zhì)量論文，研究興趣涵蓋自然語言處理、深度學(xué)習(xí)以及云計算等領(lǐng)域。

章節(jié)目錄

版權(quán)信息

前言

第1章 語言模型簡介

1.1 傳統(tǒng)語言模型

1.1.1 n-gram語言模型

1.1.2 神經(jīng)網(wǎng)絡(luò)語言模型

1.1.3 傳統(tǒng)語言模型的應(yīng)用

1.2 大語言模型

1.2.1 大模型的發(fā)展歷程

1.2.2 訓(xùn)練大模型的挑戰(zhàn)

1.2.3 大模型的應(yīng)用

1.3 大模型實例

1.3.1 基座模型實例

1.3.2 對齊模型實例

1.4 小結(jié)

第2章 大模型網(wǎng)絡(luò)結(jié)構(gòu)

2.1 Seq2Seq結(jié)構(gòu)

2.2 注意力機制

2.3 Transformer架構(gòu)

2.3.1 Transformer模型結(jié)構(gòu)

2.3.2 編碼器單元

2.3.3 解碼器單元

2.3.4 位置編碼

2.4 詞元化

2.4.1 BPE

2.4.2 字節(jié)級BPE

2.4.3 WordPiece

2.4.4 Unigram語言模型

2.4.5 SentencePiece

2.5 解碼策略

2.5.1 貪心搜索

2.5.2 集束搜索

2.5.3 Top-k采樣

2.5.4 核采樣

2.5.5 溫度采樣

2.6 小結(jié)

第3章 大模型學(xué)習(xí)范式的演進(jìn)

3.1 預(yù)訓(xùn)練與微調(diào)的原理和典型模型

3.1.1 預(yù)訓(xùn)練與微調(diào)

3.1.2 三個典型模型

3.2 多任務(wù)學(xué)習(xí)的原理和典型模型

3.2.1 多任務(wù)學(xué)習(xí)

3.2.2 兩個典型模型

3.3 大規(guī)模模型的能力

3.3.1 少樣本學(xué)習(xí)

3.3.2 提示學(xué)習(xí)

3.3.3 上下文學(xué)習(xí)

3.4 小結(jié)

第4章 大模型對齊訓(xùn)練

4.1 對齊

4.1.1 對齊的定義

4.1.2 對齊的衡量指標(biāo)

4.2 基于人類反饋的強化學(xué)習(xí)

4.2.1 監(jiān)督微調(diào)的原理

4.2.2 訓(xùn)練獎勵模型的原理

4.2.3 強化學(xué)習(xí)的原理

4.3 基于AI反饋的強化學(xué)習(xí)

4.4 直接偏好優(yōu)化

4.5 超級對齊

4.6 小結(jié)

第5章 大模型評測與數(shù)據(jù)集

5.1 大模型評測方法

5.1.1 人工評測

5.1.2 自動評測

5.2 大模型評測指標(biāo)

5.2.1 準(zhǔn)確率、精確率、召回率與F1分?jǐn)?shù)

5.2.2 困惑度

5.2.3 BLEU與ROUGE

5.2.4 pass@k

5.3 大模型能力評測基準(zhǔn)

5.3.1 MMLU

5.3.2 GSM8K

5.3.3 C-Eval

5.3.4 HumanEval

5.4 數(shù)據(jù)集及預(yù)處理方法

5.4.1 預(yù)訓(xùn)練數(shù)據(jù)集

5.4.2 指令微調(diào)數(shù)據(jù)集

5.4.3 人工反饋數(shù)據(jù)集

5.4.4 數(shù)據(jù)預(yù)處理方法

5.5 小結(jié)

第6章 分布式訓(xùn)練與內(nèi)存優(yōu)化

6.1 大模型擴展法則

6.2 分布式訓(xùn)練策略

6.2.1 數(shù)據(jù)并行

6.2.2 張量并行

6.2.3 流水線并行

6.2.4 混合并行

6.3 大模型訓(xùn)練中的不穩(wěn)定現(xiàn)象

6.4 分布式訓(xùn)練集群架構(gòu)

6.4.1 中心化架構(gòu)：參數(shù)服務(wù)器

6.4.2 去中心化架構(gòu)：集合通信

6.5 內(nèi)存優(yōu)化策略

6.5.1 混合精度訓(xùn)練

6.5.2 梯度檢查點

6.5.3 梯度累積

6.5.4 FlashAttention

6.6 分布式訓(xùn)練框架

6.7 小結(jié)

第7章 大模型的垂直場景適配方案

7.1 從零開始訓(xùn)練新模型

7.2 全量參數(shù)微調(diào)

7.3 低參數(shù)量微調(diào)

7.3.1 適配器方法

7.3.2 提示詞微調(diào)

7.3.3 前綴微調(diào)

7.3.4 LoRA

7.4 超低參數(shù)量微調(diào)的探索

7.5 小結(jié)

第8章 知識融合與工具使用

8.1 知識融合

8.1.1 檢索增強生成

8.1.2 解碼器融合

8.1.3 提示融合

8.2 工具使用

8.2.1 WebGPT

8.2.2 LaMDA

8.2.3 Toolformer

8.3 自主智能體

8.3.1 自主智能體的組件

8.3.2 自主智能體的工作流程

8.4 小結(jié)

第9章 大模型的進(jìn)階優(yōu)化

9.1 模型小型化

9.1.1 模型量化

9.1.2 知識蒸餾

9.1.3 參數(shù)剪枝

9.2 推理能力及其延伸

9.2.1 思維鏈

9.2.2 零樣本思維鏈

9.2.3 最少到最多提示

9.2.4 ReAct：推理能力+行動能力

9.3 代碼生成

9.3.1 Codex

9.3.2 代碼生成的要素

9.4 多模態(tài)大模型

9.4.1 BEiT-3

9.4.2 CLIP

9.4.3 Flamingo

9.4.4 MiniGPT-4

9.5 高質(zhì)量數(shù)據(jù)的作用與構(gòu)建

9.5.1 LIMA

9.5.2 教科書級數(shù)據(jù)

9.6 模型能力“涌現(xiàn)”的原因

9.7 小結(jié)

第10章 大模型的局限性與未來發(fā)展方向

10.1 大模型的局限性

10.1.1 事實性錯誤

10.1.2 理解和推理缺陷

10.1.3 知識更新問題

10.1.4 安全性問題

10.1.5 計算資源限制

10.2 大模型的未來發(fā)展方向

10.2.1 更強的記憶：從通用到個性化

10.2.2 裝上“手腳”：賦予模型使用工具的能力

10.2.3 多模態(tài)交互：穿越文本的邊界

10.3 小結(jié)

大語言模型：原理、應(yīng)用與優(yōu)化是2024年由機械工業(yè)出版社出版,作者蘇之陽。

溫馨提示：
得書感謝您對《大語言模型：原理、應(yīng)用與優(yōu)化》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。