編輯推薦

詳解大模型基本理論、算法、程序?qū)崿F(xiàn)與應(yīng)用實(shí)戰(zhàn)，揭示大模型開(kāi)發(fā)與微調(diào)技術(shù)。

內(nèi)容簡(jiǎn)介

大模型是深度學(xué)習(xí)自然語(yǔ)言處理皇冠上的一顆明珠，也是當(dāng)前AI和NLP研究與產(chǎn)業(yè)中最重要的方向之一。本書(shū)使用PyTorch 2.0作為學(xué)習(xí)大模型的基本框架，以ChatGLM為例詳細(xì)講解大模型的基本理論、算法、程序?qū)崿F(xiàn)、應(yīng)用實(shí)戰(zhàn)以及微調(diào)技術(shù)，為讀者揭示大模型開(kāi)發(fā)技術(shù)。本書(shū)配套示例源代碼、PPT課件。

本書(shū)共18章，內(nèi)容包括人工智能與大模型、PyTorch 2.0深度學(xué)習(xí)環(huán)境搭建、從零開(kāi)始學(xué)習(xí)PyTorch 2.0、深度學(xué)習(xí)基礎(chǔ)算法詳解、基于PyTorch卷積層的MNIST分類(lèi)實(shí)戰(zhàn)、PyTorch數(shù)據(jù)處理與模型展示、ResNet實(shí)戰(zhàn)、有趣的詞嵌入、基于PyTorch循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類(lèi)實(shí)戰(zhàn)、自然語(yǔ)言處理的編碼器、預(yù)訓(xùn)練模型BERT等。

作者簡(jiǎn)介

作者王曉華，計(jì)算機(jī)專(zhuān)業(yè)講師，長(zhǎng)期講授面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、Hadoop程序設(shè)計(jì)等研究生和本科生相關(guān)課程；主要研究方向?yàn)樵朴?jì)算、數(shù)據(jù)挖掘。曾主持和參與多項(xiàng)國(guó)家和省級(jí)科研課題，獨(dú)立科研項(xiàng)目獲省級(jí)成果認(rèn)定，發(fā)表過(guò)多篇論文，擁有一項(xiàng)專(zhuān)利。著有《Spark MLlib機(jī)器學(xué)習(xí)實(shí)踐》《TensorFlow深度學(xué)習(xí)應(yīng)用實(shí)踐》《OpenCV TensorFlow深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)實(shí)戰(zhàn)》等圖書(shū)。

章節(jié)目錄

版權(quán)信息

作者簡(jiǎn)介

內(nèi)容簡(jiǎn)介

前言

第1章 新時(shí)代的曙光

1.1 人工智能：思維與實(shí)踐的融合

1.1.1 人工智能的歷史與未來(lái)

1.1.2 深度學(xué)習(xí)與人工智能

1.1.3 選擇PyTorch 2.0實(shí)戰(zhàn)框架

1.2 大模型開(kāi)啟人工智能的新時(shí)代

1.2.1 大模型帶來(lái)的變革

1.2.2 最強(qiáng)的中文大模型——清華大學(xué)ChatGLM介紹

1.2.3 近在咫尺的未來(lái)——大模型的應(yīng)用前景

1.3 本章小結(jié)

第2章 PyTorch 2.0深度學(xué)習(xí)環(huán)境搭建

2.1 環(huán)境搭建1：安裝Python

2.1.1 Miniconda的下載與安裝

2.1.2 PyCharm的下載與安裝

2.1.3 Python代碼小練習(xí)：計(jì)算Softmax函數(shù)

2.2 環(huán)境搭建2：安裝PyTorch 2.0

2.2.1 Nvidia 10/20/30/40系列顯卡選擇的GPU版本

2.2.2 PyTorch 2.0 GPU Nvidia運(yùn)行庫(kù)的安裝

2.2.3 PyTorch 2.0小練習(xí)：Hello PyTorch

2.3 生成式模型實(shí)戰(zhàn)：古詩(shī)詞的生成

2.4 圖像降噪：手把手實(shí)戰(zhàn)第一個(gè)深度學(xué)習(xí)模型

2.4.1 MNIST數(shù)據(jù)集的準(zhǔn)備

2.4.2 MNIST數(shù)據(jù)集的特征和標(biāo)簽介紹

2.4.3 模型的準(zhǔn)備和介紹

2.4.4 對(duì)目標(biāo)的逼近——模型的損失函數(shù)與優(yōu)化函數(shù)

2.4.5 基于深度學(xué)習(xí)的模型訓(xùn)練

2.5 本章小結(jié)

第3章 從零開(kāi)始學(xué)習(xí)PyTorch 2.0

3.1 實(shí)戰(zhàn)MNIST手寫(xiě)體識(shí)別

3.1.1 數(shù)據(jù)圖像的獲取與標(biāo)簽的說(shuō)明

3.1.2 實(shí)戰(zhàn)基于PyTorch 2.0的手寫(xiě)體識(shí)別模型

3.1.3 基于Netron庫(kù)的PyTorch 2.0模型可視化

3.2 自定義神經(jīng)網(wǎng)絡(luò)框架的基本設(shè)計(jì)

3.2.1 神經(jīng)網(wǎng)絡(luò)框架的抽象實(shí)現(xiàn)

3.2.2 自定義神經(jīng)網(wǎng)絡(luò)框架的具體實(shí)現(xiàn)

3.3 本章小結(jié)

第4章 一學(xué)就會(huì)的深度學(xué)習(xí)基礎(chǔ)算法詳解

4.1 反向傳播神經(jīng)網(wǎng)絡(luò)的前身歷史

4.2 反向傳播神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解

4.2.1 最小二乘法詳解

4.2.2 梯度下降算法

4.2.3 最小二乘法的梯度下降算法及其Python實(shí)現(xiàn)

4.3 反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹

4.3.1 深度學(xué)習(xí)基礎(chǔ)

4.3.2 鏈?zhǔn)角髮?dǎo)法則

4.3.3 反饋神經(jīng)網(wǎng)絡(luò)的原理與公式推導(dǎo)

4.3.4 反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù)

4.3.5 反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn)

4.4 本章小結(jié)

第5章 基于PyTorch卷積層的MNIST分類(lèi)實(shí)戰(zhàn)

5.1 卷積運(yùn)算的基本概念

5.1.1 基本卷積運(yùn)算示例

5.1.2 PyTorch中的卷積函數(shù)實(shí)現(xiàn)詳解

5.1.3 池化運(yùn)算

5.1.4 Softmax激活函數(shù)

5.1.5 卷積神經(jīng)網(wǎng)絡(luò)的原理

5.2 實(shí)戰(zhàn)：基于卷積的MNIST手寫(xiě)體分類(lèi)

5.2.1 數(shù)據(jù)的準(zhǔn)備

5.2.2 模型的設(shè)計(jì)

5.2.3 基于卷積的MNIST分類(lèi)模型

5.3 PyTorch的深度可分離膨脹卷積詳解

5.3.1 深度可分離卷積的定義

5.3.2 深度的定義以及不同計(jì)算層待訓(xùn)練參數(shù)的比較

5.3.3 膨脹卷積詳解

5.3.4 實(shí)戰(zhàn)：基于深度可分離膨脹卷積的MNIST手寫(xiě)體識(shí)別

5.4 本章小結(jié)

第6章 可視化的PyTorch數(shù)據(jù)處理與模型展示

6.1 用于自定義數(shù)據(jù)集的torch.utils.data工具箱使用詳解

6.1.1 使用torch.utils.data. Dataset封裝自定義數(shù)據(jù)集

6.1.2 改變數(shù)據(jù)類(lèi)型的Dataset類(lèi)中的transform的使用

6.1.3 批量輸出數(shù)據(jù)的DataLoader類(lèi)詳解

6.2 實(shí)戰(zhàn)：基于tensorboardX的訓(xùn)練可視化展示

6.2.1 可視化組件tensorboardX的簡(jiǎn)介與安裝

6.2.2 tensorboardX可視化組件的使用

6.2.3 tensorboardX對(duì)模型訓(xùn)練過(guò)程的展示

6.3 本章小結(jié)

第7章 ResNet實(shí)戰(zhàn)

7.1 ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ)

7.1.1 ResNet誕生的背景

7.1.2 PyTorch 2.0中的模塊工具

7.1.3 ResNet殘差模塊的實(shí)現(xiàn)

7.1.4 ResNet網(wǎng)絡(luò)的實(shí)現(xiàn)

7.2 ResNet實(shí)戰(zhàn)：CIFAR-10數(shù)據(jù)集分類(lèi)

7.2.1 CIFAR-10數(shù)據(jù)集簡(jiǎn)介

7.2.2 基于ResNet的CIFAR-10數(shù)據(jù)集分類(lèi)

7.3 本章小結(jié)

第8章 有趣的詞嵌入

8.1 文本數(shù)據(jù)處理

8.1.1 Ag_news數(shù)據(jù)集介紹和數(shù)據(jù)清洗

8.1.2 停用詞的使用

8.1.3 詞向量訓(xùn)練模型Word2Vec使用介紹

8.1.4 文本主題的提取：基于TF-IDF

8.1.5 文本主題的提?。夯赥extRank

8.2 更多的詞嵌入方法

8.2.1 FastText的原理與基礎(chǔ)算法

8.2.2 FastText訓(xùn)練及其與PyTorch 2.0的協(xié)同使用

8.2.3 使用其他預(yù)訓(xùn)練參數(shù)來(lái)生成PyTorch 2.0詞嵌入矩陣（中文）

8.3 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介

8.3.1 字符（非單詞）文本的處理

8.3.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類(lèi)模型的實(shí)現(xiàn)——Conv1d（一維卷積）

8.4 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介

8.4.1 單詞的文本處理

8.4.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類(lèi)模型的實(shí)現(xiàn)——Conv2d（二維卷積）

8.5 使用卷積對(duì)文本分類(lèi)的補(bǔ)充內(nèi)容

8.5.1 漢字的文本處理

8.5.2 其他細(xì)節(jié)

8.6 本章小結(jié)

第9章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類(lèi)實(shí)戰(zhàn)

9.1 實(shí)戰(zhàn)：循環(huán)神經(jīng)網(wǎng)絡(luò)與情感分類(lèi)

9.2 循環(huán)神經(jīng)網(wǎng)絡(luò)理論講解

9.2.1 什么是GRU

9.2.2 單向不行，那就雙向

9.3 本章小結(jié)

第10章 從零開(kāi)始學(xué)習(xí)自然語(yǔ)言處理的編碼器

10.1 編碼器的核心

10.1.1 輸入層——初始詞向量層和位置編碼器層

10.1.2 自注意力層

10.1.3 ticks和Layer Normalization

10.1.4 多頭注意力

10.2 編碼器的實(shí)現(xiàn)

10.2.1 前饋層的實(shí)現(xiàn)

10.2.2 編碼器的實(shí)現(xiàn)

10.3 實(shí)戰(zhàn)編碼器：拼音漢字轉(zhuǎn)化模型

10.3.1 漢字拼音數(shù)據(jù)集處理

10.3.2 漢字拼音轉(zhuǎn)化模型的確定

10.3.3 模型訓(xùn)練部分的編寫(xiě)

10.4 本章小結(jié)

第11章 站在巨人肩膀上的預(yù)訓(xùn)練模型BERT

11.1 預(yù)訓(xùn)練模型BERT

11.1.1 BERT的基本架構(gòu)與應(yīng)用

11.1.2 BERT預(yù)訓(xùn)練任務(wù)與微調(diào)

11.2 實(shí)戰(zhàn)BERT：中文文本分類(lèi)

11.2.1 使用Hugging Face獲取BERT預(yù)訓(xùn)練模型

11.2.2 BERT實(shí)戰(zhàn)文本分類(lèi)

11.3 更多的預(yù)訓(xùn)練模型

11.4 本章小結(jié)

第12章 從1開(kāi)始自然語(yǔ)言處理的解碼器

12.1 解碼器的核心

12.1.1 解碼器的輸入和交互注意力層的掩碼

12.1.2 為什么通過(guò)掩碼操作能夠減少干擾

12.1.3 解碼器的輸出（移位訓(xùn)練方法）

12.1.4 解碼器的實(shí)現(xiàn)

12.2 解碼器實(shí)戰(zhàn)

12.2.1 數(shù)據(jù)集的獲取與處理

12.2.2 翻譯模型

12.2.3 拼音漢字模型的訓(xùn)練

12.2.4 拼音漢字模型的使用

12.3 本章小結(jié)

第13章 基于PyTorch 2.0的強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)

13.1 基于強(qiáng)化學(xué)習(xí)的火箭回收實(shí)戰(zhàn)

13.1.1 火箭回收基本運(yùn)行環(huán)境介紹

13.1.2 火箭回收參數(shù)介紹

13.1.3 基于強(qiáng)化學(xué)習(xí)的火箭回收實(shí)戰(zhàn)

13.1.4 強(qiáng)化學(xué)習(xí)的基本內(nèi)容

13.2 強(qiáng)化學(xué)習(xí)的基本算法

13.2.1 PPO算法簡(jiǎn)介

13.2.2 函數(shù)使用說(shuō)明

13.2.3 一學(xué)就會(huì)的TD-error理論介紹

13.2.4 基于TD-error的結(jié)果修正

13.2.5 對(duì)于獎(jiǎng)勵(lì)的倒序構(gòu)成的說(shuō)明

13.3 本章小結(jié)

第14章 ChatGPT前身

14.1 GPT-2模型簡(jiǎn)介

14.1.1 GPT-2模型的輸入和輸出結(jié)構(gòu)——自回歸性

14.1.2 GPT-2模型的PyTorch實(shí)現(xiàn)

14.1.3 GPT-2模型輸入輸出格式的實(shí)現(xiàn)

14.2 Hugging Face GPT-2模型源碼模型詳解

14.2.1 GPT2LMHeadModel類(lèi)和GPT2Model類(lèi)詳解

14.2.2 Block類(lèi)詳解

14.2.3 Attention類(lèi)詳解

14.2.4 MLP類(lèi)詳解

14.3 Hugging Face GPT-2模型的使用與自定義微調(diào)

14.3.1 模型的使用與自定義數(shù)據(jù)集的微調(diào)

14.3.2 基于預(yù)訓(xùn)練模型的評(píng)論描述微調(diào)

14.4 自定義模型的輸出

14.4.1 GPT輸出的結(jié)構(gòu)

14.4.2 創(chuàng)造性參數(shù)temperature與采樣個(gè)數(shù)topK

14.5 本章小結(jié)

第15章 實(shí)戰(zhàn)訓(xùn)練自己的ChatGPT

15.1 什么是ChatGPT

15.2 RLHF模型簡(jiǎn)介

15.2.1 RLHF技術(shù)分解

15.2.2 RLHF中的具體實(shí)現(xiàn)——PPO算法

15.3 基于RLHF實(shí)戰(zhàn)的ChatGPT正向評(píng)論的生成

15.3.1 RLHF模型進(jìn)化的總體講解

15.3.2 ChatGPT評(píng)分模塊簡(jiǎn)介

15.3.3 帶有評(píng)分函數(shù)的ChatGPT模型的構(gòu)建

15.3.4 RLHF中的PPO算法——KL散度

15.3.5 RLHF中的PPO算法——損失函數(shù)

15.4 本章小結(jié)

第16章 開(kāi)源大模型ChatGLM使用詳解

16.1 為什么要使用大模型

16.1.1 大模型與普通模型的區(qū)別

16.1.2 一個(gè)神奇的現(xiàn)象——大模型的涌現(xiàn)能力

16.2 ChatGLM使用詳解

16.2.1 ChatGLM簡(jiǎn)介及應(yīng)用前景

16.2.2 下載ChatGLM

16.2.3 ChatGLM的使用與Prompt介紹

16.3 本章小結(jié)

第17章 開(kāi)源大模型ChatGLM高級(jí)定制化應(yīng)用實(shí)戰(zhàn)

17.1 醫(yī)療問(wèn)答GLMQABot搭建實(shí)戰(zhàn)

17.1.1 基于ChatGLM搭建專(zhuān)業(yè)領(lǐng)域問(wèn)答機(jī)器人的思路

17.1.2 基于真實(shí)醫(yī)療問(wèn)答的數(shù)據(jù)準(zhǔn)備

17.1.3 文本相關(guān)性（相似度）的比較算法

17.1.4 提示語(yǔ)句Prompt的構(gòu)建

17.1.5 基于單個(gè)文檔的GLMQABot的搭建

17.2 金融信息抽取實(shí)戰(zhàn)

17.2.1 基于ChatGLM搭建智能答案生成機(jī)器人的思路

17.2.2 獲取專(zhuān)業(yè)（范疇內(nèi)）文檔與編碼存儲(chǔ)

17.2.3 查詢(xún)文本編碼的相關(guān)性比較與排序

17.2.4 基于知識(shí)鏈的ChatGLM本地化知識(shí)庫(kù)檢索與智能答案生成

17.3 基于ChatGLM的一些補(bǔ)充內(nèi)容

17.3.1 語(yǔ)言的藝術(shù)——Prompt的前世今生

17.3.2 清華大學(xué)推薦的ChatGLM微調(diào)方法

17.3.2 一種新的基于ChatGLM的文本檢索方案

17.4 本章小結(jié)

第18章 對(duì)訓(xùn)練成本上億美元的ChatGLM進(jìn)行高級(jí)微調(diào)

18.1 ChatGLM模型的本地化處理

18.1.1 下載ChatGLM源碼與合并存檔

18.1.2 修正自定義的本地化模型

18.1.3 構(gòu)建GLM模型的輸入輸出示例

18.2 高級(jí)微調(diào)方法1

18.2.1 數(shù)據(jù)的準(zhǔn)備——將文本內(nèi)容轉(zhuǎn)化成三元組的知識(shí)圖譜

18.2.2 加速的秘密——Accelerate模型加速工具詳解

18.2.3 更快的速度——使用INT8（INT4）量化模型加速訓(xùn)練

18.3 高級(jí)微調(diào)方法2

18.3.1 對(duì)ChatGLM進(jìn)行微調(diào)的方法——LoRA

18.3.2 自定義LoRA的使用方法

18.3.3 基于自定義LoRA的模型訓(xùn)練

18.3.4 基于自定義LoRA的模型推斷

18.3.5 基于基本原理的LoRA實(shí)現(xiàn)

18.4 高級(jí)微調(diào)方法3

18.4.1 PEFT技術(shù)詳解

18.4.2 PEFT的使用與參數(shù)設(shè)計(jì)

18.4.3 Huggingface專(zhuān)用PEFT的使用

18.5 本章小結(jié)

從零開(kāi)始大模型開(kāi)發(fā)與微調(diào)：基于PyTorch與ChatGLM是2023年由清華大學(xué)出版社出版,作者王曉華。

溫馨提示：
得書(shū)感謝您對(duì)《從零開(kāi)始大模型開(kāi)發(fā)與微調(diào)：基于PyTorch與ChatGLM》關(guān)注和支持，如本書(shū)內(nèi)容有不良信息或侵權(quán)等情形的，請(qǐng)聯(lián)系本網(wǎng)站。