編輯推薦

助你理解、掌握PyTorch的優(yōu)化技巧。

內(nèi)容簡(jiǎn)介

本書(shū)致力于探索如何在大規(guī)模深度學(xué)習(xí)模型訓(xùn)練中，最大限度地提高性能和優(yōu)化顯存使用。本書(shū)面向深度學(xué)習(xí)從業(yè)者，尤其是希望深入了解并提升模型訓(xùn)練效率的工程師與研究人員。隨著深度學(xué)習(xí)模型和數(shù)據(jù)規(guī)模的迅速增長(zhǎng)，如何高效利用硬件資源，減少訓(xùn)練時(shí)間，成為當(dāng)前AI系統(tǒng)工程的關(guān)鍵挑戰(zhàn)。

本書(shū)內(nèi)容涵蓋從單機(jī)到分布式訓(xùn)練，從顯存管理到性能分析的多種優(yōu)化策略，力求通過(guò)豐富的代碼實(shí)例和深入的原理講解，使讀者能夠在實(shí)踐中靈活應(yīng)用這些方法。

作者簡(jiǎn)介

作者張愛(ài)玲，本科畢業(yè)于清華大學(xué)電子工程系，后在美國(guó)伊利諾伊大學(xué)香檳分校獲得計(jì)算機(jī)科學(xué)碩士學(xué)位，是AI系統(tǒng)工程領(lǐng)域的資深技術(shù)專(zhuān)家。作為深度學(xué)習(xí)框架PyTorch核心團(tuán)隊(duì)成員，參與了多個(gè)關(guān)鍵組件的研發(fā)與優(yōu)化工作。

同時(shí)，她作為技術(shù)負(fù)責(zé)人主導(dǎo)了PyTorch/XLA和Taichi編譯器等多個(gè)具有廣泛影響力的開(kāi)源項(xiàng)目。目前在工業(yè)界專(zhuān)注于大規(guī)模語(yǔ)言模型訓(xùn)練的基礎(chǔ)設(shè)施開(kāi)發(fā)與性能優(yōu)化工作。

章節(jié)目錄

版權(quán)信息

作者簡(jiǎn)介

內(nèi)容簡(jiǎn)介

前言

01 歡迎來(lái)到這場(chǎng)大模型競(jìng)賽

1.1 模型規(guī)模帶來(lái)的挑戰(zhàn)

1.2 數(shù)據(jù)規(guī)模帶來(lái)的挑戰(zhàn)

1.3 模型規(guī)模與數(shù)據(jù)增長(zhǎng)的應(yīng)對(duì)方法

02 深度學(xué)習(xí)必備的硬件知識(shí)

2.1 CPU與內(nèi)存

2.2 硬盤(pán)

2.3 GPU

2.4 分布式系統(tǒng)

03 深知度識(shí)學(xué)習(xí)必備的PyTorch

3.1 PyTorch的張量數(shù)據(jù)結(jié)構(gòu)

3.2 PyTorch中的算子

3.3 PyTorch的動(dòng)態(tài)圖機(jī)制

3.4 PyTorch的自動(dòng)微分系統(tǒng)

3.5 PyTorch的異步執(zhí)行機(jī)制

04 定位性能瓶頸的工具和方法

4.1 配置性能分析所需的軟硬件環(huán)境

4.2 精確測(cè)量程序運(yùn)行時(shí)間

4.3 PyTorch性能分析器

4.4 GPU專(zhuān)業(yè)分析工具

4.5 CPU性能分析工具

4.6 本章小結(jié)

05 數(shù)據(jù)加載和預(yù)處理專(zhuān)題

5.1 數(shù)據(jù)接入的準(zhǔn)備階段

5.2 數(shù)據(jù)集的獲取和預(yù)處理

5.3 數(shù)據(jù)集的加載和使用

5.4 數(shù)據(jù)加載性能分析

5.5 本章小結(jié)

06 單卡性能優(yōu)化專(zhuān)題

6.1 提高數(shù)據(jù)任務(wù)的并行度

6.2 提高GPU計(jì)算任務(wù)的效率

6.3 減少CPU和GPU間的同步

6.4 降低程序中的額外開(kāi)銷(xiāo)

6.5 有代價(jià)的性能優(yōu)化

6.6 本章小結(jié)

07 單卡顯存優(yōu)化專(zhuān)題

7.1 PyTorch的顯存管理機(jī)制

7.2 顯存的分析方法

7.3 訓(xùn)練過(guò)程中的顯存占用

7.4 通用顯存復(fù)用方法

7.5 有代價(jià)的顯存優(yōu)化技巧

7.6 優(yōu)化Python代碼以減少顯存占用

7.7 本章小結(jié)

08 分布式訓(xùn)練專(zhuān)題

8.1 分布式策略概述

8.2 集合通信原語(yǔ)

8.3 應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)的并行策略

8.4 應(yīng)對(duì)模型增長(zhǎng)的并行策略

8.5 本章小結(jié)

09 高級(jí)優(yōu)化方法專(zhuān)題

9.1 自動(dòng)混合精度訓(xùn)練

9.2 自定義高性能算子

9.3 基于計(jì)算圖的性能優(yōu)化

9.4 本章小結(jié)

10 GPT-2優(yōu)化全流程

10.1 GPT模型結(jié)構(gòu)簡(jiǎn)介

10.2 實(shí)驗(yàn)環(huán)境與機(jī)器配置

10.3 顯存優(yōu)化

10.4 性能優(yōu)化

結(jié)語(yǔ)

大模型動(dòng)力引擎：PyTorch性能與顯存優(yōu)化手冊(cè)是2024年由清華大學(xué)出版社出版,作者張愛(ài)玲。

溫馨提示：
得書(shū)感謝您對(duì)《大模型動(dòng)力引擎：PyTorch性能與顯存優(yōu)化手冊(cè)》關(guān)注和支持，如本書(shū)內(nèi)容有不良信息或侵權(quán)等情形的，請(qǐng)聯(lián)系本網(wǎng)站。