編輯推薦

助你理解、掌握PyTorch的優(yōu)化技巧。

內(nèi)容簡介

本書致力于探索如何在大規(guī)模深度學(xué)習(xí)模型訓(xùn)練中，最大限度地提高性能和優(yōu)化顯存使用。本書面向深度學(xué)習(xí)從業(yè)者，尤其是希望深入了解并提升模型訓(xùn)練效率的工程師與研究人員。隨著深度學(xué)習(xí)模型和數(shù)據(jù)規(guī)模的迅速增長，如何高效利用硬件資源，減少訓(xùn)練時(shí)間，成為當(dāng)前AI系統(tǒng)工程的關(guān)鍵挑戰(zhàn)。

本書內(nèi)容涵蓋從單機(jī)到分布式訓(xùn)練，從顯存管理到性能分析的多種優(yōu)化策略，力求通過豐富的代碼實(shí)例和深入的原理講解，使讀者能夠在實(shí)踐中靈活應(yīng)用這些方法。

作者簡介

作者張愛玲，本科畢業(yè)于清華大學(xué)電子工程系，后在美國伊利諾伊大學(xué)香檳分校獲得計(jì)算機(jī)科學(xué)碩士學(xué)位，是AI系統(tǒng)工程領(lǐng)域的資深技術(shù)專家。作為深度學(xué)習(xí)框架PyTorch核心團(tuán)隊(duì)成員，參與了多個(gè)關(guān)鍵組件的研發(fā)與優(yōu)化工作。

同時(shí)，她作為技術(shù)負(fù)責(zé)人主導(dǎo)了PyTorch/XLA和Taichi編譯器等多個(gè)具有廣泛影響力的開源項(xiàng)目。目前在工業(yè)界專注于大規(guī)模語言模型訓(xùn)練的基礎(chǔ)設(shè)施開發(fā)與性能優(yōu)化工作。

章節(jié)目錄

版權(quán)信息

作者簡介

內(nèi)容簡介

前言

01 歡迎來到這場(chǎng)大模型競(jìng)賽

1.1 模型規(guī)模帶來的挑戰(zhàn)

1.2 數(shù)據(jù)規(guī)模帶來的挑戰(zhàn)

1.3 模型規(guī)模與數(shù)據(jù)增長的應(yīng)對(duì)方法

02 深度學(xué)習(xí)必備的硬件知識(shí)

2.1 CPU與內(nèi)存

2.2 硬盤

2.3 GPU

2.4 分布式系統(tǒng)

03 深知度識(shí)學(xué)習(xí)必備的PyTorch

3.1 PyTorch的張量數(shù)據(jù)結(jié)構(gòu)

3.2 PyTorch中的算子

3.3 PyTorch的動(dòng)態(tài)圖機(jī)制

3.4 PyTorch的自動(dòng)微分系統(tǒng)

3.5 PyTorch的異步執(zhí)行機(jī)制

04 定位性能瓶頸的工具和方法

4.1 配置性能分析所需的軟硬件環(huán)境

4.2 精確測(cè)量程序運(yùn)行時(shí)間

4.3 PyTorch性能分析器

4.4 GPU專業(yè)分析工具

4.5 CPU性能分析工具

4.6 本章小結(jié)

05 數(shù)據(jù)加載和預(yù)處理專題

5.1 數(shù)據(jù)接入的準(zhǔn)備階段

5.2 數(shù)據(jù)集的獲取和預(yù)處理

5.3 數(shù)據(jù)集的加載和使用

5.4 數(shù)據(jù)加載性能分析

5.5 本章小結(jié)

06 單卡性能優(yōu)化專題

6.1 提高數(shù)據(jù)任務(wù)的并行度

6.2 提高GPU計(jì)算任務(wù)的效率

6.3 減少CPU和GPU間的同步

6.4 降低程序中的額外開銷

6.5 有代價(jià)的性能優(yōu)化

6.6 本章小結(jié)

07 單卡顯存優(yōu)化專題

7.1 PyTorch的顯存管理機(jī)制

7.2 顯存的分析方法

7.3 訓(xùn)練過程中的顯存占用

7.4 通用顯存復(fù)用方法

7.5 有代價(jià)的顯存優(yōu)化技巧

7.6 優(yōu)化Python代碼以減少顯存占用

7.7 本章小結(jié)

08 分布式訓(xùn)練專題

8.1 分布式策略概述

8.2 集合通信原語

8.3 應(yīng)對(duì)數(shù)據(jù)增長的并行策略

8.4 應(yīng)對(duì)模型增長的并行策略

8.5 本章小結(jié)

09 高級(jí)優(yōu)化方法專題

9.1 自動(dòng)混合精度訓(xùn)練

9.2 自定義高性能算子

9.3 基于計(jì)算圖的性能優(yōu)化

9.4 本章小結(jié)

10 GPT-2優(yōu)化全流程

10.1 GPT模型結(jié)構(gòu)簡介

10.2 實(shí)驗(yàn)環(huán)境與機(jī)器配置

10.3 顯存優(yōu)化

10.4 性能優(yōu)化

結(jié)語

大模型動(dòng)力引擎：PyTorch性能與顯存優(yōu)化手冊(cè)是2024年由清華大學(xué)出版社出版,作者張愛玲。

溫馨提示：
得書感謝您對(duì)《大模型動(dòng)力引擎：PyTorch性能與顯存優(yōu)化手冊(cè)》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請(qǐng)聯(lián)系本網(wǎng)站。