編輯推薦

多模態(tài)大模型技術(shù)全景解析，助你掌握部署、微調(diào)和優(yōu)化。

內(nèi)容簡介

本書詳盡地覆蓋了多模態(tài)大模型的算法原理和應(yīng)用實戰(zhàn)，提供了豐富的微調(diào)技術(shù)細節(jié)和實際案例，適合對多模態(tài)大模型有興趣的技術(shù)人員深入學(xué)習及應(yīng)用。

本書分為兩篇：

算法原理篇。詳細介紹了先進的深度學(xué)習模型，包括Transformer、GPT系列、深度生成模型，從基本架構(gòu)、訓(xùn)練方法到特定應(yīng)用，包括但不限于Seq2Seq結(jié)構(gòu)、位置編碼、注意力機制、殘差連接、變分自編碼器等。此外，探討了預(yù)訓(xùn)練模型的涌現(xiàn)能力、模型參數(shù)和通信數(shù)據(jù)量的估算，以及分布式訓(xùn)練的各種技術(shù)，如數(shù)據(jù)并行、模型并行和混合精度訓(xùn)練等。

應(yīng)用實戰(zhàn)篇。聚焦于深度學(xué)習模型的實際應(yīng)用，特別是文本和圖像生成，以及代碼生成的應(yīng)用實戰(zhàn)。通過具體實戰(zhàn)項目，如利用Stable Diffusion進行圖像生成和Code Llama進行代碼生成，提供了微調(diào)技術(shù)的詳細細節(jié)，介紹了LangChain等大模型應(yīng)用框架。

作者簡介

作者劉兆峰，中國電信多模態(tài)算法工程師，基于多模態(tài)大模型提升長尾業(yè)務(wù)能力。天津科技大學(xué)人工智能專業(yè)碩士研究生。曾在京東科技擔任算法工程師，從事京東白條申請評分卡開發(fā)。后加入創(chuàng)業(yè)公司，從事大規(guī)模預(yù)訓(xùn)練語言模型的分布式微調(diào)和AIGC相關(guān)衍生產(chǎn)品的系統(tǒng)開發(fā)，對LLM的訓(xùn)練和推理有深厚的理論基礎(chǔ)和實戰(zhàn)經(jīng)驗。

現(xiàn)主要研究方向為多模態(tài)大模型與Agent以及AGI系統(tǒng)研究，聚焦于多模態(tài)大模型的行業(yè)場景落地。工作期間技術(shù)成果豐碩，發(fā)表多篇論文，有多個軟件著作權(quán)。

章節(jié)目錄

版權(quán)信息

前言

第一篇 算法原理

第1章 Transformer模型

1.1 Seq2Seq結(jié)構(gòu)

1.2 Transformer模型介紹

1.3 ViT模型介紹

1.4 本章總結(jié)

第2章 GPT系列模型

2.1 GPT-1

2.2 GPT-2

2.3 GPT-3

2.4 GPT-3.5

2.5 GPT-4

2.6 語言模型的未來

2.7 GPT系列的其他應(yīng)用

2.8 本章總結(jié)

第3章 深度生成模型

3.1 從自編碼器到變分自編碼器

3.2 生成對抗網(wǎng)絡(luò)

3.3 文本與圖像的橋梁：CLIP

3.4 穩(wěn)定擴散模型：Stable Diffusion

3.5 本章總結(jié)

第4章 預(yù)訓(xùn)練模型

4.1 大模型的涌現(xiàn)能力

4.2 模型參數(shù)量估算

4.3 通信數(shù)據(jù)量分析

4.4 分布式訓(xùn)練

4.5 DeepSpeed

4.6 模型即服務(wù)平臺

4.7 本章總結(jié)

第二篇 應(yīng)用實戰(zhàn)

第5章 文本生成應(yīng)用實戰(zhàn)：利用ChatPDF與文件對話

5.1 大模型的落地應(yīng)用

5.2 GLM系列模型

5.3 參數(shù)高效微調(diào)

5.4 大語言模型應(yīng)用框架：LangChain

5.5 ChatGLM金融大模型挑戰(zhàn)賽

5.6 本章總結(jié)

第6章 文本生成算法實戰(zhàn)：DeepSpeed-Chat

6.1 ZeRO++

6.2 DeepSpeed-Chat快速開始

6.3 DeepSpeed-Chat的RLHF訓(xùn)練

6.4 DeepSpeed混合引擎

6.5 本章總結(jié)

第7章 圖像生成算法實戰(zhàn)：Stable Diffusion微調(diào)

7.1 LoRA參數(shù)高效微調(diào)技術(shù)

7.2 用于Diffusers的LoRA微調(diào)

7.3 Stable Diffusion WebUI

7.4 可控擴散模型：ControlNet

7.5 本章總結(jié)

第8章 代碼生成算法實戰(zhàn)：Code Llama微調(diào)

8.1 任務(wù)介紹

8.2 Llama 2

8.3 算法競賽大語言模型

8.4 本章總結(jié)

第9章 綜合應(yīng)用實戰(zhàn)：構(gòu)建“漫畫家”生成多模態(tài)漫畫

9.1 應(yīng)用介紹

9.2 功能實現(xiàn)選型

9.3 相關(guān)模型部署

9.4 后端應(yīng)用搭建

9.5 本章總結(jié)

多模態(tài)大模型：算法、應(yīng)用與微調(diào)是2024年由機械工業(yè)出版社出版,作者劉兆峰。

溫馨提示：
得書感謝您對《多模態(tài)大模型：算法、應(yīng)用與微調(diào)》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。