編輯推薦

全面講解RAG技術(shù)、應(yīng)用與系統(tǒng)構(gòu)建。

內(nèi)容簡介

人工智能已在多個行業(yè)得到成功應(yīng)用，大模型的應(yīng)用已成為突破性進(jìn)展的重要驅(qū)動力，而在特定垂直領(lǐng)域，如醫(yī)療、法律、金融等，大模型微調(diào)面臨獨特的挑戰(zhàn)和需求。

本書致力于大型語言模型微調(diào)與應(yīng)用的關(guān)鍵技術(shù)，本書探討兩個熱門應(yīng)用方向：大模型的知識專業(yè)性和時效性。

本書剖析了垂直領(lǐng)域大模型訓(xùn)練的背景及意義，探討大模型在垂直領(lǐng)域的遷移學(xué)習(xí)、應(yīng)用部署與效果評估等核心內(nèi)容，結(jié)合實際案例，深入淺出地解析了每個環(huán)節(jié)的關(guān)鍵問題和解決方案，引領(lǐng)讀者了解行業(yè)內(nèi)最新研究成果與發(fā)展趨勢，方便讀者快捷地嫁接到各個行業(yè)。

作者簡介

作者莊建，《光明日報》高級記者。從1976年開始，在《光明日報》北京采訪組、記者部、北京記者站、國內(nèi)政治部、圖書出版部、《中華讀書報》工作，做過記者、副站長、副主任、主任、《中華讀書報》總編輯。長期活躍在文化領(lǐng)域，用她的慧眼妙筆，赤心見證和記錄了中國出版業(yè)幾十年的變化。

章節(jié)目錄

版權(quán)信息

內(nèi)容簡介

前言

第1章 從零開始大模型之旅

1.1 對話機器人歷史

1.1.1 人機同頻交流

1.1.2 人機對話發(fā)展歷史

1.2 人工智能

1.2.1 從感知到創(chuàng)造

1.2.2 通用人工智能

1.2.3 發(fā)展方向

1.2.4 本書焦點

1.3 本章小結(jié)

第2章 大模型私有化部署

2.1 CUDA環(huán)境準(zhǔn)備

2.1.1 基礎(chǔ)環(huán)境

2.1.2 大模型運行環(huán)境

2.1.3 安裝顯卡驅(qū)動

2.1.4 安裝CUDA

2.1.5 安裝cuDNN

2.2 深度學(xué)習(xí)環(huán)境準(zhǔn)備

2.2.1 安裝Anaconda環(huán)境

2.2.2 服務(wù)器環(huán)境下的環(huán)境啟動

2.2.3 安裝PyTorch

2.3 GLM-3和GLM-4

2.3.1 GLM-3介紹

2.3.2 GLM-4介紹

2.4 GLM-4私有化部署

2.4.1 創(chuàng)建虛擬環(huán)境

2.4.2 下載GLM-4項目文件

2.4.3 安裝項目依賴包

2.4.4 下載模型權(quán)重

2.5 運行GLM-4的方式

2.5.1 基于命令行的交互式對話

2.5.2 基于Gradio庫的Web端對話應(yīng)用

2.5.3 OpenAI風(fēng)格的API調(diào)用方法

2.5.4 模型量化部署

2.6 本章小結(jié)

第3章 大模型理論基礎(chǔ)

3.1 自然語言領(lǐng)域中的數(shù)據(jù)

3.1.1 時間序列數(shù)據(jù)

3.1.2 分詞

3.1.3 Token

3.1.4 Embedding

3.1.5 語義向量空間

3.2 語言模型歷史演進(jìn)

3.2.1 語言模型歷史演進(jìn)

3.2.2 統(tǒng)計語言模型

3.2.3 神經(jīng)網(wǎng)絡(luò)語言模型

3.3 注意力機制

3.3.1 RNN模型

3.3.2 Seq2Seq模型

3.3.3 Attention注意力機制

3.4 Transformer架構(gòu)

3.4.1 整體架構(gòu)

3.4.2 Self-Attention

3.4.3 Multi-Head Attention

3.4.4 Encoder

3.4.5 Decoder

3.4.6 實驗效果

3.5 本章小結(jié)

第4章 大模型開發(fā)工具

4.1 Huggingface

4.1.1 Huggingface介紹

4.1.2 安裝Transformers庫

4.2 大模型開發(fā)工具

4.2.1 開發(fā)范式

4.2.2 Transformers庫核心設(shè)計

4.3 Transformers庫詳解

4.3.1 NLP任務(wù)處理全流程

4.3.2 數(shù)據(jù)轉(zhuǎn)換形式

4.3.3 Tokenizer

4.3.4 模型加載和解讀

4.3.5 模型的輸出

4.3.6 模型的保存

4.4 全量微調(diào)訓(xùn)練方法

4.4.1 Datasets庫和Accelerate庫

4.4.2 數(shù)據(jù)格式

4.4.3 數(shù)據(jù)預(yù)處理

4.4.4 模型訓(xùn)練的參數(shù)

4.4.5 模型訓(xùn)練

4.4.6 模型評估

4.5 本章小結(jié)

第5章 高效微調(diào)方法

5.1 主流的高效微調(diào)方法介紹

5.1.1 微調(diào)方法介紹

5.1.2 Prompt的提出背景

5.2 PEFT庫快速入門

5.2.1 介紹

5.2.2 設(shè)計理念

5.2.3 使用

5.3 Prefix Tuning

5.3.1 背景

5.3.2 核心技術(shù)解讀

5.3.3 實現(xiàn)步驟

5.3.4 實驗結(jié)果

5.4 Prompt Tuning

5.4.1 背景

5.4.2 核心技術(shù)解讀

5.4.3 實現(xiàn)步驟

5.4.4 實驗結(jié)果

5.5 P-Tuning

5.5.1 背景

5.5.2 核心技術(shù)解讀

5.5.3 實現(xiàn)步驟

5.5.4 實驗結(jié)果

5.6 P-Tuning V2

5.6.1 背景

5.6.2 核心技術(shù)解讀

5.6.3 實現(xiàn)步驟

5.6.4 實驗結(jié)果

5.7 本章小結(jié)

第6章 LoRA微調(diào)GLM-4實戰(zhàn)

6.1 LoRA

6.1.1 背景

6.1.2 核心技術(shù)解讀

6.1.3 LoRA的特點

6.1.4 實現(xiàn)步驟

6.1.5 實驗結(jié)果

6.2 AdaLoRA

6.2.1 LoRA的缺陷

6.2.2 核心技術(shù)解讀

6.2.3 實現(xiàn)步驟

6.2.4 實驗結(jié)果

6.3 QLoRA

6.3.1 背景

6.3.2 技術(shù)原理解析

6.4 量化技術(shù)

6.4.1 背景

6.4.2 量化技術(shù)分類

6.4.3 BitsAndBytes庫

6.4.4 實現(xiàn)步驟

6.4.5 實驗結(jié)果

6.5 本章小結(jié)

第7章 提示工程入門與實踐

7.1 探索大模型潛力邊界

7.1.1 潛力的來源

7.1.2 Prompt的六個建議

7.2 Prompt實踐

7.2.1 四個經(jīng)典推理問題

7.2.2 大模型原始表現(xiàn)

7.3 提示工程

7.3.1 提示工程的概念

7.3.2 Few-shot

7.3.3 通過思維鏈提示法提升模型推理能力

7.3.4 Zero-shot-CoT提示方法

7.3.5 Few-shot-CoT提示方法

7.4 Least-to-Most Prompting（LtM提示方法）

7.4.1 Least-to-Most Prompting基本概念

7.4.2 Zero-shot-LtM提示過程

7.4.3 效果驗證

7.5 提示使用技巧

7.5.1 B.R.O.K.E提示框架

7.5.2 C.O.A.S.T提示框架

7.5.3 R.O.S.E.S提示框架

7.6 本章小結(jié)

第8章 大模型與中間件

8.1 AI Agent

8.1.1 從AGI到Agent

8.1.2 Agent概念

8.1.3 AI Agent應(yīng)用領(lǐng)域

8.2 大模型對話模式

8.2.1 模型分類

8.2.2 多角色對話模式

8.3 多角色對話模式實戰(zhàn)

8.3.1 messages參數(shù)結(jié)構(gòu)及功能解釋

8.3.2 messages參數(shù)中的角色劃分

8.4 Function Calling功能

8.4.1 發(fā)展歷史

8.4.2 簡單案例

8.5 實現(xiàn)多函數(shù)

8.5.1 定義多個工具函數(shù)

8.5.2 測試結(jié)果

8.6 Bing搜索嵌入LLM

8.6.1 曇花一現(xiàn)的Browsing with Bing

8.6.2 需求分析

8.6.3 Google搜索API的獲取和使用

8.6.4 構(gòu)建自動搜索問答機器人

8.7 本章小結(jié)

第9章 LangChain理論與實戰(zhàn)

9.1 整體介紹

9.1.1 什么是LangChain

9.1.2 意義

9.1.3 整體架構(gòu)

9.2 Model I/O

9.2.1 架構(gòu)

9.2.2 LLM

9.2.3 ChatModel

9.2.4 Prompt Template

9.2.5 實戰(zhàn)：LangChain接入本地GLM

9.2.6 Parser

9.3 Chain

9.3.1 基礎(chǔ)概念

9.3.2 常用的Chain

9.4 Memory

9.4.1 基礎(chǔ)概念

9.4.2 流程解讀

9.4.3 常用Memory

9.5 Agents

9.5.1 理論

9.5.2 快速入門

9.5.3 架構(gòu)

9.6 LangChain實現(xiàn)Function Calling

9.6.1 工具定義

9.6.2 OutputParser

9.6.3 使用

9.7 本章小結(jié)

第10章 實戰(zhàn)：垂直領(lǐng)域大模型

10.1 QLoRA微調(diào)GLM-4

10.1.1 定義全局變量和參數(shù)

10.1.2 紅十字會數(shù)據(jù)準(zhǔn)備

10.1.3 訓(xùn)練模型

10.2 大模型接入數(shù)據(jù)庫

10.2.1 大模型挑戰(zhàn)

10.2.2 數(shù)據(jù)集準(zhǔn)備

10.2.3 SQLite3

10.2.4 獲取數(shù)據(jù)庫信息

10.2.5 構(gòu)建tools信息

10.2.6 模型選擇

10.2.7 效果測試

10.3 LangChain重寫查詢

10.3.1 環(huán)境配置

10.3.2 工具使用

10.4 RAG檢索增強

10.4.1 自動化數(shù)據(jù)生成

10.4.2 RAG搭建

10.5 本章小結(jié)

參考文獻(xiàn)

大模型實戰(zhàn)：微調(diào)、優(yōu)化與私有化部署是2024年由電子工業(yè)出版社出版,作者莊建。

溫馨提示：
得書感謝您對《大模型實戰(zhàn)：微調(diào)、優(yōu)化與私有化部署》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。