編輯推薦

預(yù)訓(xùn)練語言模型全攻略：一本書讀懂DeepSeek核心技術(shù)。

內(nèi)容簡介

近年來，在自然語言處理領(lǐng)域，基于預(yù)訓(xùn)練語言模型的方法已形成全新范式。本書內(nèi)容分為基礎(chǔ)知識、預(yù)訓(xùn)練語言模型，以及實踐與應(yīng)用3個部分，共9章。

第一部分全面、系統(tǒng)地介紹自然語言處理、神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練語言模型的相關(guān)知識。

第二部分介紹幾種具有代表性的預(yù)訓(xùn)練語言模型的原理和機(jī)制（涉及注意力機(jī)制和Transformer模型），包括BERT及其變種，以及近年來發(fā)展迅猛的GPT和提示工程。

第三部分介紹了基于LangChain和ChatGLM-6B的知識庫問答系統(tǒng)、基于大型語言模型的自然語言處理任務(wù)應(yīng)用研究和大模型訓(xùn)練實戰(zhàn)等具體應(yīng)用，旨在從應(yīng)用的角度加深讀者對預(yù)訓(xùn)練語言模型理論的理解，便于讀者在實踐中提高技能，達(dá)到理論和實踐的統(tǒng)一。

作者簡介

編著者徐雙雙，自然語言處理工程師，在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理領(lǐng)域有十余年的算法研發(fā)經(jīng)驗，曾在一線大廠阿里巴巴、京東等擔(dān)任過資深算法工程師和算法經(jīng)理等職，現(xiàn)在在世界500強(qiáng)公司擔(dān)任自然語言處理團(tuán)隊負(fù)責(zé)人，負(fù)責(zé)過金融和醫(yī)療領(lǐng)域的知識圖譜、智能問答系統(tǒng)、文本生成系統(tǒng)等企業(yè)級核心項目。

章節(jié)目錄

版權(quán)信息

內(nèi)容提要

前言

資源與支持

第一部分 基礎(chǔ)知識

第1章 自然語言處理介紹

1.1 什么是自然語言處理

1.2 自然語言處理的發(fā)展歷史

1.3 自然語言的特性

1.4 自然語言處理的研究領(lǐng)域

1.5 自然語言處理的常規(guī)任務(wù)

1.6 自然語言處理的常用工具

第2章 神經(jīng)網(wǎng)絡(luò)預(yù)備知識

2.1 神經(jīng)網(wǎng)絡(luò)核心概念

2.2 神經(jīng)網(wǎng)絡(luò)主要類型

第3章 預(yù)訓(xùn)練語言模型基礎(chǔ)知識

3.1 什么是預(yù)訓(xùn)練

3.2 文本表示方法的分類

3.3 詞袋型文本表示方法

3.4 主題型文本表示方法

3.5 固定型詞向量文本表示方法

3.6 動態(tài)型詞向量文本表示方法

第二部分 預(yù)訓(xùn)練語言模型

第4章 注意力機(jī)制和Transformer模型

4.1 注意力機(jī)制簡介

4.2 Transformer模型

第5章 BERT和變種BERT

5.1 BERT

5.2 變種BERT

第6章 GPT和提示工程

6.1 GPT系列

6.2 Prompt

第三部分 實踐與應(yīng)用

第7章 基于LangChain和ChatGLM-6B的知識庫問答系統(tǒng)

7.1 核心組件

7.2 構(gòu)建流程

7.3 趨勢與挑戰(zhàn)

第8章 基于大型語言模型的自然語言處理任務(wù)應(yīng)用研究

8.1 文本分類任務(wù)

8.2 信息抽取任務(wù)

8.3 文本匹配任務(wù)

第9章 大模型訓(xùn)練實戰(zhàn)

9.1 預(yù)訓(xùn)練階段

9.2 指令微調(diào)階段

9.3 獎勵模型

9.4 RLHF微調(diào)

9.5 大模型評測

預(yù)訓(xùn)練語言模型：方法、實踐與應(yīng)用是2025年由人民郵電出版社出版,作者徐雙雙 編著。

溫馨提示：
得書感謝您對《預(yù)訓(xùn)練語言模型：方法、實踐與應(yīng)用》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。