本書聚焦谷歌公司開發(fā)的BERT自然語言處理模型，由淺入深地介紹了BERT的工作原理、BERT的各種變體及其應(yīng)用。
電子書
編輯推薦
一本書讀懂大語言模型的前世今生。
內(nèi)容簡(jiǎn)介
本書深入闡述了大語言模型的基本概念和算法、研究前沿以及應(yīng)用，涵蓋大語言模型的廣泛主題，從基礎(chǔ)到前沿，從方法到應(yīng)用，涉及從方法論到應(yīng)用場(chǎng)景方方面面的內(nèi)容。
首先，本書介紹了人工智能領(lǐng)域的進(jìn)展和趨勢(shì)；其次，探討了語言模型的基本概念和架構(gòu)、Transformer、預(yù)訓(xùn)練目標(biāo)和解碼策略、上下文學(xué)習(xí)和輕量級(jí)微調(diào)、稀疏專家模型、檢索增強(qiáng)型語言模型、對(duì)齊語言模型與人類偏好、減少偏見和有害性以及視覺語言模型等內(nèi)容；最后，討論了語言模型對(duì)環(huán)境的影響。
章節(jié)目錄
- 版權(quán)信息
- 版 權(quán)
- 內(nèi)容提要
- 資源與支持
- 前 言
- 第1章 大語言模型：辯論、爭(zhēng)議與未來發(fā)展方向
- 1.1 新時(shí)代的曙光
- 1.2 LLM有意識(shí)嗎
- 1.2.1 理解LLM的層次結(jié)構(gòu)
- 1.2.2 意識(shí)是否需要碳基生物學(xué)
- 1.2.3 具身化與落地
- 1.2.4 世界模型
- 1.2.5 溝通意圖
- 1.2.6 系統(tǒng)性和全面泛化
- 1.3 未來發(fā)展方向
- 1.4 小結(jié)
- 第2章 語言模型和分詞
- 2.1 語言建模的挑戰(zhàn)
- 2.2 統(tǒng)計(jì)語言建模
- 2.3 神經(jīng)語言模型
- 2.4 評(píng)估語言模型
- 2.5 分詞
- 2.5.1 按空格分割
- 2.5.2 字符分詞
- 2.5.3 子詞分詞
- 2.5.4 無分詞器
- 2.5.5 可學(xué)習(xí)的分詞
- 2.6 小結(jié)
- 第3章 Transformer
- 3.1 Transformer編碼器模塊
- 3.2 編碼器-解碼器架構(gòu)
- 3.3 位置嵌入
- 3.3.1 絕對(duì)位置編碼
- 3.3.2 相對(duì)位置編碼
- 3.4 更長(zhǎng)的上下文
- 3.5 外部記憶
- 3.6 更快、更小的Transformer
- 3.6.1 高效注意力
- 3.6.2 條件計(jì)算
- 3.6.3 搜索高效Transformer
- 3.6.4 在單個(gè)GPU上一天內(nèi)訓(xùn)練一個(gè)語言模型
- 3.7 推理優(yōu)化
- 3.7.1 推測(cè)解碼
- 3.7.2 簡(jiǎn)化Transformer
- 3.7.3 修剪
- 3.7.4 蒸餾
- 3.7.5 混合精度
- 3.7.6 高效擴(kuò)展Transformer推理
- 3.8 小結(jié)
- 第4章 預(yù)訓(xùn)練目標(biāo)和解碼策略
- 4.1 模型架構(gòu)
- 4.2 預(yù)訓(xùn)練目標(biāo)
- 4.3 具有代表性的語言模型
- 4.4 解碼策略
- 4.5 小結(jié)
- 第5章 上下文學(xué)習(xí)和輕量級(jí)微調(diào)
- 5.1 上下文學(xué)習(xí)
- 5.1.1 示范樣本選擇
- 5.1.2 樣本排序
- 5.1.3 指令生成
- 5.1.4 思維鏈
- 5.1.5 遞歸提示
- 5.1.6 為什么ICL有效
- 5.1.7 評(píng)估
- 5.2 提示語言模型的校準(zhǔn)
- 5.3 輕量級(jí)微調(diào)
- 5.3.1 基于添加的方法
- 5.3.2 基于規(guī)范的方法
- 5.3.3 基于重新參數(shù)化的方法
- 5.3.4 混合方法
- 5.4 小結(jié)
- 第6章 訓(xùn)練更大的模型
- 6.1 擴(kuò)大尺度法則
- 6.1.1 預(yù)訓(xùn)練Transformer擴(kuò)大尺度的啟示
- 6.1.2 預(yù)訓(xùn)練和微調(diào)Transformer帶來的新啟示
- 6.1.3 k比特推理擴(kuò)大尺度法則
- 6.1.4 挑戰(zhàn)與機(jī)遇
- 6.2 涌現(xiàn)能力
- 6.3 人工智能加速器
- 6.4 并行
- 6.4.1 數(shù)據(jù)并行
- 6.4.2 流水線并行
- 6.4.3 張量/模型并行
- 6.4.4 專家混合
- 6.5 混合訓(xùn)練和低精度訓(xùn)練
- 6.5.1 單位縮放
- 6.5.2 FP8與INT8
- 6.6 其他節(jié)省內(nèi)存的設(shè)計(jì)
- 6.7 小結(jié)
- 第7章 稀疏專家模型
- 7.1 為什么采用稀疏專家模型
- 7.2 路由算法
- 7.2.1 每個(gè)詞元選擇top-k個(gè)專家
- 7.2.2 每個(gè)專家選擇top-k個(gè)詞元
- 7.2.3 全局最優(yōu)分配
- 7.2.4 隨機(jī)路由
- 7.2.5 雙層路由
- 7.2.6 針對(duì)不同預(yù)訓(xùn)練領(lǐng)域的不同專家
- 7.3 其他改進(jìn)措施
- 7.3.1 加快訓(xùn)練速度
- 7.3.2 高效的MoE架構(gòu)
- 7.3.3 生產(chǎn)規(guī)模部署
- 7.3.4 通過稀疏MoE擴(kuò)展視覺語言模型
- 7.3.5 MoE與集成
- 7.4 小結(jié)
- 第8章 檢索增強(qiáng)型語言模型
- 8.1 預(yù)訓(xùn)練檢索增強(qiáng)型語言模型
- 8.2 詞元級(jí)檢索
- 8.3 通過高效和精簡(jiǎn)檢索進(jìn)行問答和多跳推理
- 8.4 檢索增強(qiáng)型Transformer
- 8.5 檢索增強(qiáng)型黑盒語言模型
- 8.6 視覺增強(qiáng)語言建模
- 8.7 小結(jié)
- 第9章 對(duì)齊語言模型與人類偏好
- 9.1 基于人類反饋進(jìn)行微調(diào)
- 9.1.1 基于人類反饋的強(qiáng)化學(xué)習(xí)
- 9.1.2 KL散度：前向與反向
- 9.1.3 REINFORCE、TRPO和PPO
- 9.1.4 帶有KL懲罰的強(qiáng)化學(xué)習(xí)：貝葉斯推理觀點(diǎn)
- 9.1.5 通過分布控制生成進(jìn)行語言模型對(duì)齊
- 9.1.6 通過f散度最小化統(tǒng)一RLHF和GDC方法
- 9.2 基于語言反饋進(jìn)行微調(diào)
- 9.3 基于監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)
- 9.4 基于人工智能反饋的強(qiáng)化學(xué)習(xí)
- 9.5 基于自我反饋進(jìn)行迭代優(yōu)化
- 9.6 基于人類偏好進(jìn)行預(yù)訓(xùn)練
- 9.7 小結(jié)
- 第10章 減少偏見和有害性
- 10.1 偏見
- 10.2 有害性
- 10.3 偏見和有害性的檢測(cè)與減少
- 10.3.1 基于解碼的策略
- 10.3.2 基于提示的脫毒
- 10.3.3 基于數(shù)據(jù)的策略
- 10.3.4 基于投影和正則化的方法
- 10.3.5 基于風(fēng)格轉(zhuǎn)換的方法
- 10.3.6 基于強(qiáng)化學(xué)習(xí)的微調(diào)和基于人類偏好的預(yù)訓(xùn)練
- 10.4 小結(jié)
- 第11章 視覺語言模型
- 11.1 語言處理的多模態(tài)落地
- 11.2 不需要額外訓(xùn)練即可利用預(yù)訓(xùn)練模型
- 11.2.1 視覺引導(dǎo)解碼策略
- 11.2.2 作為大語言模型提示的視覺輸入
- 11.2.3 基于相似性搜索的多模態(tài)對(duì)齊
- 11.3 輕量級(jí)適配
- 11.3.1 鎖定圖像調(diào)優(yōu)
- 11.3.2 作為（凍結(jié)）語言模型前綴的學(xué)習(xí)視覺嵌入
- 11.3.3 視覺-文本交叉注意力融合
- 11.4 圖文聯(lián)合訓(xùn)練
- 11.5 檢索增強(qiáng)視覺語言模型
- 11.6 視覺指令調(diào)整
- 11.7 小結(jié)
- 第12章 環(huán)境影響
- 12.1 能源消耗和溫室氣體排放
- 12.2 估算訓(xùn)練模型的排放量
- 12.3 小結(jié)
- 參考文獻(xiàn)
展開全部
大語言模型：基礎(chǔ)與前沿是2024年由人民郵電出版社出版,作者熊濤。
溫馨提示：
1.本電子書已獲得正版授權(quán)，由出版社通過知傳鏈發(fā)行。
2.該電子書為虛擬物品，付費(fèi)之后概不接收任何理由退款。電子書內(nèi)容僅支持在線閱讀，不支持下載。
3.您在本站購買的閱讀使用權(quán)僅限于您本人閱讀使用，您不得/不能給任何第三方使用，由此造成的一切相關(guān)后果本平臺(tái)保留向您追償索賠的權(quán)利！版權(quán)所有，后果自負(fù)！
得書感謝您對(duì)《大語言模型：基礎(chǔ)與前沿》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請(qǐng)聯(lián)系本網(wǎng)站。
電子書
電子書
本套書是根據(jù)當(dāng)前高等職業(yè)教育教學(xué)改革的需要，并結(jié)合當(dāng)前五年制高職院校學(xué)生的特點(diǎn)編寫的。全套書共3冊(cè)。由岳廣峰主編的《數(shù)學(xué)(基礎(chǔ)版第3冊(cè)五年制高等職業(yè)技術(shù)教育教材)》內(nèi)容包括直線與直線的方程、簡(jiǎn)單的線性規(guī)劃問題、圓與圓的方程、圓錐曲線。本套書在不降低學(xué)生素質(zhì)能力培養(yǎng)的前提下，力求結(jié)構(gòu)完整、體系合理、夠用實(shí)用；注重基礎(chǔ)知識(shí)，淺顯易懂，強(qiáng)化學(xué)生對(duì)基礎(chǔ)知識(shí)的掌握；符合學(xué)生的特點(diǎn)和認(rèn)知規(guī)律，有利于提高學(xué)生的
電子書
本書旨在幫助讀者深入了解行業(yè)和技術(shù)趨勢(shì)，推動(dòng)科研院所對(duì)新技術(shù)新業(yè)務(wù)的研究，促進(jìn)廠商更好地把握市場(chǎng)需求和技術(shù)方向。
電子書
解讀AIGC及ChatGPT的熱點(diǎn)問題，洞察AIGC時(shí)代的機(jī)遇與隱憂，選好賽道，乘風(fēng)而起。
電子書
人工智能是人類探索未來的重要領(lǐng)域之一，以ChatGPT為代表的大模型應(yīng)用一經(jīng)推出在短短幾個(gè)月時(shí)間內(nèi)火爆全球。大模型代表了自然語言處理領(lǐng)域的一項(xiàng)偉大成就，它的誕生和發(fā)展正引領(lǐng)著我們走向全新的創(chuàng)作時(shí)代。本書共9章，深入探討了大模型的工作原理和使用方法——提示工程，并研究了提示工程在電子商務(wù)、創(chuàng)意營(yíng)銷、內(nèi)容創(chuàng)作、辦公和編程等場(chǎng)景中的應(yīng)用，以及如何賦能軟件生態(tài)的發(fā)展等。本書旨在幫助讀者了解提示工程的應(yīng)用場(chǎng)
電子書
本書致力于介紹圖神經(jīng)網(wǎng)絡(luò)的基本概念和算法、研究前沿以及廣泛和新興的應(yīng)用。
電子書
本書從“什么是高級(jí)會(huì)計(jì)師”入手，介紹了高級(jí)會(huì)計(jì)師職稱的歷史沿革，闡述了取得高級(jí)會(huì)計(jì)師職稱對(duì)財(cái)務(wù)人員的重要意義。書中詳細(xì)介紹了高級(jí)會(huì)計(jì)師學(xué)習(xí)、考試、評(píng)審的全過程，通過大量的案例、模板，將考試攻略、專業(yè)技術(shù)工作總結(jié)撰寫技巧、學(xué)術(shù)成果準(zhǔn)備技巧、答辯技巧等向讀者進(jìn)行傳遞。
電子書
