本書的主旨是介紹如何結(jié)合Python進行網(wǎng)絡(luò)爬蟲程序的開發(fā)，從Python語言的基本特性入手，詳細介紹了Python爬蟲開發(fā)的各個方面，涉及包括HTTP、HTML、JavaScript、正則表達式、自然語言處理、數(shù)據(jù)科學(xué)等不同領(lǐng)域的內(nèi)容。全書共分為15章，包括了Python基礎(chǔ)知識、網(wǎng)站分析、網(wǎng)頁解析、Python文件讀寫、Python與數(shù)據(jù)庫、AJAX技術(shù)、模擬登錄、文本與數(shù)據(jù)分析、網(wǎng)站測試、S
電子書
內(nèi)容簡介
《大數(shù)據(jù)采集與爬蟲》主要講解了如何使用Python編寫網(wǎng)絡(luò)爬蟲程序，內(nèi)容包括Python環(huán)境搭建、Python的基礎(chǔ)語法、爬蟲基礎(chǔ)知識、網(wǎng)絡(luò)基礎(chǔ)知識、常用爬蟲庫和解析庫、數(shù)據(jù)持久化存儲、Web API和異步數(shù)據(jù)抓取技術(shù)、Selenium和ChromeDriver的用法，以及Scrapy爬蟲框架的基本原理和操作。*后介紹了一個網(wǎng)絡(luò)爬蟲的綜合案例，以鞏固前面所學(xué)的知識。 《大數(shù)據(jù)采集與爬蟲》適合作為高等職業(yè)院校大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的教材，也適合有一定Python編程經(jīng)驗并且對爬蟲技術(shù)感興趣的讀者閱讀。
章節(jié)目錄
- 封面
- 書名頁
- 版權(quán)頁
- 前言
- 目錄
- 任務(wù)1 Python環(huán)境搭建
- 1.1 任務(wù)描述
- 1.2 Python概述
- 1.3 Python編程環(huán)境搭建
- 1.3.1 在Windows操作系統(tǒng)下安裝Python
- 1.3.2 在Linux操作系統(tǒng)下安裝Python
- 1.3.3 在Mac OS操作系統(tǒng)下安裝Python
- 1.4 安裝集成開發(fā)環(huán)境PyCharm
- 1.4.1 PyCharm概述
- 1.4.2 PyCharm的安裝和運行
- 1.5 Python的數(shù)據(jù)類型
- 1.5.1 整型
- 1.5.2 浮點型
- 1.5.3 字符串類型
- 1.5.4 列表類型
- 1.5.5 集合類型
- 1.5.6 字典類型
- 1.5.7 元組類型
- 1.6 Python語句與函數(shù)
- 1.6.1 條件判斷語句
- 1.6.2 循環(huán)語句
- 1.6.3 自定義函數(shù)
- 1.7 任務(wù)實現(xiàn)
- 1.8 小結(jié)
- 1.9 習(xí)題
- 任務(wù)2 實現(xiàn)簡單數(shù)據(jù)采集
- 2.1 任務(wù)描述
- 2.2 網(wǎng)絡(luò)爬蟲基礎(chǔ)知識
- 2.2.1 網(wǎng)絡(luò)爬蟲概述
- 2.2.2 使用網(wǎng)絡(luò)爬蟲的風(fēng)險
- 2.2.3 Python爬蟲的工作過程
- 2.3 網(wǎng)絡(luò)基礎(chǔ)知識
- 2.3.1 HTML
- 2.3.2 URI和URL
- 2.3.3 HTTP
- 2.3.4 Request和Response
- 2.4 requests庫的安裝及使用
- 2.4.1 requests庫概述
- 2.4.2 requests庫的安裝
- 2.4.3 requests庫的基本用法
- 2.5 lxml庫和BeautifulSoup庫的安裝及使用
- 2.5.1 lxml庫概述
- 2.5.2 BeautifulSoup庫概述
- 2.5.3 lxml庫和BeautifulSoup庫的安裝
- 2.5.4 lxml庫和BeautifulSoup庫的基本用法
- 2.6 任務(wù)實現(xiàn)
- 2.7 小結(jié)
- 2.8 習(xí)題
- 任務(wù)3 存儲數(shù)據(jù)
- 3.1 任務(wù)描述
- 3.2 MySQL的安裝及使用
- 3.2.1 MySQL概述
- 3.2.2 MySQL的安裝
- 3.2.3 MySQL的操作
- 3.3 PyMySQL的使用
- 3.4 CSV和JSON格式
- 3.4.1 CSV格式概述
- 3.4.2 輸出CSV文件頭部
- 3.4.3 使用Python讀取CSV文件數(shù)據(jù)
- 3.4.4 使用Python向CSV文件寫入數(shù)據(jù)
- 3.4.5 JSON格式概述
- 3.4.6 使用Python讀取JSON文件數(shù)據(jù)
- 3.4.7 使用Python向JSON文件寫入數(shù)據(jù)
- 3.5 任務(wù)實現(xiàn)
- 3.6 小結(jié)
- 3.7 習(xí)題
- 任務(wù)4 使用Web API采集數(shù)據(jù)
- 4.1 任務(wù)描述
- 4.2 GitHub
- 4.2.1 GitHub概述
- 4.2.2 GitHub的基本用法
- 4.3 Web API
- 4.3.1 Web API概述
- 4.3.2 GitHub開放API的數(shù)據(jù)特點
- 4.3.3 GitHub的API請求數(shù)據(jù)
- 4.3.4 獲取API的響應(yīng)數(shù)據(jù)
- 4.3.5 處理API的響應(yīng)數(shù)據(jù)
- 4.4 任務(wù)實現(xiàn)
- 4.5 小結(jié)
- 4.6 習(xí)題
- 任務(wù)5 使用AJAX采集數(shù)據(jù)
- 5.1 任務(wù)描述
- 5.2 AJAX
- 5.2.1 AJAX的起源
- 5.2.2 AJAX概述
- 5.2.3 AJAX的特點
- 5.2.4 靜態(tài)數(shù)據(jù)
- 5.2.5 動態(tài)數(shù)據(jù)
- 5.2.6 分析AJAX采集的數(shù)據(jù)
- 5.2.7 提取AJAX采集的數(shù)據(jù)
- 5.3 任務(wù)實現(xiàn)
- 5.4 小結(jié)
- 5.5 習(xí)題
- 任務(wù)6 主流驗證碼解析
- 6.1 驗證碼概述
- 6.2 自定義圖形驗證碼解析
- 6.2.1 任務(wù)描述
- 6.2.2 圖形驗證碼概述
- 6.2.3 tesserocr庫概述
- 6.2.4 tesserocr庫的安裝
- 6.2.5 自定義圖形驗證碼的生成
- 6.2.6 使用tesserocr庫解析自定義圖形驗證碼
- 6.2.7 任務(wù)實現(xiàn)
- 6.3 滑動驗證碼解析
- 6.3.1 任務(wù)描述
- 6.3.2 滑動驗證碼概述
- 6.3.3 ChromeDriver概述
- 6.3.4 ChromeDriver的安裝
- 6.3.5 Selenium概述
- 6.3.6 Selenium的安裝
- 6.3.7 Selenium和ChromeDriver的基本用法
- 6.3.8 任務(wù)實現(xiàn)
- 6.4 點擊式驗證碼解析
- 6.4.1 任務(wù)描述
- 6.4.2 點擊式驗證碼概述
- 6.4.3 聚合數(shù)據(jù)平臺接口概述
- 6.4.4 任務(wù)實現(xiàn)
- 6.5 小結(jié)
- 6.6 習(xí)題
- 任務(wù)7 模擬登錄
- 7.1 使用Selenium和ChromeDriver實現(xiàn)模擬登錄
- 7.1.1 任務(wù)描述
- 7.1.2 GET概述
- 7.1.3 GET的基本用法
- 7.1.4 POST概述
- 7.1.5 POST的基本用法
- 7.1.6 GET和POST的區(qū)別
- 7.1.7 任務(wù)實現(xiàn)
- 7.2 使用Cookie實現(xiàn)模擬登錄
- 7.2.1 任務(wù)描述
- 7.2.2 Cookie概述
- 7.2.3 Session概述
- 7.2.4 Cookie和Session的區(qū)別
- 7.2.5 任務(wù)實現(xiàn)——使用Cookie模擬登錄
- 7.2.6 任務(wù)實現(xiàn)——使用requests庫實現(xiàn)用Cookie和Session模擬登錄
- 7.3 小結(jié)
- 7.4 習(xí)題
- 任務(wù)8 使用Scrapy爬蟲框架采集數(shù)據(jù)
- 8.1 任務(wù)描述
- 8.2 Scrapy
- 8.2.1 Scrapy概述
- 8.2.2 Scrapy的工作原理
- 8.3 Scrapy的安裝
- 8.3.1 在Windows操作系統(tǒng)下安裝Scrapy
- 8.3.2 在Linux操作系統(tǒng)下安裝Scrapy
- 8.4 Scrapy各組件的用法
- 8.4.1 Selector類
- 8.4.2 Spider類
- 8.4.3 下載器中間件
- 8.4.4 條目管道
- 8.4.5 網(wǎng)絡(luò)爬蟲中間件
- 8.5 任務(wù)實現(xiàn)
- 8.6 小結(jié)
- 8.7 習(xí)題
- 任務(wù)9 綜合案例
- 9.1 任務(wù)描述
- 9.2 頁面分析
- 9.3 模擬登錄
- 9.4 獲取靜態(tài)數(shù)據(jù)
- 9.5 獲取動態(tài)數(shù)據(jù)
- 9.6 數(shù)據(jù)持久化保存
- 9.7 小結(jié)
- 封底
展開全部
大數(shù)據(jù)采集與爬蟲是2020年由機械工業(yè)出版社出版,作者主 編 李俊翰 付雯副主編 王正霞 胡心雷。
溫馨提示：
1.本電子書已獲得正版授權(quán)，由出版社通過知傳鏈發(fā)行。
2.該電子書為虛擬物品，付費之后概不接收任何理由退款。電子書內(nèi)容僅支持在線閱讀，不支持下載。
3.您在本站購買的閱讀使用權(quán)僅限于您本人閱讀使用，您不得/不能給任何第三方使用，由此造成的一切相關(guān)后果本平臺保留向您追償索賠的權(quán)利！版權(quán)所有，后果自負！
得書感謝您對《大數(shù)據(jù)采集與爬蟲》關(guān)注和支持，如本書內(nèi)容有不良信息或侵權(quán)等情形的，請聯(lián)系本網(wǎng)站。
電子書
電子書
《Python編程基礎(chǔ)》是Python編程的基礎(chǔ)教程，基于當(dāng)前Python的*新版本3.7。本書基礎(chǔ)知識翔實，包含豐富的、循序漸進的實踐項目。首先，介紹了簡單的HelloWorld程序任務(wù)，讓讀者認識Python，并介紹編程環(huán)境的安裝與配置，以及如何實現(xiàn)HelloWorld程序。接著介紹Python的基礎(chǔ)知識—值、變量、數(shù)據(jù)類型、表達式和運算，以及程序流程控制—if語句、循環(huán)語句，同時給出了豐富的
電子書
適讀人群 ：本書既適合需要儲備反爬蟲知識的前端工程師和后端工程師閱讀，也適合需要儲備繞過知識的爬蟲工程師、爬蟲愛好者以及Python程序員閱讀。
【人氣推薦】《Python 3 網(wǎng)絡(luò)爬蟲開發(fā)實戰(zhàn)》作者、微軟小冰工程師崔慶才作序，騰訊、馬蜂窩工程師傾力推薦。
【干貨滿滿】爬蟲工程師不可錯過的“”，內(nèi)容包括但不限于Cookie 反爬蟲、WebSocket 反爬蟲、字體反爬蟲、WebDriver反爬蟲、App 反爬蟲、驗證碼反爬蟲。
【反爬蟲原理 爬蟲實戰(zhàn)】從實戰(zhàn)出發(fā)，印證國內(nèi)互聯(lián)網(wǎng)企業(yè)內(nèi)部加密原理，側(cè)重講解反爬蟲的原理以及繞過方法。
【21個反爬蟲示例】結(jié)合練習(xí)平臺 Steamboat，幫助讀者隨時復(fù)現(xiàn)書中的 21個爬蟲示例，鞏固所學(xué)知識。
電子書
本書共8章，內(nèi)容包括概述、大數(shù)據(jù)實驗環(huán)境搭建、網(wǎng)絡(luò)數(shù)據(jù)采集、分布式消息系統(tǒng)Kafka、日志采集系統(tǒng)Flume、數(shù)據(jù)倉庫中的數(shù)據(jù)集成、ETL工具Kettle、使用pandas進行數(shù)據(jù)清洗。
電子書
本書以任務(wù)驅(qū)動為主線，圍繞企業(yè)級應(yīng)用進行項目任務(wù)設(shè)計，主要內(nèi)容包括數(shù)據(jù)采集與預(yù)處理準備、網(wǎng)絡(luò)爬蟲實踐、日志數(shù)據(jù)采集實踐和數(shù)據(jù)預(yù)處理實踐，全面地講述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技術(shù)，以及urllib、Selenium基本庫和BeautifulSoup解析庫的相關(guān)知識與應(yīng)用案例。本書內(nèi)容實用，可操作性強，語言精練、通俗易懂，可作為高等院校計算機
電子書
本書主要介紹如何利用Kettle和Python這兩個具有代表性的工具進行數(shù)據(jù)預(yù)處理的相關(guān)技術(shù)與方法，包括數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換等。全書有9章，內(nèi)容涉及數(shù)據(jù)采集、環(huán)境部署、Kettle安裝及應(yīng)用、pandas應(yīng)用，以及數(shù)據(jù)可視化的基礎(chǔ)內(nèi)容。本書采用任務(wù)式編寫形式，將大數(shù)據(jù)預(yù)處理技術(shù)的理論和實現(xiàn)分解到一個個任務(wù)中，融入到一個個典型案例中，讓讀者在完成各任務(wù)的同時掌握和理解相關(guān)內(nèi)容。本書
電子書
本書從高職和中職院校學(xué)生學(xué)習(xí)的實際出發(fā)，按從基礎(chǔ)至高級的順序進行編排，并對每章內(nèi)容進行梳理。全書分為10個章節(jié)，分別介紹了AutoCAD2016基礎(chǔ)知識、AutoCAD2016基本操作、基本二維圖形繪制、基本圖形修改、繪制三視圖及零件圖、圖樣尺寸和技術(shù)要求的標注、繪制二維工程圖與軸測圖、繪制裝配圖、三維圖形設(shè)計基礎(chǔ)和參數(shù)化圖形等進行工程設(shè)計所必需的各種功能和用法。本書深入淺出，實例引導(dǎo)，講解翔實，
