將Hadoop和Spark組合起來進(jìn)行剖析，呈現(xiàn)完整的大數(shù)據(jù)技術(shù)方案。

Hadoop基礎(chǔ)教程，大數(shù)據(jù)技術(shù)原理與應(yīng)用教程，MapReduce框架入門實(shí)戰(zhàn)指南。

在數(shù)字經(jīng)濟(jì)時代，數(shù)據(jù)是重要的資源要素；同時，新的數(shù)據(jù)又在源源不斷地產(chǎn)生，企業(yè)面臨的一個基本問題就是如何管理和利用這些數(shù)據(jù)，這對傳統(tǒng)的數(shù)據(jù)處理方法與分析框架提出了新的訴求和挑戰(zhàn)，也是全球業(yè)界與學(xué)界為關(guān)心的問題。為了滿足大數(shù)據(jù)時代對信息的快速處理的需求，一個分布式的開源計算框架Apache Spark應(yīng)運(yùn)而生。經(jīng)過十年的發(fā)展，Spark已經(jīng)成為目前大數(shù)據(jù)處理的標(biāo)桿，在整個業(yè)界得到了廣泛的使用。對大數(shù)據(jù)工程師來說，用Spark構(gòu)建數(shù)據(jù)管道無疑是很好的選擇，而對數(shù)據(jù)科學(xué)家來說，Spark也是高效的數(shù)據(jù)探索工具。 本書基于Spark發(fā)行版2.4.4寫作而成，包含大量的實(shí)例與一個完整項(xiàng)目，技術(shù)理論與實(shí)戰(zhàn)相結(jié)合，層次分明，循序漸進(jìn)。本書不僅介紹了如何開發(fā)Spark應(yīng)用的基礎(chǔ)內(nèi)容，包括Spark架構(gòu)、Spark編程、SparkSQL、Spark調(diào)優(yōu)等，還探討了Structured Streaming、Spark機(jī)器學(xué)習(xí)、Spark圖挖掘、Spark深度學(xué)習(xí)、Alluxio系統(tǒng)等高級主題，同時完整實(shí)現(xiàn)了一個企業(yè)背景調(diào)查系統(tǒng)，借鑒了數(shù)據(jù)湖與Lambda架構(gòu)的思想，涵蓋了批處理、流處理應(yīng)用開發(fā)，并加入了一些開源組件來滿足業(yè)務(wù)需求。學(xué)習(xí)該系統(tǒng)可以使讀者從實(shí)戰(zhàn)中鞏固所學(xué)，并將技術(shù)理論與應(yīng)用實(shí)戰(zhàn)融會貫通。 本書適合準(zhǔn)備學(xué)習(xí)Spark的開發(fā)人員和數(shù)據(jù)分析師，以及準(zhǔn)備將Spark應(yīng)用到實(shí)際項(xiàng)目中的開發(fā)人員和管理人員閱讀，也適合計算機(jī)相關(guān)專業(yè)的高年級本科生和研究生學(xué)習(xí)和參考，對于具有一定的Spark使用經(jīng)驗(yàn)并想進(jìn)一步提升的數(shù)據(jù)科學(xué)從業(yè)者也是很好的參考資料。

本書介紹Hadoop、Spark兩種大數(shù)據(jù)處理框架，共12章，內(nèi)容包括：Hadoop大數(shù)據(jù)開發(fā)環(huán)境、HDFS大數(shù)據(jù)分布式存儲、MapReduce分布式計算框架、HBase分布式數(shù)據(jù)庫、Scala基礎(chǔ)編程、Spark大數(shù)據(jù)處理框架、Windows環(huán)境下Spark綜合編程等。

本書是廈門大學(xué)作者團(tuán)隊長期經(jīng)驗(yàn)總結(jié)的結(jié)晶，是在廈門大學(xué)《大數(shù)據(jù)技術(shù)原理與應(yīng)用》入門級大數(shù)據(jù)教材的基礎(chǔ)之上編寫的。為了確保教程質(zhì)量，在編著出版紙質(zhì)教材之前，實(shí)驗(yàn)室已經(jīng)于2016年10月通過實(shí)驗(yàn)室官網(wǎng)免費(fèi)發(fā)布共享了簡化版的Spark在線教程和相關(guān)教學(xué)資源，同時，該在線教程也已經(jīng)用于廈門大學(xué)計算機(jī)科學(xué)系研究生的大數(shù)據(jù)課程教學(xué)，并成為全國高校大數(shù)據(jù)課程教師培訓(xùn)交流班的授課內(nèi)容。實(shí)驗(yàn)室根據(jù)讀者對在線Spark教程的大量反饋意見以及教學(xué)實(shí)踐中發(fā)現(xiàn)的問題，對Spark在線教程進(jìn)行了多次修正和完善，所有這些前期準(zhǔn)備工作，都為紙質(zhì)教材的編著出版打下了堅實(shí)的基礎(chǔ)。 披荊斬棘，在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑 填溝削坎，為快速學(xué)習(xí)Spark 技術(shù)鋪平道路 深入淺出，有效降低Spark 技術(shù)學(xué)習(xí)門檻 資源全面，構(gòu)建全方位一站式在線服務(wù)體系

本書共分11章，第1章對大數(shù)據(jù)及Hadoop進(jìn)行總體介紹；第2章講解了如何搭建Hadoop集群；第3-5章講解了HDFS分布式文件系統(tǒng)、MapReduce分布式計算框架以及Zookeeper分布式協(xié)調(diào)服務(wù)；第6章講解Hadoop2.0的新特性；第7-10章主要講解了Hadoop生態(tài)圈中的相關(guān)輔助系統(tǒng)，包括Hive、HBase分布式存儲系統(tǒng)、Flume、Saoop；第11章講解了綜合項(xiàng)目：電商精準(zhǔn)營

本書以任務(wù)為導(dǎo)向，較為全面地介紹了Hadoop大數(shù)據(jù)技術(shù)的相關(guān)知識。全書共6章，具體內(nèi)容包括Hadoop介紹、Hadoop集群的搭建及配置、Hadoop基礎(chǔ)操作、MapReduce編程入門、MapReduce進(jìn)階編程、項(xiàng)目案例：電影網(wǎng)站用戶性別預(yù)測。本書的第2～5章包含了實(shí)訓(xùn)與課后練習(xí)，通過練習(xí)和操作實(shí)踐，幫助讀者鞏固所學(xué)的內(nèi)容。本書可以作為高校大數(shù)據(jù)技術(shù)類專業(yè)的教材，也可作為大數(shù)據(jù)技術(shù)愛好者的自

本書是一本介紹大數(shù)據(jù)處理技術(shù)的專業(yè)圖書，力求提高讀者對大數(shù)據(jù)處理的認(rèn)知水平和動手能力。本書首先介紹大數(shù)據(jù)技術(shù)的相關(guān)概念和發(fā)展歷程，從實(shí)踐的角度介紹Hadoop和Spark的安裝部署、編程基礎(chǔ)和使用方法；然后結(jié)合具體案例，重點(diǎn)介紹SparkRDD、SparkSQL、SparkStreaming、SparkGraphFrame等的應(yīng)用思路和方法，并通過具體代碼，讓讀者更好地感受大數(shù)據(jù)處理技術(shù)的效果。本