大數據/商業數據分析

眾多顧客已親身體驗恆逸的好,並成功提升專業競爭力,你也可以!

來看看他們是如何學習、如何努力考取認證的經驗分享多汲取他人的寶貴經驗,將讓您的未來進修之路走得更有效率!快來看看恆逸應援團怎麼說!

王鈺中

恆逸Apache Hadoop之開發者訓練課程心得分享

很高興有這次的機會,至恆逸資訊參加Cloudera「Apache Hadoop之開發者訓練課程」。上課之前,在恆逸教育訓練中心http://www.uuu.com.tw的網站都有清楚的課程目標及內容,可以讓學員有初步的了解。因為公司在發展Big Data相關領域的業務,需要有Hadoop相關證照人員,上網查詢評估後,就選擇了課程經驗豐富的恆逸資訊做為這次的Hadoop學習課程。
 
課程講師潘家羲是一位在Java領域擁有多項證照的專家,上課時詼諧風趣,對於學員所提問題也都會詳盡解釋。課程一開始,講師先請我們自我介紹,認識彼此。學員來自四面八方,不乏各類資訊公司,也有壽險,金融的從業人員,更有正在撰寫論文的碩士生,大家對於Big Data這領域,無論資料的分析或應用,感覺都充滿期待,許多學員也想利用這次的課程訓練,嘗試各種Hadoop解決方案。
 
在未上課前,其實對於這領域接觸不多,只知道Big Data與data mining近年來討論非常熱門。在雲端時代,巨量的資料已是無可避免,如何處理與分析這些資料,變得格外重要。常見的應用,如網路商店對於使用者的購物習慣做分析並推薦商品,在課程訓練裡,也有簡易的介紹Hadoop演算法如何去實作這種資料處理。
 
課程開始,講師用淺顯易懂的方式,介紹Hadoop的動機與基礎架構,從HDFS-Hadoop分散式檔案系統,讓大家逐漸了解它的運作原理。這是一種高容錯、高效率、大容量的儲存系統,一個資料會被切割以及包含數份副本存在不同節點,並使用MapReduce的技術,將運算工作分配至節點上進行,故大幅減少大量資料使用網路傳輸的時間。
 
開發課程的重點,在於使用Java去撰寫有關各個MapReduce階段的程式,從最初階的wordcount練習開始,每階段講師都會從實作中讓大家去了解Hadoop背後運作的流程,在實機演練中,講師也不忘提醒若要取得證照的學員,需要記憶與注意的細節。透過這樣的練習,更可讓大家熟悉它的原理。課程最後,也介紹了許多Hadoop生態體系的實際應用套件,像是Hive可是使用SQL語法來存取資料,oozie的流程功能等等。
 
最後總結講師也提到,目前Hadoop仍然有些功課需克服。Hadoop適合處理大量且邏輯單純的離線資料,對於動態處理的即時資料並不擅長,開發人員須熟悉Java語言,依照MapReduce的方式,事前分析資料如何平行處理。為了改進及補強Hadoop的不足,已有越來越多的團隊正在改進程式並有更多的Hadoop套件推出,來符合企業流程的需求。微軟也在Azure中,將Hadoop與SQL Server做一個整合,透過雲端平台提供巨量資料服務,於此可見Big Data於商業上的價值與所受到的重視。
 

 

 

看看其他人怎麼說

看更多