很高興有這次的機會，至恆逸資訊參加Cloudera「Apache Hadoop之開發者訓練課程」。上課之前，在恆逸教育訓練中心http://www.uuu.com.tw的網站都有清楚的課程目標及內容，可以讓學員有初步的了解。因為公司在發展Big Data相關領域的業務，需要有Hadoop相關證照人員，上網查詢評估後，就選擇了課程經驗豐富的恆逸資訊做為這次的Hadoop學習課程。
課程講師潘家羲是一位在Java領域擁有多項證照的專家，上課時詼諧風趣，對於學員所提問題也都會詳盡解釋。課程一開始，講師先請我們自我介紹，認識彼此。學員來自四面八方，不乏各類資訊公司，也有壽險，金融的從業人員，更有正在撰寫論文的碩士生，大家對於Big Data這領域，無論資料的分析或應用，感覺都充滿期待，許多學員也想利用這次的課程訓練，嘗試各種Hadoop解決方案。
在未上課前，其實對於這領域接觸不多，只知道Big Data與data mining近年來討論非常熱門。在雲端時代，巨量的資料已是無可避免，如何處理與分析這些資料，變得格外重要。常見的應用，如網路商店對於使用者的購物習慣做分析並推薦商品，在課程訓練裡，也有簡易的介紹Hadoop演算法如何去實作這種資料處理。
課程開始，講師用淺顯易懂的方式，介紹Hadoop的動機與基礎架構，從HDFS-Hadoop分散式檔案系統，讓大家逐漸了解它的運作原理。這是一種高容錯、高效率、大容量的儲存系統，一個資料會被切割以及包含數份副本存在不同節點，並使用MapReduce的技術，將運算工作分配至節點上進行，故大幅減少大量資料使用網路傳輸的時間。
開發課程的重點，在於使用Java去撰寫有關各個MapReduce階段的程式，從最初階的wordcount練習開始，每階段講師都會從實作中讓大家去了解Hadoop背後運作的流程，在實機演練中，講師也不忘提醒若要取得證照的學員，需要記憶與注意的細節。透過這樣的練習，更可讓大家熟悉它的原理。課程最後，也介紹了許多Hadoop生態體系的實際應用套件，像是Hive可是使用SQL語法來存取資料，oozie的流程功能等等。
最後總結講師也提到，目前Hadoop仍然有些功課需克服。Hadoop適合處理大量且邏輯單純的離線資料，對於動態處理的即時資料並不擅長，開發人員須熟悉Java語言，依照MapReduce的方式，事前分析資料如何平行處理。為了改進及補強Hadoop的不足，已有越來越多的團隊正在改進程式並有更多的Hadoop套件推出，來符合企業流程的需求。微軟也在Azure中，將Hadoop與SQL Server做一個整合，透過雲端平台提供巨量資料服務，於此可見Big Data於商業上的價值與所受到的重視。
