教學大綱與進度

課程基本資料：

學年期	課號	課程名稱	階段	學分	時數	修	教師	班級	人	撤	備註
111-1	308502	大數據技術與管理	1	3.0	3	★	王怡鈞 黃柏鈞	AI雙聯專班	38	0	碩一要修，9/25,10/2,10/16,10/30,12/18,12/25

教學大綱與進度：

教師姓名	黃柏鈞　教師諮商時間(Office Hours)
Email	pchuang.19840320@gmail.com
最後更新時間	2022-08-26 07:35:36
課程大綱	由於雲端運算的快速發展，大量資料收集與儲存技術已成瓶頸，大數據技術與管理提供一套具延展性與容錯能力的分散儲存與計算架構, 能有效處理大量複雜數據資料的儲存與運算。 本課程除介紹現有的大數據生態與趨勢，並針對目前軟硬體架構的處理瓶頸，提供系統組態與部署、服務層級協定、監控與管理等系統性規劃的解決方案，並導入跨領域的工程管理科學知識。課程簡扼論述大數據技術與管理的重要，並在Hadoop生態系統中，以Cloudera Hadoop為應用範例，實作說明其重要性。 課程內容包括：大數據的概念、應用生態與趨勢、Hadoop硬體規格與基礎架構規劃、叢集組態與部署、叢集服務層級協定、叢集監控與管理、相關生態技術、及概略介紹Hadoop認證與準備。 The course will introduce Apache Hadoop core technologies and administration with its major including: Big Data (BD) in demand and its application trend, Core technologies of Hadoop for BD management, Hadoop Administration and management tool, Hadoop cluster deployment,YARN applications plus MapReduce, Hadoop cluster hardware and software, Introduction of Hadoop ecosystem projects, HDFS configuration for high availability (HA), Hadoop security, Cluster resource scheduling and configuration, and Hadoop certification program, etc.
課程進度	1. Data storage: Hadoop HDFS、Tachyon 2. Offline computation: Hadoop MapReduce、Spark 3. Streamed computation: Storm 4. Relational databases and ket-value stores: HBase, Redis, MongoDB 5. Resource management: YARN, Mesos 6. Journal collection: Flume 7. Message systems: Kafka, StormMQ, ZeroMQ, RabbitMQ 8. Query analysis: Hive, Impala, Kylin 9. Distributed coordination: Zookeeper 10. Data mining and machine learning packages: Mahout
評量方式與標準	課堂參與：30% 小專題實作：70%
使用教材、參考書目或其他	【遵守智慧財產權觀念，請使用正版教科書，不得使用非法影印教科書】 使用外文原文書：是 Jules S. Damji, Brooke Wenig, Tathagata Das, and Denny Lee, Learning Spark, 2nd Edition, 2020. Other optional resources shall also be included when necessary.
課程諮詢管道	Email and office hours (through online and physical meetings)
課程對應SDGs指標
備註	We shall use Google meet to provide online lectures when necessary.