教學大綱與進度

課程基本資料：

學年期	課號	課程名稱	階段	學分	時數	修	教師	班級	人	撤	備註
113-2	344272	大數據技術與管理	1	3.0	3	★	王怡鈞	職電機所	13	0	綜科414

教學大綱與進度：

教師姓名	王怡鈞
Email	bnwntut8@ntut.edu.tw
最後更新時間	2024-12-17 10:36:48
課程大綱	由於雲端運算的快速發展，大量資料收集與儲存技術已成瓶頸，大數據技術與管理提供一套具延展性與容錯能力的分散儲存與計算架構, 能有效處理大量複雜數據資料的儲存與運算。 本課程除介紹現有的大數據生態與趨勢，並針對目前軟硬體架構的處理瓶頸，提供系統組態與部署、服務層級協定、監控與管理等系統性規劃的解決方案，並導入跨領域的工程管理科學知識。課程簡扼論述大數據技術與管理的重要，並在Hadoop生態系統中，以Cloudera Hadoop為應用範例，實作說明其重要性。 課程內容包括：大數據的概念、應用生態與趨勢、Hadoop硬體規格與基礎架構規劃、叢集組態與部署、叢集服務層級協定、叢集監控與管理、相關生態技術。
課程進度	(Syllabus, preliminary) Monday. 18:30 - 21:10 (ABC) Week# Subject to change per needs and circumstances 01 2/17 Syllabus & organization of all mission cases from the class 02 2/24 Big Data Application and Trend 03 3/03 Hadoop Cluster Deployment 04 3/10 Core Technologies for Big Data Management 05 3/17 Hadoop Distributed File System (HDFS) 06 3/24 MapReduce 07 3/31 YARN Applications 08 4/07 Planning Hadoop Cluster Hardware and Software 09 4/14 Mid-Term Exam or Reviews 10 4/21 Spark 11 4/28 Hadoop I/O 12 5/05 Hadoop High Available, Failover, Fensing and Federation 13 5/12 Hadoop Ecosystem Project Presentation and Q&A -1 14 5/19 Hadoop Ecosystem Project Presentation and Q&A -2 15 5/26 Hadoop Ecosystem Project Presentation and Q&A -3 16 6/02 Resource & Scheduler Management 17 6/09 Hadoop Security 18 6/16 Final-Exam
評量方式與標準	1.作業 - Assignment including Reports , Presentation & Q&A: 50% 2.期末考 - (Final-Term Exam): 50%
使用教材、參考書目或其他	【遵守智慧財產權觀念，請使用正版教科書，不得使用非法影印教科書】 使用外文原文書：是 Teacher's handouts, plus the references below 1. Hadoop: The Definitive Guide, Fourth Edition, April 2015, Published by O’Reilly Media, Inc., Editor: Tom White. 2. Hadoop Essentials, First Edition, April 2015, Published by O’Reilly Media, Inc., Editor: Shiva Achari. 3. Hadoop Operation, First Edition, September 2012, Published by O’Reilly Media, Inc., Editor: Eric Sammer. 4. 大數據大時代 - 新一代儲存技術及實作，作者: 查偉，發行所:佳魁資訊， 出版日期: 2017, 3月. 5. Yusuf Aytas, Designing Big Data Platform, How to Use, Deploy and Maintain Big Data Systems, Wiley, February 2021. 6. Jimmy Lin and Chris Dyer, Data-Intensive Text Processing with MapReduce, Morgan & Claypool Publishers, 2010. 7. Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, Learning Spark: Lightning-Fast Big Data Analysis, O'Reilly Media, January 2015. Additional Reading References: 8. The Google File System; https://static.googleusercontent.com/media/research.google.com/zh-TW//archive/gfs-sosp2003.pdf 9. MapReduce: Simplified Data Processing on Large Clusters; https://static.googleusercontent.com/media/research.google.com/zh-TW//archive/mapreduce-osdi04.pdf 10. Big Data associated, To-Be-Advised in class
課程諮詢管道	Join LINE Group:ttps://line.me/R/ti/g/QyupgPTtHX Questions to email: bnwntut8@ntut.edu.tw
課程對應SDGs指標	SDG4：優質教育（Quality Education） SDG8：尊嚴就業與經濟發展（Decent Work and Economic Growth） SDG9：產業創新與基礎設施（Industry, Innovation and Infrastructure）
課程是否導入AI
備註	If NTUT announces for remote class upon some specific issues, then it goes for Google Meet: https://meet.google.com/rkg-kbgv-odo LINE Group: ttps://line.me/R/ti/g/QyupgPTtHX Questions to email: bnwntut8@ntut.edu.tw SDG#4: 教育品質 SDG#8: 就業與經濟成長 SDG#9: 工業、創新、基礎建設