國營聯招 統計資訊統計學、巨量資料概論104 年第 45 題單選題考點:平行化能力考點:跨Iteration狀態維持
Hadoop一般對於疊代式(Iterative)程序執行起來較沒效率,主要原因為下列何者?
AIteration不易平行化
B跨Iteration間的狀態不容易維持正確答案
CHadoop不支持Iteration
DHadoop不支援C語言
B正確答案
Hadoop對疊代式程序效率差,核心問題在於每次Iteration結果須寫回HDFS磁碟,導致跨Iteration間狀態無法在記憶體中持續維持。
逐選項解析
AIteration不易平行化平行化能力✕ 易錯陷阱
疊代式程序本身是可以平行化的,MapReduce也能對每次Iteration做平行處理,因此這不是Hadoop效率低落的主因。
B跨Iteration間的狀態不容易維持跨Iteration狀態維持✓ 正確
Hadoop每次Iteration結束後,中間狀態必須寫入HDFS(磁碟),下一次Iteration再從HDFS重新讀取,無法在記憶體中維持跨Iteration的狀態,造成大量磁碟I/O,這才是效率瓶頸的根本原因。
立即註冊,看完整詳解
這題的完整詳解,註冊就能看 · 每天 2 題免費
精選詳解- 完整逐選項解析
- 秒殺解題技巧與破題關鍵
- 關鍵知識表整理
- 陷阱與易錯提醒
- 同考點歷屆題庫連續刷題與錯題本