Spark 的 Word Count程式片段範例如下所示，下列敘述何者有誤？ text_file = sc.textFile("hdfs://...") counts = text_file.flatMap(lambda…

Question

Spark 的 Word Count程式片段範例如下所示，下列敘述何者有誤？
text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")
(A) counts 從頭到尾就是單一個 RDD
(B) flatMap() 是依照分隔符號 (" ") 將文字檔分成一個一個的字
(C) map() 將每個字計算一次
(D) reduceByKey() 將相同字的值相加

Accepted Answer

正確答案為 A。 Spark Word Count 中，counts 並非單一 RDD，而是由多個 RDD 轉換（transformation）鏈結而成的 DAG 結果。 (A) 【RDD transformation 鏈】錯誤敘述。counts 是由 text_file 經 flatMap、map、reduceByKey 三次 transformation 所產生的一系列不同 RDD（Resilient Distributed Dataset）所鏈結的結果，每次 transformation 都會產生一個新的 RDD，並非從頭到尾都是同一個單一 RDD。 (B) 【flatMap 展平操作】正確敘述。flatMap(lambda line: line.split(' ')) 會先對每一行套用 split(' ')，依空白分隔成多個字，再將所有結果展平（flatten）成單一序列的字詞 RDD。

Spark 的 Word Count程式片段範例如下所示，下列敘述何者有誤？ text_file = sc.textFile("hdfs://...") counts = text_file.flatMap(lambda line: line.split(" ")) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) counts.saveAsTextFile("hdfs://...")

逐選項解析

立即註冊,看完整詳解

統計學、巨量資料概論相關題目

想練更多統計學、巨量資料概論考古題？

Spark 的 Word Count程式片段範例如下所示，下列敘述何者有誤？ text_file = sc.textFile("hdfs://...") counts = text_file.flatMap(lambda line: line.split(" ")) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) counts.saveAsTextFile("hdfs://...")

逐選項解析

立即註冊,看完整詳解

統計學、巨量資料概論 相關題目

想練更多統計學、巨量資料概論考古題？

統計學、巨量資料概論相關題目