國營聯招 統計資訊統計學、巨量資料概論109 年第 49 題單選題考點:ReLU功能誤解考點:Sigmoid梯度消失
深度神經網路(deep neural networks)的神經元中通常輸出時會經過激發函數(activation function)的轉換,下列針對常用激發函數的敘述何者有誤?
AReLU可以避免過度擬合(overfit)的問題正確答案
BSigmoid會有梯度消失(vanishing gradient)的問題
CReLU會發生死亡神經元(dead neural)的問題
DSigmoid會有梯度爆炸問題(vanishing gradient)的問題
A正確答案
深度神經網路激發函數考點:ReLU避免的是梯度消失問題而非過度擬合;Sigmoid有梯度消失與梯度爆炸風險;ReLU有死亡神經元問題。
逐選項解析
AReLU可以避免過度擬合(overfit)的問題ReLU功能誤解✓ 正確
ReLU的優點是緩解梯度消失問題、加速收斂,而非避免過度擬合。過度擬合需靠Dropout、L1/L2正則化等手段解決,與激發函數種類無直接關係,本選項敘述有誤,為正解。
BSigmoid會有梯度消失(vanishing gradient)的問題Sigmoid梯度消失✕ 錯誤
Sigmoid函數輸出區間(0,1),當輸入值絕對值大時,導數趨近於0,反向傳播時梯度連乘後趨近於0,確實會造成梯度消失問題,敘述正確。
CReLU會發生死亡神經元(dead neural)的問題✕ 錯誤
DSigmoid會有梯度爆炸問題(vanishing gradient)的問題✕ 易錯陷阱
立即註冊,看完整詳解
這題的完整詳解,註冊就能看 · 每天 2 題免費
精選詳解- 完整逐選項解析
- 秒殺解題技巧與破題關鍵
- 關鍵知識表整理
- 陷阱與易錯提醒
- 同考點歷屆題庫連續刷題與錯題本