深度神經網路(deep neural networks)的神經元中通常輸出時會經過激發函數(activation function)的轉換，下列針對常用激發函數的敘述何者有誤？
AReLU可以避免過度擬合(overfit)的問題正確答案
BSigmoid會有梯度消失(vanishing gradient)的問題
CReLU會發生死亡神經元(dead neural)的問題
DSigmoid會有梯度爆炸問題(vanishing gradient)的問題
答案與詳解
為什麼答案是 A
ReLU的優點是緩解梯度消失問題、加速收斂，而非避免過度擬合。過度擬合需靠Dropout、L1/L2正則化等手段解決，與激發函數種類無直接關係，本選項敘述有誤，為正解。
考點：ReLU功能誤解考點：Sigmoid梯度消失考點：ReLU死亡神經元考點：梯度爆炸名詞混淆
載入中…
