반응형 GaussianErrorLinearUnit1 [ML][용어] GELU 함수 GELU는 입력을 양수일 확률만큼 부드럽게 통과시키는 활성화 함수로, 매끄러운 비선형성과 죽은 뉴런 완화라는 장점이 있지만 ReLU보다 계산이 복잡한 단점이 있습니다. 1. GELU 함수의 정의 GELU(Gaussian Error Linear Unit) 함수는 입력값 x를 확률적으로 통과시키는 활성화 함수입니다.ReLU는 0보다 작으면 아예 끊어버리지만, GELU는 작은 음수도 조금은 통과시켜서 부드러운 출력 곡선을 만듭니다. 수학적으로 정의하면 다음과 같습니다.더보기 Φ(x)는 표준정규분포의 누적분포함수(CDF) 입니다.즉, 평균 0·분산 1인 정규분포에서 임의로 뽑은 값이 x 이하일 확률입니다.따라서 x Φ(x)는 입력 x를 확률 Φ(x) 만큼 통과시킨 값으로 볼 수 있습니다. 여기서, Φ(x)는 .. 2025. 10. 10. 이전 1 다음 반응형
