반응형 gelu1 [ML][용어] GELU 함수 GELU(Gaussian Error Linear Unit)함수는 입력 값을 정규 분포의 확률로 변환하여 활성화하는 방식입니다. 입력이 클수록 더 많이, 작을수록 덜 활성화되며, 이를 통해 부드럽고 확률적인 활성화가 이루어집니다. 최신 신경망 모델에서 자주 사용되며, 학습의 안정성과 성능 향상에 기여합니다.GELU (Gaussian Error Linear Unit) 함수는 신경망에서 활성화 함수로 사용되는 함수 중 하나입니다.ReLU (Rectified Linear Unit)와 유사하게 비선형성을 제공하지만, 보다 매끄럽고 자연스러운 방식으로 동작합니다. 특히, Transformer와 같은 최신 신경망 구조에서 ReLU 대신 종종 사용되며, BERT 모델에서도 활성화 함수로 사용됩니다.1. GELU 함수의.. 2024. 10. 7. 이전 1 다음 반응형
