반응형 ML2 [ML][용어] GELU 함수 GELU(Gaussian Error Linear Unit)함수는 입력 값을 정규 분포의 확률로 변환하여 활성화하는 방식입니다. 입력이 클수록 더 많이, 작을수록 덜 활성화되며, 이를 통해 부드럽고 확률적인 활성화가 이루어집니다. 최신 신경망 모델에서 자주 사용되며, 학습의 안정성과 성능 향상에 기여합니다.GELU (Gaussian Error Linear Unit) 함수는 신경망에서 활성화 함수로 사용되는 함수 중 하나입니다.ReLU (Rectified Linear Unit)와 유사하게 비선형성을 제공하지만, 보다 매끄럽고 자연스러운 방식으로 동작합니다. 특히, Transformer와 같은 최신 신경망 구조에서 ReLU 대신 종종 사용되며, BERT 모델에서도 활성화 함수로 사용됩니다.1. GELU 함수의.. 2024. 10. 7. [ML][용어] softmax 함수 소프트맥스(Softmax) 함수는 머신러닝과 딥러닝에서 많이 사용되는 활성화 함수 중 하나입니다. 보통 여러 클래스에 대한 확률 분포를 계산하는 데 사용됩니다. 주로 분류 문제에서 마지막 출력층에서 사용되며, 주어진 입력 벡터의 각 요소를 0에서 1 사이의 확률 값으로 변환하고, 이 값들의 합이 1이 되도록 만듭니다.소프트맥스(Softmax) 함수는 활성화 함수 중 하나로, 여러 클래스에 대한 확률 분포를 계산하는 데 사용됩니다. 주로 분류 문제에서 마지막 출력층에서 사용되며, 주어진 입력 벡터의 각 요소를 0에서 1 사이의 확률 값으로 변환하고, 이 값들의 합이 1이 되도록 만듭니다. 1. softmax 함수의 정의이 함수는 모든 입력값에 대해 지수 함수를 적용한 후, 그 값들이 전체에서 차지하는 비율.. 2024. 9. 30. 이전 1 다음 반응형
