반응형 ReLU함수1 [ML][용어] ReLU 함수 ReLU(Rectified Linear Unit) 함수는 입력값이 양수면 그대로 출력하고, 음수면 0으로 출력하는 활성화 함수입니다. 계산이 간단하고, 딥러닝 모델에서 비선형성을 추가하여 학습을 돕습니다. 1. ReLU 함수의 정의입력 값 x가 양수이면 그대로 출력되고, 음수이거나 0이면 0으로 출력됩니다.수학적으로 정의하면 다음과 같습니다.여기서,입력이 양수일 때: f(x) = x입력이 음수일 때: f(x) = 0 입니다.2. 주요 특징1) 비선형성입력이 양수일 때는 선형 동작하지만, 입력이 음수일 때는 0으로 출력되므로 전체적으로는 비선형적 동작을 합니다. 따라서, 신경망이 복잡한 패턴을 학습할 수 있습니다. 2) 간단한 계산수학적으로 단순해서 계산 비용이 매우 적습니다. 따라서, 큰 규모의 네트.. 2024. 10. 15. 이전 1 다음 반응형
