반응형 경사소실1 [ML][용어] tanh 함수(하이퍼볼릭 탄젠트 함수) tanh 함수는 -1~1 범위의 비선형 함수로, 평균이 0에 가까워 학습이 안정적이지만, 경사 소실 문제와 ReLU 대비 계산 비용이 높은 한계가 있습니다. 1. tanh 함수의 정의 하이퍼볼릭 탄젠트 함수는 입력값을 -1과 1 사이의 값으로 압축하는 S자 형태의 비선형 함수입니다.수학적으로 정의하면 다음과 같습니다.여기서, 입력이 클수록 출력은 1에 가까워지며, 입력이 작을수록 출력은 -1에 가까워집니다.즉, x가 매우 큰 양수면 e^x기 압도적으로 커져서 (x → +∞), f(x) = 1반대로 x가 매우 큰 음수면 e^-x가 압도적으로 커져서 (x → -∞), f(x) = -1 이 됩니다.2. 주요 특징1) 비선형성tanh 함수는 비선형 함수를 제공하므로, 신경망이 복잡한 패턴을 학습할 수 있게 해.. 2025. 10. 10. 이전 1 다음 반응형
