반응형 IT/ML_용어4 [ML][용어] ReLU 함수 ReLU(Rectified Linear Unit) 함수는 입력값이 양수면 그대로 출력하고, 음수면 0으로 출력하는 활성화 함수입니다. 계산이 간단하고, 딥러닝 모델에서 비선형성을 추가하여 학습을 돕습니다. 1. ReLU 함수의 정의입력 값 x가 양수이면 그대로 출력되고, 음수이거나 0이면 0으로 출력됩니다.수학적으로 정의하면 다음과 같습니다.여기서,입력이 양수일 때: f(x) = x입력이 음수일 때: f(x) = 0 입니다.2. 주요 특징1) 비선형성입력이 양수일 때는 선형 동작하지만, 입력이 음수일 때는 0으로 출력되므로 전체적으로는 비선형적 동작을 합니다. 따라서, 신경망이 복잡한 패턴을 학습할 수 있습니다. 2) 간단한 계산수학적으로 단순해서 계산 비용이 매우 적습니다. 따라서, 큰 규모의 네트.. 2024. 10. 15. [ML][용어] Sigmoid 함수 시그모이드 함수(sigmoid function)는 활성화 함수 중 하나로, 이진 분류 문제에 주로 사용됩니다. 이 함수는 입력 값을 0과 1 사이의 값으로 변환하며, 신경망에 비선형성을 제공해 복잡한 패턴을 학습할 수 있게 합니다. 1. sigmoid 함수의 정의입력값에 음의 지수 함수를 적용하여 변환한 뒤, 그 값을 0과 1 사이의 값으로 압축합니다. 입력값이 양수일수록 1에 가까워지고, 음수일수록 0에 가까워지며, 출력값은 항상 0과 1 사이를 유지합니다. 수학적으로 정의하면 다음과 같습니다.여기서,σ(x): 시그모이드 함수의 출력값.x: 입력값.e: 자연상수, 약 2.718로 알려진 오일러 수입니다. 2. 주요 특징1) 확률 계산에 유용 출력 값이 항상 0과 1 사이에 있습니다. 이 특성 덕분.. 2024. 10. 11. [ML][용어] GELU 함수 GELU(Gaussian Error Linear Unit)함수는 입력 값을 정규 분포의 확률로 변환하여 활성화하는 방식입니다. 입력이 클수록 더 많이, 작을수록 덜 활성화되며, 이를 통해 부드럽고 확률적인 활성화가 이루어집니다. 최신 신경망 모델에서 자주 사용되며, 학습의 안정성과 성능 향상에 기여합니다.GELU (Gaussian Error Linear Unit) 함수는 신경망에서 활성화 함수로 사용되는 함수 중 하나입니다.ReLU (Rectified Linear Unit)와 유사하게 비선형성을 제공하지만, 보다 매끄럽고 자연스러운 방식으로 동작합니다. 특히, Transformer와 같은 최신 신경망 구조에서 ReLU 대신 종종 사용되며, BERT 모델에서도 활성화 함수로 사용됩니다.1. GELU 함수의.. 2024. 10. 7. [ML][용어] softmax 함수 소프트맥스(Softmax) 함수는 머신러닝과 딥러닝에서 많이 사용되는 활성화 함수 중 하나입니다. 보통 여러 클래스에 대한 확률 분포를 계산하는 데 사용됩니다. 주로 분류 문제에서 마지막 출력층에서 사용되며, 주어진 입력 벡터의 각 요소를 0에서 1 사이의 확률 값으로 변환하고, 이 값들의 합이 1이 되도록 만듭니다.소프트맥스(Softmax) 함수는 활성화 함수 중 하나로, 여러 클래스에 대한 확률 분포를 계산하는 데 사용됩니다. 주로 분류 문제에서 마지막 출력층에서 사용되며, 주어진 입력 벡터의 각 요소를 0에서 1 사이의 확률 값으로 변환하고, 이 값들의 합이 1이 되도록 만듭니다. 1. softmax 함수의 정의이 함수는 모든 입력값에 대해 지수 함수를 적용한 후, 그 값들이 전체에서 차지하는 비율.. 2024. 9. 30. 이전 1 다음 반응형
