본문 바로가기
반응형

IT/ML_용어6

[ML][용어] One-Hot Encoding (원-핫 인코딩) One-Hot 인코딩은 컴퓨터가 이해할 수 있도록 범주형 데이터를 이진 벡터로 변환하는 방법입니다. 이 기법은 각 범주에 해당하는 위치만 1로 표시하고, 나머지는 0으로 만듭니다.  1. One-Hot Encoding의 정의 One-Hot Encoding은 주어진 범주 중 하나를 컴퓨터가 이해할 수 있는 0과 1로 이루어진 벡터로 변환하는 방법입니다. 변환된 벡터에서 해당하는 범주만 1로 표시되고, 나머지는 모두 0이 됩니다.예시로,과일"이라는 범주에 사과, 포도, 수박이라는 범주의 값이 있다고 해봅시다.사과 → [1, 0, 0]포도 → [0, 1, 0]수박 → [0, 0, 1]이렇게 변환하면, 컴퓨터는 이진 벡터로 변환된 데이터를 처리할 수 있습니다.2. 주요 특징1) 범주별 독립적 표현 각 범주는 해.. 2024. 10. 25.
[ML][용어] Gradient Boosting Machine (GBM) Gradient Boosting Machine (GBM)은 앙상블 학습(Ensemble Learning) 기법의 하나로, 여러 개의 약한 학습기(weak learner)를 결합하여 예측 성능을 향상시키는 방법입니다. 주로 결정 트리(Decision Tree)를 사용하며, 각 트리가 순차적으로 학습됩니다. 1. GBM의 정의 GBM의 핵심 아이디어는 이전 모델의 오차(residual)를 줄이는 방향으로 새로운 모델을 학습시키는 것입니다. 이 과정에서 Gradient Descent(경사 하강법)을 사용하여, GBM은 각 반복에서 손실 함수의 기울기(gradient)를 계산하고, 다음 트리는 이 기울기를 줄이는 방향으로 학습합니다.수학적으로 정의하면 다음과 같습니다.​여기서,이 과정은 지정된 반복 횟수나 오차.. 2024. 10. 22.
[ML][용어] ReLU 함수 ReLU(Rectified Linear Unit) 함수는 입력값이 양수면 그대로 출력하고, 음수면 0으로 출력하는 활성화 함수입니다. 계산이 간단하고, 딥러닝 모델에서 비선형성을 추가하여 학습을 돕습니다. 1. ReLU 함수의 정의입력 값 x가 양수이면 그대로 출력되고, 음수이거나 0이면 0으로 출력됩니다.수학적으로 정의하면 다음과 같습니다.​여기서,입력이 양수일 때: f(x) = x입력이 음수일 때: f(x) = 0 입니다.2. 주요 특징1) 비선형성입력이 양수일 때는 선형 동작하지만, 입력이 음수일 때는 0으로 출력되므로 전체적으로는 비선형적 동작을 합니다. 따라서, 신경망이 복잡한 패턴을 학습할 수 있습니다. 2) 간단한 계산수학적으로 단순해서 계산 비용이 매우 적습니다. 따라서,  큰 규모의 네트.. 2024. 10. 15.
[ML][용어] Sigmoid 함수 시그모이드 함수(sigmoid function)는 활성화 함수 중 하나로, 이진 분류 문제에 주로 사용됩니다. 이 함수는 입력 값을 0과 1 사이의 값으로 변환하며, 신경망에 비선형성을 제공해 복잡한 패턴을 학습할 수 있게 합니다. 1. sigmoid 함수의 정의입력값에 음의 지수 함수를 적용하여 변환한 뒤, 그 값을 0과 1 사이의 값으로 압축합니다. 입력값이 양수일수록 1에 가까워지고, 음수일수록 0에 가까워지며, 출력값은 항상 0과 1 사이를 유지합니다.  수학적으로 정의하면 다음과 같습니다.​여기서,σ(x): 시그모이드 함수의 출력값.x: 입력값.e: 자연상수, 약 2.718로 알려진 오일러 수입니다.  2. 주요 특징1) 확률 계산에 유용 출력 값이 항상 0과 1 사이에 있습니다. 이 특성 덕분.. 2024. 10. 11.
반응형

티스토리툴바