Neural Network 개념정리

선형 분류와 Bias Vector

1. 선형 분류(Linear Classification)

• 정의: linear classifier에서 bias vector(b) 값은 데이터 셋이 편향되었을 때 사용되는 상수 항을 의미합니다. 선형 분류는 데이터를 특정 기준으로 나누기 위해 선형 결정 경계(직선 또는 초평면)를 사용하는 분류 방법입니다. 주로 Logistic Regression, Support Vector Machine(SVM) 등이 대표적입니다.

• 모델 수식: 선형 분류 모델

  $y = \mathbf{W} \cdot \mathbf{X} + \mathbf{b}$

  여기서 $\mathbf{W}$는 가중치 벡터, $\mathbf{X}$는 입력 데이터 벡터,$\mathbf{b}$는 bias 벡터입니다.

2. Bias Vector

• 역할: Bias는 모델의 출력에 일정한 오프셋을 추가하는 역할을 합니다. 이는 데이터를 특정 방향으로 이동시키며, 모델이 데이터를 더 잘 맞출 수 있도록 돕습니다.
• 오답노트: Bias vector가 데이터와 라벨 사이의 숨겨진 관계를 나타낸다는 설명은 잘못된 것입니다. 실제로, bias는 단순히 결정 경계가 지나가는 위치를 조정하는 역할을 합니다. 숨겨진 관계는 가중치 $\mathbf{W}$에 의해 주로 표현됩니다.

Logistic Regression과 Neural Network

1. Logistic Regression

• 정의: Logistic Regression은 이진 분류 문제를 해결하기 위한 통계적 모델입니다. 선형 모델을 사용하여 데이터를 분류하고, sigmoid 함수를 통해 이진 클래스에 대한 확률을 출력합니다.

  $p(y=1|\mathbf{X}) = \sigma(\mathbf{W} \cdot \mathbf{X} + \mathbf{b})$

  여기서 $\sigma(z) = \frac{1}{1 + e^{-z}}$는 sigmoid 함수입니다.

• 특징: Logistic Regression은 선형 분류기이며, 출력이 0과 1 사이의 확률로 해석됩니다.

2. Logistic Regression과 Neural Network

• 특별한 경우: Logistic Regression은 신경망의 매우 단순한 형태로 볼 수 있습니다. 신경망은 일반적으로 여러 개의 뉴런(가중치와 bias를 포함)과 비선형 활성화 함수를 가진 레이어들로 구성됩니다. Logistic Regression은 단일 뉴런과 sigmoid 활성화 함수를 사용하는 단일 레이어 신경망입니다.

• 구조: Logistic Regression

  • 입력층(Input Layer): 특징 벡터 $\mathbf{X}$
  • 출력층(Output Layer): sigmoid 함수가 적용된 단일 출력 뉴런