4-2

확률적 경사 하강법(stochastic gradient descent) -> 하나의 샘플을 사용하는 것

에포크(epoch) - 훈련 세트를 한 번 모두 사용하는 과정

미니배치 경사 하강법(minibatch gradient descent) -> 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식

배치 경사 하강법(batch gradient descent) -> 극단적으로 한 번 경사로를 따라 이동하기 위해 전체 샘플을 사용하는 방식

 

손실 함수(loss function)

머신러닝 알고리즘을 측정하는 척도

<->비용 함수(cost function): 손실 함수와 거의 유사한 말이다. 굳이 나누자면 손실 함수는 샘플 하나에 대한 손실을 정의하고 비용 함수는 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합을 말한다. 

 

로지스틱 손실 함수

= 이진 크로스엔트로피 손실 함수

In 다중 분류에서는 크로스엔트로피 손실 함수를 사용한다.

 

*회귀에서는 평균 제곱 오차를 많이 사용한다.

 

에포크 & 과대/과소적합

에포크 횟수가 적다면 모델은 훈련 세트를 덜 학습하고 에포크 횟수가 많다면 모델은 훈련 세트를 완전히 학습할 것 이다. 즉 횟수가 적다면 과소적합 문제가 횟수가 많다면 과대적합 문제가 발생할 확률이 크다.

조기 종료(early stopping): 과대 적합이 시작하기 전에 훈련을 멈추는 것

 

즉 이 알고리즘을 적용할 때 SGDClassifier()의 max_iter 매개변수의 값을 조절해 훈련 세트와 테스트 세트의 점수의 차이가 가장 적게 나는 값을 찾아야 한다. 

그리고 SGDClassifier의 loss의 default value는 hinge로 힌지 손실이다.