손실함수야 왜 1/2를 곱하는거니

경사 하강법: 어떤 손실 함수가 정의되었을 때, 손실 함수의 값이 최소가 되는 지점을 찾아가는 방법입니다.

 

<손실함수기법>

SSE 오차제곱합 : 1/2 * sum_k ( 실제y_k - 예측y_k )^2

-1/2가 왜 곱해졌을까? : 델타규칙 때문임.

 

->최적의 가중치를 찾아가는 최적화(Optimizer)에서 사용되는 경사하강법은 기울기를 기반으로 실시되며
이 과정에서 발생할 수 있는 오류를 최소화 하기 위해 1/2를 곱하는 것이다.

what is 델타규칙 ? : 단층 신경망 학습에서 가중치를 체계적으로 변경하는 방법

 

어떤 입력 노드가 출력 노드의 오차에 기여했다면, 두 노드의 연결 가중치는 해당 입력 노드의 출력과 출력 노드의 오차에 비례해 조절한다.

 

'가중치의 변화량' : W_ij = 학습률 * ( 타겟 출력 - 실제 출력 ) * 기울기 * x_i

-위키피디아-

 

수식에서 12은 convention으로서 일반적으로 사용되는 값입니다. 해당 값을 사용하는 이유는 MSE를 미분했을 때 제곱 역할을 하는 지수가 전체 식에 상수 2로서 곱해지기 때문에 12을 곱하여 이를 제거하기 위함입니다. 논문이나 다른 문헌에서 이 12이 없더라도 문제는 없으니 이상하게 생각하실 필요는 없습니다. 그저 Convention이기 때문입니다.

출처: https://heytech.tistory.com/362