교차 엔트로피(Cross Entropy)

엔트로피 : 내가 코딩을 짧게 만들어도 사람들이 다 알아먹었으면 좋겠어! 

그럼 자주 쓰는 변수는 짧은 비트 사용하고, 자주 안쓰는 변수를 긴 비트로 코딩하면 되겠네 ! 

교차 엔트로피 : 제일 좋은 경우가 있는데 굳이 딴 경우를 써서 좀 더 힘들게 코딩

KL-divergence : 교차엔트로피 - 엔트로피

Mutual Infomation : 원래는 p(x,y) 로 한거의 평균을 구해야하는데, x 와 y가 독립이라고 생각하고 코딩함. 

 

 

이해한게 너무 감동적이라 정리함.

유튜브 대박이야... 😭😂

혁펜하임 너무 잘가르쳐...😭😍