교차엔트로피

엔트로피

자기정보

• A: 사건

엔트로피

엔트로피

• 엔트로피의 활용
  • 평균비트수를 표현
  • 데이터 압축에 사용 가능
• 4가지 정보를 표현하는데 필요한 비트수
  • 일반적으로 2비트
• i(X)를 활용하는 경우
  • 평균비트수

엔트로피 특징

교차 엔트로피

확률분포 P와 Q

확률분포 P와 Q

분류 문제에서의 손실함수

분류문제

• 주어진 대상이 A인지 아닌지를 판단
• 주어진 대상이 A, B, C중 어느것 인지를 판단

기계학습에서는 주어진 대상이 각 그룹에 속할 확률을 제공

• 정답과 얼마나 다른지 측정하기 위해 사용

분류문제에서의 손실함수

• P와 Q가 얼마나 다른지 척도가 필요
  • 제곱합
    • 확률이 다를수록 큰 값을 가짐
    • 학습속도가 느림
  • 교차 엔트로피 H(P,Q)
    • 확률이 다를수록 큰 값을 가짐
    • 학습속도가 빠름