엔트로피

엔트로피의 정의

불확실성을 나타내는 값

엔트로피

 

---

예제 1

동전을 던져

앞면이 나올 확률 : p

뒷면이 나올 확률 : 1-p

이때의 엔트로피 값은

p= 1/2 일 때, H(X) = 1

 

p= 1 일 때, H(x) = 0

무조건 앞면이 나온다는 뜻이므로

불확실성이 없다는 뜻!

---

예제 2

a, b, c, d가 적힌 카드 4장을 들고 있다

그 확률이다

엔트로피

기댓값

a 들고 있니? (질문 개수 : 1)

b 들고 있니? (질문 갯수 : 2)

c 들고 있니? or d 들고 있니? (질문 개수:  3)

엔트로피 = 기댓값

이유는 나중에 배운다는뎀..

---

 

p가 0, 1일 때, 즉 동전이 무조건 앞면 또는 뒷면이 나올 때,

불확실성(엔트로피) 값은 0이다

p가 1/2일 때, 불확실성(엔트로피) 값은 가장 커진다.

 

균등 분포일 때 엔트로피 값은 최대(1)가 된다.

 

---

조건부 엔트로피

조건부 엔트로피

---

예제 1

---

mutual information 

'

---

예제 1

불확실성이 7/4 에서 Y를 앎으로 인해서 11/8로 줄어듦

Y가 X에대해 지닌 정보량이 3/8

---

 

---

relative entropy

cross entropy

머신러닝에서는 relative, cross entropy 별 차이없다.

두 확률 분포가 얼마나 가깝냐 머냐를 말함