[개념] 정보 엔트로피와 그 친구들
엔트로피는 무질서도라고도 불리며, 불확실한 정도를 나타낸다. 엔트로피는 계가 가질 수 있는 상태의 수에 의존하며 계가 가질 수 있는 상태가 1가지 일 때 0, 즉 확실한 상태가 된다. 오늘은 엔트로피의 친구들 정보량, 엔트로피(Entropy), 결합 엔트로피(Joint Entropy), 조건부 엔트로피(Conditional Entropy), 상호 정보량(Mutual Information), Transfer Entropy들을 간단하게 정리해보려 한다. 모두 샤넌이 정의한 정보량에서 파생하는 개념으로, 얼마나 불확실한지 정량적으로 판단하는 근거를 제시한다. 정보량 N종류의 사건 (예: 맑은날, 비오는날)사건이 발생할 확률 (예: 맑은날 90%, 비오는날 10%) 단위bit (log의 밑이 2일 때)nat (..
2018. 8. 4.
단축키
내 블로그
| 내 블로그 - 관리자 홈 전환 |
Q
Q
|
| 새 글 쓰기 |
W
W
|
블로그 게시글
| 글 수정 (권한 있는 경우) |
E
E
|
| 댓글 영역으로 이동 |
C
C
|
모든 영역
| 이 페이지의 URL 복사 |
S
S
|
| 맨 위로 이동 |
T
T
|
| 티스토리 홈 이동 |
H
H
|
| 단축키 안내 |
Shift + /
⇧ + /
|
* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.