본문 바로가기

Entropy2

[예제] 시계열 Data로부터 Transfer Entropy 구하기 정보 엔트로피를 소개하는 글에서 언급되었던 Transfer entropy. 수식과는 다르게 실제로 구하는 방법은 감이 쉽게 오지 않는다. 그래서 관련 예제를 정리해본다. 잠깐 복습을 하자면, Transfer entropy는 특정 시간의 data의 값이 이전 자신이 지녔던 값과 관련 있는지, 아니면 다른 data에 더 관련을 지니고 있는지 확률을 통해 정량화한 값이다. 더 간단히 예를 들어보자면, 두 시계열 데이터 X, Y가 있을 때, 특정 시간 t의 X의 값이 X의 이전 값보다 Y의 이전 값으로 설명이 더 잘된다면, Y의 값이 다음 time step의 X의 값에 영향을 미치고 있는 것으로 판단해 볼 수 있다. 식으로 나타내자면, 다음과 같다. X_t+1의 값이 X_t(k), 즉, 이전 X값을 k개 모아 .. 2019. 2. 19.
[개념] 정보 엔트로피와 그 친구들 엔트로피는 무질서도라고도 불리며, 불확실한 정도를 나타낸다. 엔트로피는 계가 가질 수 있는 상태의 수에 의존하며 계가 가질 수 있는 상태가 1가지 일 때 0, 즉 확실한 상태가 된다. 오늘은 엔트로피의 친구들 정보량, 엔트로피(Entropy), 결합 엔트로피(Joint Entropy), 조건부 엔트로피(Conditional Entropy), 상호 정보량(Mutual Information), Transfer Entropy들을 간단하게 정리해보려 한다. 모두 샤넌이 정의한 정보량에서 파생하는 개념으로, 얼마나 불확실한지 정량적으로 판단하는 근거를 제시한다. 정보량 N종류의 사건 (예: 맑은날, 비오는날)사건이 발생할 확률 (예: 맑은날 90%, 비오는날 10%) 단위bit (log의 밑이 2일 때)nat (.. 2018. 8. 4.