본문 바로가기

mutual information3

[예제] 시계열 Data로부터 Mutual Information 구하기 지난번 글에 정보 엔트로피를 공부에 이어, Mutual Information을 구하는 예제를 작성해보고자 한다. Mutual Information은 두 확률 변수의 관계를 통해 압축될 수 있는 정보량이다. 간단히 복습해보자. 확률변수 X, Y가 있을 때 Mutual Information I(X;Y)는 다음과 같다. Joint Entropy H(X,Y)는 X, Y가 독립일 때 H(X)+H(Y)의 값을 가진다. 고로, Mutual Information은 X, Y가 독립일 때보다 감소한 불확실성을 나타낸다. Mutual Information은 확률변수 X와 Y를 엮을 수 있는 모든 상황에서 사용이 가능하다. 그 중 대표적인 것은 시계열 Data이다. 시계열 문제는 "시각 t 에 측정된 측정값 x, y 값의 관.. 2018. 8. 18.
[개념] 정보 엔트로피와 그 친구들 엔트로피는 무질서도라고도 불리며, 불확실한 정도를 나타낸다. 엔트로피는 계가 가질 수 있는 상태의 수에 의존하며 계가 가질 수 있는 상태가 1가지 일 때 0, 즉 확실한 상태가 된다. 오늘은 엔트로피의 친구들 정보량, 엔트로피(Entropy), 결합 엔트로피(Joint Entropy), 조건부 엔트로피(Conditional Entropy), 상호 정보량(Mutual Information), Transfer Entropy들을 간단하게 정리해보려 한다. 모두 샤넌이 정의한 정보량에서 파생하는 개념으로, 얼마나 불확실한지 정량적으로 판단하는 근거를 제시한다. 정보량 N종류의 사건 (예: 맑은날, 비오는날)사건이 발생할 확률 (예: 맑은날 90%, 비오는날 10%) 단위bit (log의 밑이 2일 때)nat (.. 2018. 8. 4.
[논문소개] Predictability of Conversation Partners 오늘 소개할 논문은 "Predictability of Conversation Partners, 대화 상대의 예측 가능성" 이다. 회사 직원들에게 웨어러블 센서를 제공하고, 그로부터 취득한 대화 정보를 이용해서 현재 대화 상대가 다음 대화 상대에 얼마나 많은 영향을 주는지 조사한 논문이다. 저자는 Taro Takaguchi, Mitsuhiro Nakamura, Nobuo Sato, Kazuo Yano, Naoki Masuda이다. Naoki Masuda 선생님은 "복잡 네트워크의 과학"이라는 일본에서는 복잡 네트워크의 입문서로 유명한 책의 저자이다. 그래서 그런지 논문에서도 다양한 방식의 분석이 이뤄져 있는데, 그 의미와 통찰력에 대해 배울 수 있는 논문이었다. 이 논문에서는 대화 상대의 예측 가능성을 평.. 2018. 2. 6.

티스토리툴바