본문 바로가기

엔트로피5

[Physics] 거시 세계의 양자물리 - 엔트로피 증가에 대한 미시세계와 거시세계의 연결점 카오스 사이언스에서 이필진 교수님의 강연 '거시 세계의 양자물리: 온 세상이 떨고 있다'를 봤다. 이전 강연도 그렇지만, 긴 강연 내용을 집요하게 하나의 축으로 이끌어 나가신다는 인상을 받는다. 그래서 심도 있는 내용을 다룸에도 불구 하고, 재미있고 더 알아보고 싶게 만드는 강연을 하신다. 강의는 온 세상이 떨고 있는 양자 파동으로 이뤄져 있으며, 그래야 설명할 수 있는 거시 세계의 현상들을 설명한다. 양자 파동을 다루는 과학인 양자장론은, 레이저가 직선으로 나아가는 이유를 같은 양자 상태에 중첩될 수 있는 광자를 통해, 파울리의 배타원리를 같은 양자 상태에 중첩될 수 없는 전자를 통해 설명한다. 여기서, 파울리의 배타원리가 거시 세계에 있어 중요한 이유가 있다. 양전하와 음전하의 가장 안정된 에너지는 .. 2021. 6. 25.
[예제] 라그랑즈 승수법을 이용한 최대 엔트로피 계산 몇일 전 라그랑즈 승수법과 최대엔트로피가 적절히 접합된 내용에 대해 생각해 볼 기회가 있어, 정리해본다. 각각의 가격이 1, 2, 3, 8인 물건이 있다. 어느 날 팔린 물건의 평균이 m일 때, 최대 엔트로피를 갖는 물건의 비율은 무엇인가? 각각의 물건이 차지하는 비율을 다음과 같이 두자. 그럼 이 때의 비율에 대한 정보 엔트로피는 다음과 같이 표현할 수 있다. 이 때의 제한 조건은 비율의 합이 1, 가격의 기대 값이 m이며, 다음과 같이 나타낼 수 있다. (v는 가격) 이제 최대엔트로피와 제한조건의 극값을 찾는 라그랑즈 미정 승수법을 적용한다. 이제 미분값을 0으로 만드는 확률을 계산하고 위의 식을 p에 대해 전개하면 다음과 같이 표현할 수 있다. 확률이 가격을 지수로 갖는 함수로 분포함을 알 수 있다.. 2018. 12. 15.
[개념] 정보 엔트로피와 그 친구들 엔트로피는 무질서도라고도 불리며, 불확실한 정도를 나타낸다. 엔트로피는 계가 가질 수 있는 상태의 수에 의존하며 계가 가질 수 있는 상태가 1가지 일 때 0, 즉 확실한 상태가 된다. 오늘은 엔트로피의 친구들 정보량, 엔트로피(Entropy), 결합 엔트로피(Joint Entropy), 조건부 엔트로피(Conditional Entropy), 상호 정보량(Mutual Information), Transfer Entropy들을 간단하게 정리해보려 한다. 모두 샤넌이 정의한 정보량에서 파생하는 개념으로, 얼마나 불확실한지 정량적으로 판단하는 근거를 제시한다. 정보량 N종류의 사건 (예: 맑은날, 비오는날)사건이 발생할 확률 (예: 맑은날 90%, 비오는날 10%) 단위bit (log의 밑이 2일 때)nat (.. 2018. 8. 4.
[생각] 정보와 의외성 그리고 무질서도 정보이론 에서는 정보가 지니는 "의외성"에 점수를 매기어 정보의 양을 정량화 한다. 뻔한 결론이 나는 사건은 낮은 점수를, 뻔하지 않은 예측하기 힘든 사건은 높은 점수가 매겨진다. 예를 들어 6면의 주사위를 던진다고 해보자. 모든 면에 1이 적힌 주사위를 던지면 1이 나올 것이 뻔하니 이 사건에 대한 정보량은 낮다. 반면, 각 면에 1부터 6까지 적혀 있는 주사위라면 1부터 6까지 어떤 숫자가 나올지 뻔하지 않으므로 정보량은 높다. 이렇게 "의외성"을 정량화 함으로써 그동안 애매모호한 관념이었던 "정보"는 과학의 세상에 들어오게 된다. "의외성"은 얼마나 질서가 없는지를 나타내는 척도이기도 하다. 질서가 없다는 것은 예측하기 힘들다는 것을 의미한다. 그래서 그럴까 정보이론에서는 정보의 양을 물리학에서 무.. 2018. 2. 11.
[논문소개] Predictability of Conversation Partners 오늘 소개할 논문은 "Predictability of Conversation Partners, 대화 상대의 예측 가능성" 이다. 회사 직원들에게 웨어러블 센서를 제공하고, 그로부터 취득한 대화 정보를 이용해서 현재 대화 상대가 다음 대화 상대에 얼마나 많은 영향을 주는지 조사한 논문이다. 저자는 Taro Takaguchi, Mitsuhiro Nakamura, Nobuo Sato, Kazuo Yano, Naoki Masuda이다. Naoki Masuda 선생님은 "복잡 네트워크의 과학"이라는 일본에서는 복잡 네트워크의 입문서로 유명한 책의 저자이다. 그래서 그런지 논문에서도 다양한 방식의 분석이 이뤄져 있는데, 그 의미와 통찰력에 대해 배울 수 있는 논문이었다. 이 논문에서는 대화 상대의 예측 가능성을 평.. 2018. 2. 6.

티스토리툴바