[확률] 최대 엔트로피 확률 분포 (Maximum entropy probability distribution)

 최대 엔트로피 확률 분포 라고 함은 여러가지 조건 하에서 최대 엔트로피를 만족하는 분포들이다. 기존 블로그에서는 주로 볼츠만 분포를 다뤄왔다. 볼츠만 분포는 주어진 총량 속에서 최대엔트로피를 만족하는 분포이다.

 볼츠만 분포는 라그랑즈 승수법을 통해 최대 엔트로피를 계산한다. 라그랑주 승수법은 제약조건이 있는 최적화 문제를 방법으로서, 라그랑주 승수법을 이용한 볼츠만 분포는 엔트로피 값에 총에너지와 총입자수를 더한 값의 미분값이 0이 되는 지점을 찾음으로서 구해진다. 여기선 제한조건이 총에너지와 총입자수 인 것이다.

(참고: http://joonyoungsun.tistory.com/entry/Boltzmann-%EB%B6%84%ED%8F%AC%EC%8B%9D-Boltzmann-Distribution)

 지금까지 정규분포는 이항분포에서 시행횟수가 증가하면 할수록 근사하는 분포라고 알고 있었는데, 최대 엔트로피 관점에서 유도될 수 있다는 사실을 알았다. 정규분포는 제한조건에 총량, 평균, 분산값이 들어갔을 때 최대엔트로피를 나타내는 분포라고 한다. 연속이 아닌 이산분포에서 최대엔트로피는 평균값이라고 한다. 정보이론에서 모든 사건이 평균적인 확률을 지닐 때 가장 엔트로피가 높게 나타나는 것이 이에 해당한다고 한다.

(참고: http://norman3.github.io/prml/docs/chapter01/6.html)

 이와 마찬가지로 여러가지 제한조건에서 최대엔트로피를 만족하는 분포에 대해 연구되어진다고 한다. 

(참고: https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution)

 지금까지 Boltzmann-Maxwell 분포와 엔트로피의 관점에만 집중했었는데, 다양한 제한조건에 따른 분포에 대해 생각해 볼 수 있을 것 같다.