예제3 [예제] 라그랑즈 승수법을 이용한 최대 엔트로피 계산 몇일 전 라그랑즈 승수법과 최대엔트로피가 적절히 접합된 내용에 대해 생각해 볼 기회가 있어, 정리해본다. 각각의 가격이 1, 2, 3, 8인 물건이 있다. 어느 날 팔린 물건의 평균이 m일 때, 최대 엔트로피를 갖는 물건의 비율은 무엇인가? 각각의 물건이 차지하는 비율을 다음과 같이 두자. 그럼 이 때의 비율에 대한 정보 엔트로피는 다음과 같이 표현할 수 있다. 이 때의 제한 조건은 비율의 합이 1, 가격의 기대 값이 m이며, 다음과 같이 나타낼 수 있다. (v는 가격) 이제 최대엔트로피와 제한조건의 극값을 찾는 라그랑즈 미정 승수법을 적용한다. 이제 미분값을 0으로 만드는 확률을 계산하고 위의 식을 p에 대해 전개하면 다음과 같이 표현할 수 있다. 확률이 가격을 지수로 갖는 함수로 분포함을 알 수 있다.. 2018. 12. 15. [확률과정] 푸아송 과정 실전편 - 발생 시간 간격의 관점에서 이전 푸아송 과정을 설명하는 글에 이은 실전편. 푸아송 과정을 사건 발생 시간 간격의 관점에서 분석해보자. 시간 간격의 관점에서 분석하는 이유 이전 푸아송 과정 글에서 최종적으로 유도한 식은 다음과 같다 한 step(t=1)에서 λ의 기대 값을 가지는 사건이 발생할 경우, 시간 간격 t 내에 k번의 사건이 발생할 확률을 나타내는 식이다. 이처럼 사건의 발생 원인을 확실히 알고 있는 경우, 즉, 사건이 step별로 독립적이며 λ라는 기대값을 가진다는 것을 알고 있는 경우라면, 위의 식이 기대값을 도출하는데 도움이 될 수 있다. 허나, 아무것도 모르는 상태에서 이 사건이 푸아송 과정인지 살펴보기 위해서는 위의 식으로는 불편한 점이 있다. 그래서 사건이 발생한 시간 간격의 관점에서 분석하는 것이 편리하다. 이.. 2018. 10. 10. [예제] 시계열 Data로부터 Mutual Information 구하기 지난번 글에 정보 엔트로피를 공부에 이어, Mutual Information을 구하는 예제를 작성해보고자 한다. Mutual Information은 두 확률 변수의 관계를 통해 압축될 수 있는 정보량이다. 간단히 복습해보자. 확률변수 X, Y가 있을 때 Mutual Information I(X;Y)는 다음과 같다. Joint Entropy H(X,Y)는 X, Y가 독립일 때 H(X)+H(Y)의 값을 가진다. 고로, Mutual Information은 X, Y가 독립일 때보다 감소한 불확실성을 나타낸다. Mutual Information은 확률변수 X와 Y를 엮을 수 있는 모든 상황에서 사용이 가능하다. 그 중 대표적인 것은 시계열 Data이다. 시계열 문제는 "시각 t 에 측정된 측정값 x, y 값의 관.. 2018. 8. 18. 이전 1 다음
