본문 바로가기

공부150

[확률] 최대 엔트로피 확률 분포 (Maximum entropy probability distribution) 최대 엔트로피 확률 분포 라고 함은 여러가지 조건 하에서 최대 엔트로피를 만족하는 분포들이다. 기존 블로그에서는 주로 볼츠만 분포를 다뤄왔다. 볼츠만 분포는 주어진 총량 속에서 최대엔트로피를 만족하는 분포이다. 볼츠만 분포는 라그랑즈 승수법을 통해 최대 엔트로피를 계산한다. 라그랑주 승수법은 제약조건이 있는 최적화 문제를 방법으로서, 라그랑주 승수법을 이용한 볼츠만 분포는 엔트로피 값에 총에너지와 총입자수를 더한 값의 미분값이 0이 되는 지점을 찾음으로서 구해진다. 여기선 제한조건이 총에너지와 총입자수 인 것이다.(참고: http://joonyoungsun.tistory.com/entry/Boltzmann-%EB%B6%84%ED%8F%AC%EC%8B%9D-Boltzmann-Distribution) 지금까.. 2017. 7. 24.
[진화론] 유전자 관점에서 바라본 일개미들의 희생 현재 우리들이 바라보기에, 생명체가 가지는 가장 공통적이고 강한 성질은 "자기 복제"일 것이다. 극단적으로 보자면, 생명활동이란 자원을 획득, 자기복제를 반복하는 과정의 반복 처럼 보여지기도 한다. 이에, 예전부터 반대되어진 내용은 일개미들의 자기 희생이다. 일개미들은 암컷이다. 심지어 알을 낳을 수 있다. 그런데, 알을 낳지 않고, 집에서 엄마가 난 알들을 돌보고, 자매들과 함께 집에서 평생을 살아간다. 이렇게, 자기자신을 번식시키려 하지 않는 희생에 대해 어떻게 생각할 것인가? 라는 점은 큰 논란거리였다고 한다. 근래에 와서 이 또한 사실은 자기복제의 관점에서 바라봐질 수 있다고 설명되어졌다. 다음 그림을 참고해서 생각해보자. 빨갛게 동그라미 친 주인공 일개미는 새로 번식을 하러 떠날지, 아니면 여왕.. 2017. 7. 1.
[공학] 칼만필터 칼만필터를 간략히 정리해본다. 칼만필터에는 분산(행렬일 경우 공분산) 개념이 사용되어, 어떻게 증명되었는지 알 수 없게 만드는데,사실 분산은 해석용이고, 증명은 실제 계를 거쳐 나오는 실측값을 관찰한 관측치와 모델로 부터 추정되는 추정치의 최소자승법의 해석학적 해를 구하는 데서 나온다고 알아두는 것이 편하다. 최소자승법의 해석학적 해는 오차의 제곱의 편미분값이 0임을 이용하는 것인데, 이 때 분산의 개념이 등장하게 되는 것이다. 최소자승법의 해로부터 구한 관측치와 추정치를 보정하는 게인은 시스템에 에러와 관측 에러의 비율로 나타나게 되는데, 시스템 에러(분산)가 클 때(시스템노이즈분산이 클 때)는 관측치의 값을 더 이용하고, 시스템 에러(분산)가 작을 때(시스템노이즈분산이 작을 때)는 추정치의 값을 더 .. 2017. 6. 20.
[물리] 엔트로피에 대하여 그 의미가 모호해서 착각하기 쉬운 엔트로피에 대해 알아보려고 한다.엔트로피는 주로, "계가 가질 수 있는 상태의 수"로 표현된다. 다음은 엔트로피를 설명하는 간단한 예 중 하나이다.왼쪽 그림은 어떤 화가가 그린 그림이고, 오른쪽 그림은 이 그림이 픽셀로 표현되었다고 생각했을 때, 이 픽셀들을 무작위로 섞어놓은 그림이다. 먼저 일반적인 설명이다. 왼쪽 그림은 해당 픽셀이 한가지 값을 가져야만 보여질 수 있는 아주 특수한 상태이고, 오른쪽 그림은 해당 픽셀이 무작위의 값을 가질때 보여질 수 있는 상태이다.왼쪽 그림보다 오른쪽 그림이 가지는 "상태의 수가 크고", 더 "무질서" 함을 보여주며, 이는 "엔트로피가 크다"는 것을 나타낸다. 자, 여기서 이상한 점을 발견할 수 있다. 만약 오른쪽 그림을 "한가지 상.. 2017. 5. 28.
[고찰] 이항분류와 다항분류에 대하여 오늘은 이항분류와 다항분류에 대해 살펴보려고 한다. 먼저 이항분류 라고 하는 것을 살펴보자.데이터 집단에 선을 하나 쫘악~그어서, 그 선을 기준으로, 데이터의 종류를 나누게 되는데, 주로 시그모이드 함수가 사용된다. 왼쪽 그림이 이항분류를 하게 될 데이터 집단(동그라미 집단, 세모 집단)이고, 오른쪽 그림이 시그모이드 함수를 나타낸다. 현재 예로 든 그림은 이차원이므로, 데이터 위치 표현을 위해 2개의 값을 필요로 한다. 이 2개의 값을 각각 (x1, x2)라고 하면, 중간의 분류 선은 f(x1, x2) = 0 으로 나타낼 수 있으며, 이 선에서 멀어질 수록 f(x1, x2) 값의 절대치는 증가 하게된다. 여기서 f(x1, x2) 값을 시그모이드 함수에 대입하게 되면, 선에서 좌측으로 무한이 멀어지면, .. 2017. 5. 26.
[고찰] mini batch 뉴럴 네트워크에서 퍼셉트론간 연결 가중치를 재조정하기 위한 방법으로 역전파 알고리즘이 사용된다. 오차함수를 설정하여 각 연결간의 가중치가 오차에 얼마나 영향을 미치는지를 편미분을 통해 계산하여, 그만큼씩 재조정해 나가는 경사하강법을 이용한 알고리즘이다. 이 과정은 각 퍼셉트론간의 연결이 적합해질 때까지 진행되게 되는데, 이과정을 트레이닝(지도) 라고 하고, 이때 사용되는 데이터를 트레이닝 데이터 라고 한다. 갖고 있는 트레이닝 데이터를 전부 이용하여 경사하강법을 적용할 경우, 갖고있는 데이터에서 오차를 최소한으로 줄일 수 있는 방향으로 연결의 가중치들이 재조정 되게 되는데, 이는 두가지 문제가 있다. 1) 계산부하가 크다. (특히, Input값이 많을 수록. 예: 그림파일의 경우 [픽셀 값 만큼의 배열 .. 2017. 5. 22.

티스토리툴바