본문 바로가기

분류 전체보기269

[공학] 칼만필터 칼만필터를 간략히 정리해본다. 칼만필터에는 분산(행렬일 경우 공분산) 개념이 사용되어, 어떻게 증명되었는지 알 수 없게 만드는데,사실 분산은 해석용이고, 증명은 실제 계를 거쳐 나오는 실측값을 관찰한 관측치와 모델로 부터 추정되는 추정치의 최소자승법의 해석학적 해를 구하는 데서 나온다고 알아두는 것이 편하다. 최소자승법의 해석학적 해는 오차의 제곱의 편미분값이 0임을 이용하는 것인데, 이 때 분산의 개념이 등장하게 되는 것이다. 최소자승법의 해로부터 구한 관측치와 추정치를 보정하는 게인은 시스템에 에러와 관측 에러의 비율로 나타나게 되는데, 시스템 에러(분산)가 클 때(시스템노이즈분산이 클 때)는 관측치의 값을 더 이용하고, 시스템 에러(분산)가 작을 때(시스템노이즈분산이 작을 때)는 추정치의 값을 더 .. 2017. 6. 20.
[물리] 질량에 대하여 여러 교양 수준의 상대성 이론을 접하고, 질량 에너지 등가 법칙에 대한 설명을 읽어보고, 느꼈던 점은 이게 무슨 말이지? 였다. 질량이 에너지랑 같다니... 그럼 에너지가 높은 상태는 높은 질량을 가진다는 것인가?핵분열 시, 질량 손실에 의해 거대한 에너지가 발생한다는 것은 알고 있었지만, 일상생활에서 생각하는 "에너지" 수준도 질량에 영향을 줄 수 있을까? 하는 의문이 들기 시작했다. 그러던 중, "E=mc²를 탄생시킨 발상은 무엇이었을까?" 라는 인저리타임 우주관 오디세이에 기재된 조송현님의 글을 읽게 되었다.(http://www.injurytime.kr/archives/3927)질량은 에너지고, 에너지는 질량이다. 라는 발견 과정과 내용에 대해 직관적으로 잘 설명되어있는 글이다. 그 중 "또 E=m.. 2017. 5. 28.
[물리] 엔트로피에 대하여 그 의미가 모호해서 착각하기 쉬운 엔트로피에 대해 알아보려고 한다.엔트로피는 주로, "계가 가질 수 있는 상태의 수"로 표현된다. 다음은 엔트로피를 설명하는 간단한 예 중 하나이다.왼쪽 그림은 어떤 화가가 그린 그림이고, 오른쪽 그림은 이 그림이 픽셀로 표현되었다고 생각했을 때, 이 픽셀들을 무작위로 섞어놓은 그림이다. 먼저 일반적인 설명이다. 왼쪽 그림은 해당 픽셀이 한가지 값을 가져야만 보여질 수 있는 아주 특수한 상태이고, 오른쪽 그림은 해당 픽셀이 무작위의 값을 가질때 보여질 수 있는 상태이다.왼쪽 그림보다 오른쪽 그림이 가지는 "상태의 수가 크고", 더 "무질서" 함을 보여주며, 이는 "엔트로피가 크다"는 것을 나타낸다. 자, 여기서 이상한 점을 발견할 수 있다. 만약 오른쪽 그림을 "한가지 상.. 2017. 5. 28.
[책소개] 데이터의 보이지 않는 손 오늘 소개할 책은 '데이터의 보이지 않는 손' 이라는 책이다. (2019.8.14 수정) 데이터의 보이지 않는 손. 아담 스미스의 '보이지 않는 손'의 패러디 같은 느낌이다. 내가 알기론 아담 스미스의 보이지 않는 손은 자유로운 경쟁을 통해 사회는 부유해진다는 뜻이다. 그럼 데이터의 보이지 않는 손이란 무엇을 이야기 하고 싶은걸까? 이 책의 저자는 인간에게서 데이터를 취득한다. 스마트 밴드로, 목걸이형 스트랩, 설문 등등.. 그리고, 인간의 행동들에서 어떠한 "패턴"들을 발견해낸다. 인간의 데이터에서 보이는 이 패턴은, "자유 의지"로 설명되던 예측 불가능한 인간의 행동이 어쩌면 예측이 가능하며 그 안에서 행동 원리를 찾아볼 수 있을 것이라는 가능성을 시사한다. 책은 다음과 같이 구성되어 있다. 1장. .. 2017. 5. 27.
[고찰] 이항분류와 다항분류에 대하여 오늘은 이항분류와 다항분류에 대해 살펴보려고 한다. 먼저 이항분류 라고 하는 것을 살펴보자.데이터 집단에 선을 하나 쫘악~그어서, 그 선을 기준으로, 데이터의 종류를 나누게 되는데, 주로 시그모이드 함수가 사용된다. 왼쪽 그림이 이항분류를 하게 될 데이터 집단(동그라미 집단, 세모 집단)이고, 오른쪽 그림이 시그모이드 함수를 나타낸다. 현재 예로 든 그림은 이차원이므로, 데이터 위치 표현을 위해 2개의 값을 필요로 한다. 이 2개의 값을 각각 (x1, x2)라고 하면, 중간의 분류 선은 f(x1, x2) = 0 으로 나타낼 수 있으며, 이 선에서 멀어질 수록 f(x1, x2) 값의 절대치는 증가 하게된다. 여기서 f(x1, x2) 값을 시그모이드 함수에 대입하게 되면, 선에서 좌측으로 무한이 멀어지면, .. 2017. 5. 26.
[고찰] mini batch 뉴럴 네트워크에서 퍼셉트론간 연결 가중치를 재조정하기 위한 방법으로 역전파 알고리즘이 사용된다. 오차함수를 설정하여 각 연결간의 가중치가 오차에 얼마나 영향을 미치는지를 편미분을 통해 계산하여, 그만큼씩 재조정해 나가는 경사하강법을 이용한 알고리즘이다. 이 과정은 각 퍼셉트론간의 연결이 적합해질 때까지 진행되게 되는데, 이과정을 트레이닝(지도) 라고 하고, 이때 사용되는 데이터를 트레이닝 데이터 라고 한다. 갖고 있는 트레이닝 데이터를 전부 이용하여 경사하강법을 적용할 경우, 갖고있는 데이터에서 오차를 최소한으로 줄일 수 있는 방향으로 연결의 가중치들이 재조정 되게 되는데, 이는 두가지 문제가 있다. 1) 계산부하가 크다. (특히, Input값이 많을 수록. 예: 그림파일의 경우 [픽셀 값 만큼의 배열 .. 2017. 5. 22.
[책소개] 마스터 알고리즘 이번에 소개할 책은 마스터 알고리즘(페드로 도밍고스 지음, 강형진 옮김)이라는 책이다. 인공지능의 응용과 이를 구현하기 위한 다섯개의 학파에 대해 글로 설명을 해주는 고마운 책이다. 거부감 없이, 진행되었던 연구들에 대한 개념을 정리할 수 있었다. 인공지능을 구현하고자 하는 학파를 나눠보자면 5개의 학파로 나눠질 수 있다고 한다.- 기호주의자 (Symbolists)- 연결주의자 (Connectionists)- 진화주의자 (Evolutionaries)- 베이즈주의자 (Bayesians)- 유추주의자 (Analogizers) 각각을 간단히 설명하자면, 다음과 같다. 기호주의자는 논리 규칙으로 설명할 수 있는 것들에 대한 것들을 기반으로 인공지능을 작성한다. (예: 의사 결정 트리) 연결주의자는 퍼셉트론의 연.. 2017. 5. 22.
[책소개] TensorFlowで学ぶディープラーニング入門 일본에서 구입한 "TensorFlowで学ぶディープラーニング入門(TensorFlow로 배우는 딥러닝 입문) 이라는 책을 통해, 딥러닝에 입문하겠다고 마음먹고, 공부를 진행하기로 하였다. 다음과 같은 책인데 갈매기들이 날아다니고 있다. 이 책의 궁극 목표는 TensorFlow를 이용하여 Convolutional Neural Network(CNN)을 작성하는 것이다. 초심자를 위한 입문서로서, 딥러닝 소개부터 시작하여, 텐서플로우를 이용한 최소자승법 계산을 통한 워밍업(날씨예측), 로지스틱 회귀에 의한 이항분류기(바이러스 감염자 구분), 소프트맥스 함수와 다항분류기(MNIST), 뉴럴 네트워크, 다층 뉴럴 네트워크, 컨벌루셔널 뉴럴 네트워크의 여정을 거치게 된다. 쉽게 풀이하였지만, 놓치는 내용을 최소화 하려.. 2017. 5. 22.