본문 바로가기

공부150

[논문소개] anti-preferential attachment로 부터 창발하는 동류성과 leadership Preferential attachment는 degree distribution에서 scale-free의 성질을 형성한다. 다만, 오로지 degree에 대한 preferential 만을 반영하므로, topology에는 관여하지 않는다. 이런 측면에서 preferential attachment는 topology를 제외한 0차 근사로 볼 수 있다. 네트워크에서 주로 보는 topology로는 clustering, degree assortativity, core-periphery 구조, community 구조 등이 있다. clustering과 degree assortativity는 보통 macro-scale의 관점을 갖는 것이 일반적이지만, 각각 local scale에서 보는 방법들이 고안되어있다. 한편, co.. 2021. 5. 21.
[TED] Poverty isn't a lack of character. it's a lack of cash. 최근 뤼트허르 브레흐만의 책 '휴먼카인드'를 읽고 있다. 내용도 번역도 훌륭해서 술술 읽히는 책이다. 읽다보니 문득 작가의 강연을 들어보고 싶다는 생각이 들어 찾아보았다. 아니나 다를까 TED에서 강연한 영상이 있었다. 강렬한 강연이었다. 밑에 내용을 정리해본다. 가난은 지적 능력에 영향을 준다. 일년 수당을 수확기에 몰아 받는 농부들의 IQ는 수당을 받기 전 보다 받은 후에 평균 14점이 높다. 가난은 생존과 직결한 문제다. 배가 고프다는 것은 당장 먹어야 할 것을 찾아야 한다는 것을 뜻한다. 이런 상황에서 장기적인 시각은 설 자리가 없다. 이런 상황에서 사람은 현명한 결정을 내리기 힘들다. 가난한 사람이 잘못된 결정을 내리는 것이 아니라, 가난이 잘못된 결정을 내리게 만든다. 교육과 같은 수많은 빈곤.. 2021. 5. 6.
[네트워크이론] 네트워크 중심성 - link를 통해 전달되는 것들 다양한 네트워크 중심성 중 "link를 통한 전달되는 것들"의 관점에서 정의할 수 있는 중심성들에 대해서 정리해 보았다. Degree centrality - 연결 중심성 연결중심성은 쉽게 말하면 이웃 node의 개수이지만 굳이 더 의미를 찾아보자면, 네트워크 상에서 임의로 움직이는 행위자가 한 node에 머물 확률이기도 하다. 더보기 네트워크 상에서 random walk 행위자가 시점 t에서 각 node에 있을 확률을 벡터로 나타내어 p(t)라고 했을 때, 그 다음 스탭의 확률은 다음과 같다 $\mathbf{p}(t+1) = \mathbf{A} \mathbf{D} ^{-1} \mathbf{p}(t) $ 여기서 A는 인접행렬, D는 degree를 주대각성분으로 갖는 행렬이다. 인접행렬은 한 node로 부터.. 2021. 4. 3.
[메타 언론 플랫폼] 전반적인 계획 (+ Github pages 호스팅 예제) 기존 뉴스 플랫폼의 시간 순(list type), 랭킹 순(Highlight type)의 한계를 넘어, 다양한 뉴스들로의 접근성을 높이기 위한 방안으로 network type의 도입이 적절하지 않을까 하는 동기에서 작은 프로젝트를 생각 중이다. 이를 위해 서는 뉴스를 크롤링하고, 가시화 하기 위한 알고리즘을 거쳐, 우리가 접할 수 있는 형태의 플랫폼으로 제공할 필요가 있다. 쉽게 말하면 자동화된 메타 언론 플랫폼을 만드는 것이 목표다. 지금까지는 주로 크롤링과 가시화 알고리즘에 대한 기반을 공부 해 왔는데, 동시에 이를 배포할 수 있는 방법에 대한 공부도 필요하다. 웹이나 앱에 대해 전혀 모르기 때문에, 힘든 여정이 될 것 같다. 대략 생각하는 공부내용은 다음과 같다. -백엔드 Neo4j, python .. 2021. 3. 24.
[Neo4j] Gephi와 연동, large network 가시화 P1. 기존 데이터 이식 P2. 데이터베이스 언어 (Cypher) P3. Graph Apps - Neo4j Bloom (가시화), NeoDash (Feature 트래킹) P4. graph data science - 알고리즘 (ex: pagerank, community detection) P5. Gephi와 연동, Large network 가시화 P6. Python 프로그램과 연동, 주기적 DB 업데이트 *굵게 표시한 목표는 이 글에서 다루는 내용 오늘 글의 목표는 1. Gephi에서 Data를 받는 Server를 열고, 2. Neo4j DBMS에서 Gephi로 network data를 스트리밍해주는 것 이다. Gephi는 Neo4j APP에서는 다룰 수 없는 아주 큰 network를 가시화 하기 위해 필.. 2021. 3. 5.
[Neo4j] Graph Apps (Bloom, NeoDash), 알고리즘 (pagerank, community detection) P1. 기존 데이터 이식 P2. 데이터베이스 언어 (Cypher) P3. Graph Apps - Neo4j Bloom (가시화), NeoDash (Feature 트래킹) P4. graph data science - 알고리즘 (ex: pagerank, community detection) P5. Gephi와 연동, Large network 가시화 P6. Python 프로그램과 연동, 주기적 DB 업데이트 *굵게 표시한 목표는 이 글에서 다루는 내용 이번 글에서는 Neo4j 내부 GraphApps들과 알고리즘을 다뤄보겠다. Graph Apps 설치법 Graph Apps는 Neo4j Desktop 왼쪽 상단 아이콘 중 제일 아래를 누르면 확인해볼 수 있다. 기본으로 몇가지 앱이 있고, 원하는 App은 Grap.. 2021. 3. 5.
[Neo4j] 그래프를 다루는 데이터베이스 - 도입 P1. 기존 데이터 이식 P2. 데이터베이스 언어 (Cypher) P3. Graph Apps - Neo4j Bloom (가시화), NeoDash (Feature 트래킹) P4. graph data science - 알고리즘 (ex: pagerank, community detection) P5. Gephi와 연동, Large network 가시화 P6. Python 프로그램과 연동, 주기적 DB 업데이트 *굵게 표시한 목표는 이 글에서 다루는 내용 이것 저것 가지고 놀다 보니 뉴스 관련 데이터들이 한달의 기간을 넘어가면 점점 pandas나 csv로 다루는데 한계가 있다는 것을 느꼈다. 해서 그래프 데이터를 다룰 수 있는 데이터베이스 관리 시스템인 Neo4j를 배워보기로 했다. 준비 다음 사이트에서 Neo4.. 2021. 3. 5.
[뉴스 가시화] 네이버 랭킹 뉴스 키워드 네트워크 가시화 - 2월 1월 네트워크 가시화로 연습해 봤던 내용으로 2월 뉴스를 가시화. 이전 내용을 간략히 정리해보면) 1. 각 신문사에서 일별 랭킹 5의 뉴스 제목으로부터 키워드를 추출 2. 같은 제목에 있는 키워드 끼리 link 생성 3. link 정보로 부터 network 생성 4. network로부터 community 추출 5. gephi를 이용한 가시화 gephi 가시화에 몇가지 팁) 1. Filter 적은 수로 등장했던 Keyword 중에는 잘못 인식된 명사를 포함해서 의미 없는 내용이 많았다. 그래서 화면 오른쪽 Filters->Topology->Degree Range를 추가하고, Degree Range Settings의 threshold를 5로 두었다. link가 5개 이상인 node들만 가시화에 포함하겠다는 .. 2021. 3. 1.
[이것저것] 이타심의 진화 Martin A. Nowak과 Karl Sigmund의 리뷰논문 'Evolution of indirect reciprocity'를 읽고 생각을 보태 간단히 정리. 이타심이 자연적으로 진화할 수 있는 조건은 꽤나 복잡하다. 내가 누군가에게 도움을 주는 행위가 결국 나에게 유리하지 못하다면 이는 자연적으로 선택되기 힘든 전략이다. 그래서 이타심을 생각할 때는 개체 이상의 스코프에서 현상을 바라볼 필요가 있다. 개미와 벌과 같은 진 사회성 동물들은 유전자의 관점에서 이타심이 설명될 수 있다. 이들의 독특한 유전자 구조로 인해 일개미들이 번식을 포기하고 군집을 이뤄 살아가는 것은 오히려 자기복제의 욕구를 충족시키는 것으로 이해할 수 있다. 사람에게서도 비슷한 논리를 적용해볼 수 있다. 혈연 관계로 구성된 인구 .. 2021. 2. 16.

티스토리툴바