본문 바로가기

전체 글267

[Neo4j] Graph Apps (Bloom, NeoDash), 알고리즘 (pagerank, community detection) P1. 기존 데이터 이식 P2. 데이터베이스 언어 (Cypher) P3. Graph Apps - Neo4j Bloom (가시화), NeoDash (Feature 트래킹) P4. graph data science - 알고리즘 (ex: pagerank, community detection) P5. Gephi와 연동, Large network 가시화 P6. Python 프로그램과 연동, 주기적 DB 업데이트 *굵게 표시한 목표는 이 글에서 다루는 내용 이번 글에서는 Neo4j 내부 GraphApps들과 알고리즘을 다뤄보겠다. Graph Apps 설치법 Graph Apps는 Neo4j Desktop 왼쪽 상단 아이콘 중 제일 아래를 누르면 확인해볼 수 있다. 기본으로 몇가지 앱이 있고, 원하는 App은 Grap.. 2021. 3. 5.
[Neo4j] 그래프를 다루는 데이터베이스 - 도입 P1. 기존 데이터 이식 P2. 데이터베이스 언어 (Cypher) P3. Graph Apps - Neo4j Bloom (가시화), NeoDash (Feature 트래킹) P4. graph data science - 알고리즘 (ex: pagerank, community detection) P5. Gephi와 연동, Large network 가시화 P6. Python 프로그램과 연동, 주기적 DB 업데이트 *굵게 표시한 목표는 이 글에서 다루는 내용 이것 저것 가지고 놀다 보니 뉴스 관련 데이터들이 한달의 기간을 넘어가면 점점 pandas나 csv로 다루는데 한계가 있다는 것을 느꼈다. 해서 그래프 데이터를 다룰 수 있는 데이터베이스 관리 시스템인 Neo4j를 배워보기로 했다. 준비 다음 사이트에서 Neo4.. 2021. 3. 5.
[뉴스 가시화] 네이버 랭킹 뉴스 키워드 네트워크 가시화 - 2월 1월 네트워크 가시화로 연습해 봤던 내용으로 2월 뉴스를 가시화. 이전 내용을 간략히 정리해보면) 1. 각 신문사에서 일별 랭킹 5의 뉴스 제목으로부터 키워드를 추출 2. 같은 제목에 있는 키워드 끼리 link 생성 3. link 정보로 부터 network 생성 4. network로부터 community 추출 5. gephi를 이용한 가시화 gephi 가시화에 몇가지 팁) 1. Filter 적은 수로 등장했던 Keyword 중에는 잘못 인식된 명사를 포함해서 의미 없는 내용이 많았다. 그래서 화면 오른쪽 Filters->Topology->Degree Range를 추가하고, Degree Range Settings의 threshold를 5로 두었다. link가 5개 이상인 node들만 가시화에 포함하겠다는 .. 2021. 3. 1.
[삶] 전채요리의 의미를 깨닫다 요즘 집에만 있는 날이 늘어나면서, 이전 처럼 삼시세끼를 먹고서는 체중유지가 되지 않는다는 것을 깨달았다. 그래서 선택한 것이, 저녁에는 쌀을 먹지 말자! 해서, 양상추, 방울토마토, 가지, 파프리카, 호박, 감자, 고구마, 삶은계란 이런걸 먹는다. 오늘도 저녁 메뉴는 양상추, 방울토마토, 삶은계란, 소세지 2개. 메뉴를 보자, 먹기도 전에 배가 고프더니, 역시나. 다 먹고 났는데도 배가 고팠다.. 허전한 마음에 정현이를 봤는데, 같은 생각인 것 같았다. 그래서 짜장범벅을 한개씩ㅋㅋㅋ 근데 놀라운 점은 그냥 보통 때 먹던 짜장범벅과는 그 맛이 달랐다. 같은 짜장범벅인데 한 3배 맛있게 느껴졌다. 깨달았다. 전채요리가 입맛을 복돋는 이유를. 전체 요리는 내 뇌가 " 이것 밖에 안 먹는다고???!! " 라는.. 2021. 2. 17.
[이것저것] 이타심의 진화 Martin A. Nowak과 Karl Sigmund의 리뷰논문 'Evolution of indirect reciprocity'를 읽고 생각을 보태 간단히 정리. 이타심이 자연적으로 진화할 수 있는 조건은 꽤나 복잡하다. 내가 누군가에게 도움을 주는 행위가 결국 나에게 유리하지 못하다면 이는 자연적으로 선택되기 힘든 전략이다. 그래서 이타심을 생각할 때는 개체 이상의 스코프에서 현상을 바라볼 필요가 있다. 개미와 벌과 같은 진 사회성 동물들은 유전자의 관점에서 이타심이 설명될 수 있다. 이들의 독특한 유전자 구조로 인해 일개미들이 번식을 포기하고 군집을 이뤄 살아가는 것은 오히려 자기복제의 욕구를 충족시키는 것으로 이해할 수 있다. 사람에게서도 비슷한 논리를 적용해볼 수 있다. 혈연 관계로 구성된 인구 .. 2021. 2. 16.
[노래] 김민기 - 봉우리 우연히 듣게 된 노래. 노래가 참 깊다. 깊은 감성에 끌리는 요즘. 1984 로스앤젤레스 올림픽 때 메달을 못 따 선수촌에도 못 남고 집으로 돌아간 선수들을 위한 다큐멘터리가 제작되었는데, 그 주제곡으로 만들어진 노래라고 한다. 2021. 2. 15.
[Human dynamics] 비주기적 신호 관련 저장소 비주기적 신호가 갖는 특징들을 소개하는 소스를 모으는 중. 1/f noise : mons1220.tistory.com/226 [이것저것] Pink noise (1/f fluctuation) 강연을 듣고.. 이생각 저생각 Pink 노이즈, 1/f 파동, 1/f 노이즈라고 불리는 신호는, 주파수에 반비례 하는 스펙트럼을 가진 신호를 나타낸다. 아주 다양한 신호에서 나타난다는 점과, 인간이 선호한다는 몇몇 연구들이 유명 mons1220.tistory.com 가장 무작위적인 음악 : www.ted.com/talks/scott_rickard_the_beautiful_math_behind_the_world_s_ugliest_music/transcript 2021. 2. 9.
[시] 향기의 실재(實在) 향기의 실재(實在) 실체(實體) 없는 향기는 의미가 없다고 향기로 부터 이어진 실체(實體)로의 욕구는 애먼 향기에 저주를 퍼붓고는 스스로 눈 멀어버린다 왜 몰랐을까 향기는 실재(實在)했으나 실체(實體)는 없었음을 2021. 1. 26.
[연습] 네이버 랭킹 뉴스 가시화 with Python & Gephi 가짜뉴스와는 별개로 현재 뉴스로 부터 키워드들을 가시화 해보는 과정을 해보고 싶어서 예제를 작성해 보았다. 목표는 네이버에서 제공하는 2021년 1월 언론사별 랭킹뉴스를 긁어와서 title로부터 주요 keyword를 추출하고, network를 구성하여 가시화 하는 것이다. 시작. 정보를 긁어올 페이지는 다음 페이지다. news.naver.com/main/ranking/popularDay.nhn?mid=etc&sid1=111 랭킹 : 네이버 뉴스 언론사별로 집계한 일간 많이 본, 댓글 많은 기사 제공 news.naver.com 네이버 랭킹뉴스에서는 몇 십개의 언론사에서 많이 본 뉴스, 댓글 많은 뉴스 별로 랭킹 5까지를 종합해서 한눈에 볼 수 있도록 정보를 제공하고 있다. 목표는 여기의 title을 긁어오.. 2021. 1. 16.