스크랩된 기사

flows1

공개여부
작성일: 2013.6.24

빅데이터와 복잡계 네트워크, 구글 신은 모든 것을 알고 있다

복잡계 네트워크 속에서 우리는 데이터와 네트워크에 대해 생각하며 살아가야 합니다. - 정하웅 교수

1) 어쩌면 주관적일 수 있는 강의요약

복잡계

대다수의 연구 분야에서 중요시되고 있는 복잡계. 그 분야 만큼 다양한 정의가 있지만 공통요소들만 짚어 정리하면 다음과 같다.

'다양하고 많은 수의 구성요소들이

서로 간의 상호작용에 의해서

구성요소 하나하나의 특성과는 사뭇 다른 새로운 복잡한 현상으로 나타나지만

나름대로의 질서를 보여주는 시스템'

많은 사람들이 서로의 이해관계에 따라 얽혀 있는 사회, 몸 속 물질들이 생화학반응하며 일어나는 생명현상, 통신수단을 통해 PC들을 연결해 놓은 인터넷, 신경세포들의 연결이 이루어내는 뇌의 작용 등 우리 주변의 거의 모든 것들이 복잡계라고 할 수 있다.

영국의 물리학자들이 꼽은 20세기 물리학 10대 미해결 연구과제이자 미국과학재단(NSF)이 4대 주요 연구과제로 선정한 복잡계에 대한 연구는 여러 가지 방법을 통해 활발하게 이루어지고 있는데, 그 중 최근에 주목받는 것이 바로 네트워크 과학이라는 방법론이다.

네트워크 과학

네트워크란 점들과 그 점 사이를 이어 놓은 선의 도식으로 나타낼 수 있다. 예를 들어 사람을 점으로, 인맥을 선으로 놓았을 때 인간 사회 네트워크의 모습이 그림으로 그려진다. 이 네트워크의 도식을 통해 우리는 재미있는 사실들을 알 수 있다.

좁은 세상 네트워크 이론

전 세계인들이 5명만 거치면 서로 아는 사이라는 '여섯 단계 분리(Six degrees of separation)'는 1967년 하버드 사회학과 스탠리 밀그램 교수의 편지 전달 실험을 통해 이미 증명된 바 있다. 전염병과 소문이 쉽게 퍼지는 이유를 설명함으로써 네트워크의 힘을 보여 주는 이론이었다.

또한, 1999년 정하웅 교수와 라즐로 바라바시 교수의 실험은 사이버 상의 모든 웹페이지는 평균적으로 19번의 링크만으로 연결되어 있다는 것을 밝혀냈다. 이와 유사한 현상은 생명체 내에서도 일어나는데, 박테리아와 같은 단핵세포든 고등생물이든(생물을 구성하는 화합물의 개수에 상관없이) 신진대사 네트워크의 거리는 짧은 거리로 일정하다는 것이다. 결국, 굉장히 복잡해 보이는 계界도 몇 안되는 연결을 통해 얽혀 있다는 사실은 우리가 살고 있는 이 세상이 좁은 세상 네트워크라는 것을 보여 준다.

네트워크의 분포 : 척도 없는 네트워크

기존의 무작위 네트워크 이론에 따르면, 대부분의 점들은 비슷한 개수의 연결선을 가지며 연결선이 극단적으로 많거나 적은 점들은 거의 없다고 여겨졌다. 따라서 연결선 분포함수 그래프는 대부분 종 모양의 Poisson분포를 보일 것으로 예상되었다. 하지만 많은 수의 네트워크가 기존의 이론과는 달리 멱함수(Power-law) 분포를 따르는 것으로 나타났다. 즉, 연결선이 많은 점과 적은 점이 골고루 존재하며 다양성을 보여주었던 것이다. 이는 척도 없는 네트워크라고 불리우며 좁은 세상 네트워크를 설명하는 새로운 이론으로 자리잡았다.

네트워크의 성장에 따라 연결선의 빈익빈 부익부 현상이 일어나고, 자연스럽게 나타난 척도 없는 네트워크. 많은 연결선을 가진 점인 허브Hub를 중심으로 하는 이러한 분포는 자원의 효율적 이용과 네트워크의 견고성이라는 측면에서 더 효율적인 모습을 하고 있다. 고속도로 네트워크와 항공망 네트워크의 비교는 이 점을 잘 드러내주고 있다.

허브와 매개자

허브Hub는 수많은 연결선과 이어져 있는 점, 즉 한 네트워크의 핵심적인 위치에 있는 지점이다. 사람으로 치면 화려한 인맥을 가진 마당발에 해당한다고 볼 수 있다. 이 지점에는 그 네트워크 전반의 데이터가 모두 쏟아져 들어온다. 이러한 지점이 존재한다는 사실은 그 자체로 더 많은 선의 연결을 야기하고 더 많은 정보를 유입시킨다. 즉 데이터의 부익부 빈익빈 현상이 일어나는 것이다. 따라서 어떤 네트워크의 허브를 파악한다면 마케팅, 범죄 수사, 바이러스 및 전염병 치료 등 다양한 분야에 활용이 가능하다.

매개자Linker는 허브는 아니지만 허브의 주위에 존재하며 네트워크와 네트워크를 잇는 점이다. 그 자체로는 연결선이 많지 않기 때문에 네트워크의 핵심은 아니지만 많은 사람들이 거쳐갈 수밖에 없는 지점이다. 매개자가 된다면 비록 주목받지는 않지만 양쪽 네트워크의 데이터 모두를 얻을 수 있다는 장점이 있다.

구글과 빅데이터

이 사회의 부분들은 서로 복잡한 상호작용으로 연결되어 전체적인 커다란 네트워크를 만들어낸다. 이 네트워크의 알고리즘을 파악해서 거대 기업으로 성장한 것이 바로 구글이다. 링크의 가치를 일찌감치 알았던 구글은 사람들이 많이 검색하는 링크를 상위에 위치시켜 검색 엔진으로서의 성능을 극대화했다.

또한 구글은 빅데이터를 다룰 수 있는 도구로서의 역할을 하기도 한다. 사람들의 연관검색어를 파악해 특정 지역의 독감 발생 확률을 알아낸다거나, 검색 빈도 수를 측정해 선거 결과를 99%의 정확도로 미리 예측하는 등 놀라운 결과를 보였다. 기존의 조사 방법을 따른다면 상당히 많은 비용과 시간을 들여야 할 일을 몇 초 만에 간단히 해치울 수 있는 것이다.

데이터와 네트워크

기존의 환원주의적 접근 방식, 즉 연구대상을 잘게 쪼개서 분석하는 방법은 각 부분에 대한 세밀한 정보를 가져다주며 19~20세기 자연과 사회의 이해에 큰 도움이 되었다. 그러나 복잡계 네트워크를 연구하기 위해서는 각 부분들이 전체로 모일 때 일어나는 특이한 현상들을 설명할 수 있어야 한다. 이를 위해서는 세부 사항에 대한 자세한 파악보다는 전체라는 큰 그림에서 네트워크의 구조와 작동원리를 꿰뚫어 보는 방법론이 필요하다. 그렇지 못하면 남방대구의 개체 수를 증가를 위해 - 상위 포식자인 상어의 존재를 고려하지 못한 채 - 포식자인 바다표범을 네트워크에서 없애 버렸던 사례처럼, 연결된 생태계의 함정에 빠질 수 있다. 이렇듯 네트워크 과학은 비록 완벽하지 않더라도 올바른 방향성을 가진 결과들을 도출해 낼 것이다.

지금 한국은 충분한 데이터가 있는데도 그 데이터들을 잘 사용하지 못하고 있는 상황이다. 네트워크 과학, 그리고 데이터 과학(Volume, Velocity, Variety에 대한 고려가 필요)을 통한 충분한 연구와 통찰은 복잡계 네트워크의 문제를 풀어낼 실마리를 가져다줄 것이다.