저자는 크게 두 가지를 문제삼는다. 번지르한 빅데이터를 모으는 WMD의 속내를 들여다보면 raw data 보다는 대리데이터를 모으는데 지나지 않는다. 영어로 표현하면 Who you are 를 알려고 하지 않고, Who I think you are 에 해당하는 데이타를 모을 뿐이라는 지적이다. 정보 자체보다 내가 이미 설정한 카테고리 중 어디에 속하는가에 따라 정보가 처리된다면 아무리 빅데이타를 모은들 알맹이가 쏙 빠진게 아니냐는 말이다. 저자는 자동차보험의 할증 방식을 예로 드는데, 보험사들은 뜬금없이 신용평가점수를 참고하는 계산방식을 채택하고 있다고 한다. 그래서 음주운전 전과가 있지만 신용점수가 높은 사람보다, 음주운전은 깨끗하지만 전기와 수도요금 연체기록이 있는 사람에게 더 비싼 자동차보혐료를 책정한다는 말이다. 헐, 이게 말이야 방구야....

두 번째 문제점은 WMD에는 피드백 루프가 전혀 없다는 것이다. 반갑게도 저자는 메이저리그의 수비 쉬프트를 예로 든다. 기본적으로 과거의 빅데이타를 분석해서 타구 방향을 예측하고 그에 따라 수비위치를 변경한다. 하지만 각 팀의 대응이 천편일률적인 것은 아니다. 시프트를 하는 동안에도 새로운 데이타는 계속 쌓이고 그에 따라 당연히 대응이 달라지게 된다. 가령 한때 템파베이에서 세이버매트릭스 신봉자로 유명했던 조 매든 감독은 시카고 컵스로 팀을 옮긴 이후로는 오히려 쉬프트의 비중을 확 줄였다. 컵스의 투수들이 빗맞은 타구를 만들어내는 쪽으로 장점이 있기 때문에 애초에 잘 맞은 안타성 타구를 잡아내는 것이 목적인 쉬프트가 그리 큰 효용이 없다고 생각하기 때문이다. 또 머니볼로 유명한 빌리 빈의 경우도 지금은 2000년대 초와는 전혀 다른 형태의 전략으로 수정하였는데, 상황이 그때랑은 완전히 달라졌기 때문이다. 한마디로 빅데이타를 이용해서 수치화를 시켰더라도 실시간으로 정보를 얻고 지속적으로 피드백을 해주는 것이 필수적이다.

하지만 WMD 에는 그런 피드백 과정이 생략되어 있다고 저자는 주장한다. 한 번 모델이 정해져서 결과물이 숫자로 탁 튀어나오면 아무도 그 복잡한 과정의 타당성을 따져볼 생각을 하지 않는다. 대표적인 예로, 1980년대 미국의 별 볼일 없던 시사 잡지 US news & world report 에서 미국내 대학의 랭킹을 매겨서 발표하기 시작했다. 예상외의 반향을 일으키며 US뉴스는 금방 미국 대학순위를 좌지우지하는 공룡으로 성장했고 얼마지 않아 전국적인 표준으로 자리잡았다. 이렇게 되자 아무도 그 랭킹을 만드는 기준의 타당성에 대해서 이의를 제기하지 못하고 그저 기준을 맞추기에 급급하게 되어버린다. 가령 대학은 도서관 강의실에 투자하기 보다 유리벽으로 된 학생회관, 호화로운 기숙사, 암벽등반 시설과 월풀 욕조를 갖춘 체육관 등을 짓는데 더 골몰하게 된다. 우리나라 전문대에서도 높은 취업률을 홍보하기 위해 취직못한 학생은 졸업을 안 시켜주는 어이없는 사건이 있었던 것으로 기억한다. 문제는 이러저러한 변화가 있을 때 그걸 반영하여 새로운 계산을 해내는 피드백 루프가 존재하느냐인데, 저자는 매우 부정적이다. 처음 WMD를 구상한 제작자도, 직접 계산을 행한 공돌이도 일단 숫자만 나오면 그 다음에는 손놓아버린다.

해로운 문돌이는 물론이고 무식한 공돌이마저도 소용이 없다면 역시나 갈놈갈, 올놈올이 정답이다. 18살때 시험봐서 정해지는 전공에 얽매이기보다 문제의 핵심을 간파하고 끝없이 피드백으로 소통하는 자가 결국엔 승리하지 않을까?