블랙 데이터라는 용어도 쓰이는 것 같은데, 책의 제목은 다크 데이터이다. 처음 봤을 때는 좋지 않은 데이터를 의미하는 것인지 생각했는데, 책의 내용은 우리가 놓치고 있는 데이터, 알지 못하는 데이터의 중요성을 알려주고, 통계적 기법에서 어떠한 점을 고려해야 하는지에 대해서 논하는 책이다.

 다크데이터

저자

데이비드 핸드

출판

더퀘스트

발매

2021.10.05.

초반에 책을 읽어 갈 때, 미국 국방장관이었던 도널드 럼스펠드가 말했던 유명한 어구들, 즉 아는 것이 있다는 것을 알고 있는 것들 (known known), 뭔가 있다는 것을 알고 있으나 그게 정확히 뭔지는 모르는 것들 (known unknown), 모른다는 것도 모르는 미지의 것들 (unknown unknown), 알고 있으나 모르는 척하는 것들 (unknown known) 에 대한 내용이 먼저 떠올랐다. 실제 책에서도 이 사례가 예로 나온다.

그렇다. 우리가 다 알고 있다고 생각하고 다루고 있는 데이터들은 known known이다. 그 외의 다른 케이스들을 무시하게 되면 큰 통계학적이나 데이터 해석 오류에 빠지게 된다. 이 책은 그러한 케이스를 15가지로 구분하여 자세히 설명해 준다.

우리는 데이터 과학과 통계학은 매우 정확한 학문이라고 생각하지만 실제 그렇지 않다. 여러가지 오류의 함정에 빠질 수 있기 때문에 항상 우리가 빠트리고 놓치고 있는 것이 무엇인지 면밀히 따져 봐야 한다. 이 책의 장점은 실제 일반 생활에서 다크 데이터를 놓쳐서 발생한 각종 오류 사례를 충실히 들고 있어 이해에 큰 도움이 된다는 점이다. 우주선 폭발 사고, 금융사기 및 심사 모형, 스마트폰 앱을 통한 데이터 수집 사례 등 일상 생활의 사례를 들고 있어서 다크 데이터 유형 15가지에 대해 쉽게 이해할 수 있었다. 요새 데이터 과학이 큰 관심을 받고 있고, 데이터 과학자가 되려는 젊은 친구들도 늘고 있다. 이 책을 통해 데이터 과학에서 발생할 수 있는 오류와 실수들을 꼼꼼히 따져 보면 좀 더 효율적인 접근이 가능해 보인다.

#다크데이터 #더퀘스트 #데이비드핸드 #데이터 #빅데이터 #데이터과학 #데이터사이언스 #통계 #통계학