케스케이딩 완벽 가이드

 

저자 : 파코네이선

옮김 : 오세봉,장정호

출판사 : 한빛미디어

 

IT 에 대한 지식이 전무한 생태에서 처음 전산업무를 담당하게 되면서 내가 받았던 교육은 데이터베이스에 관련된 것이었다. 데이터 베이스는 말 그대로 데이터를 저장하고 그것을 활용하여 기업의 경영을 지원할 수 있는 지식이나 정보를 만들어 내는 분야다. 당시 데이터웨어하우스 라는 것을 구축하는 과정에서 데이터를 추출하고 정재하고 가공하는 작업은 나에게는 연금술과 같았다. 여기 저기 흩어진 데이터가 모이더니 새로운 관점의 정보나 지식으로 태어나 영업이니 생산이니 하는 부서에서 의사결정을 위해 사용된다는 것이 놀라웠던 것이다. 시간이 흘러 여전히 IT부서에 근무를 하고는 있지만 데이터베이스를 쳐다보기 보다는 문서작업을 더 많이 하는 중간 관리자로 세월을 보내고 있다. 그러나 마음 한 켠에 남아있는 데이터에 대한 동경은 여전히 유효한 모양이다. 그저 하둡과 빅 데이터라는 키워드 만으로 이 책을 선택 했으니 말이다.

 

책을 받아 들고 첫 장을 넘기는 순간 소위 멘붕이 왔다. 프롤로그의 첫 번째 문장 때문이다.

 

이 책 전반에 간단한 프로그램 예제들을 통해 케스케이딩과 관련된 오픈 소스 프로젝트들을 살펴볼 것이다. 따라서 자바 프로그래밍에 익숙해야 한다 – p13

 

이런… 그러고 보니 난 자바를 배우기는 했어도 전혀 사용해 보질 않아 이제는 아무런 지식도 남아있지 않다는 사실을 잊고 있었던 것이다. 첫 문장이 나에게 남긴 아픔은 결국 의욕만 앞세우면 안 된다는 소중한 교훈을 남겨주기 충분했다. 그러나 IT 기획과 프로젝트를 관리하는 나의 경력은 이 책을 다른 관점으로 볼 수 있지도 않을까 하는 작은 희망의 불씨를 전해줬다. 그렇다! 세상이 빅 데이터에 집중하고 있는 요즘 전통적인 데이터웨어하우스 모델이 아닌 하둡 환경에서 정형데이터뿐 아니라 비정형 데이터까지도 자유자재로 다룰 수 있다는 것은 기업의 의사결정 속도를 높이는데 큰 장점이 되기 때문이다. 그러나 많은 개발자들이 자바로 대규모 하둡 어플리케이션을 작성하는 것을 힘들어 한다. 또한 기업의 데이터 분석가에게는 기존의 ETL 도구가 익숙하지 하둡에 가까이 가기는 쉽지 않아 보인다. 결과적으로 기업들이 아파치 하둡을 도입해야 하는가에 대한 의사결정의 딜레마를 불러온 것도 사실이다. 케스케이딩은 이런 기업이 당면한 문제에 훌륭한 대안이 될 수 있다고 한다. Thor Olavsrud 는 2012년 CIO 잡지에서 케스케이딩에 대해 다음과 같이 말했다.

 

“관리는 크게 신경 쓸 필요 없고 주위에서 이미 자바에 경력이 있는 사람들을 모아 한 팀으로 만든 후 아주 짧은 훈련을 통해 전환이 가능하다” - Thor Olavsrud

 

그렇다면 케스케이딩이란 무엇인가? 케스케이딩은 파이프와 연산자를 ‘배관’이라는 은유를 이용하여 워크플로우를 구축하는 패턴 언어다. 그러니까 케스케이딩의 심장은 워크플로우다. 즉, 책에도 자주 등장하는 다음과 같은 다이어그램은 케스케이딩이 무엇인지를 정말 쉽게 이해시켜 준다고 생각을 한다.

 

 

책은 자바에 대한 개념을 이해하는 사람이라면 쉽게 따라 할 수 있도록 구성되었다는 느낌이 들었다. 그러나 내가 따라 하기에는 좀 무리가 있었던 것도 사실이다. 그래서 책을 개념적으로만 이해해 보려는 노력을 했다. 그러나 보니 위에서도 언급한 케스케이딩을 구성하는 파이프와 배관이 눈에 들어왔고 스콜딩이라는 케스케이딩용 스칼라 DSL이 무엇인지 이해되었으며 케스칼로그라는 케스케이딩을 위한 클로저 DSL을 이해할 수는 있었다. 다만 이해한 것과 그것을 실무에 적용하는 것은 큰 괴리가 발생한 다는 것을 나는 충분히 알고 있다.

 

책에 언급된 것들 중에 개인적으로는 스콜딩에 관심이 많이 갔다. 스콜딩은 함수형 프로그래밍의 많은 특징을 가진 스칼라를 이용하여 케스케이딩을 통합한 것이다. 스콜딩은 스칼라(SCALa)와 케스케이딩(cascaDING)의 합성어로 형식적으로 스콜딩은 케스케이딩을 결합하여 스칼라에 임베디드한 도메인 특화 언어라고 할 수 있다. 워크플로우의 스콜딩 소스는 개념적 플로우 다이어그램의 시각적 표현과 거의 일대일로 대응한다고 한다. 즉, 개발자는 패턴 언어를 시각화한 파이프 배관을 바로 구현할 수 있으며 이것은 대규모 데이터 소프트웨어 엔지니어링 시 굉장한 장점이 된다는 것이다. 트위터와 이베이, 링크드인, 엣시 등의 회사에서 대규모 작업 시 스콜딩을 활용한다고 하는데 개인적으로는 실제 기업에서 활용되는 예가 궁금하기도 했다.

 

유명한 책벌(冊閥)인 이화여대 최재천 교수님은 진정한 독서는 “내가 잘 모르는 분야의 책을 붙들고 씨름하는 것”이라고 했다. 내가 언제나 접하는 분야의 책만을 읽는 다면 자신이 가진 지식 영역이 결코 확장 될 수 없다는 것이다. 그래서 독서를 일처럼 할 때 머리 아프고 힘은 들지만 머릿속에 더 많은 지식이 축적되고 힘이 생기는 것이리라. 어디가서 IT 분야에 근무한다고 하면 의례 프로그래밍을 할 줄 알겠거니 짐작을 하는 경우가 많다. 물론 개념적으로는 언어를 이해하고 있지만 실무에서 일을 하지 않으면 결코 그 깊이를 논할 수 없는 것이 기술이라는 영역이 아닐까? 이 책을 읽으면서 너무 머리 아프고 어찌 리뷰를 해야 할까를 적잖히 고민했다. 그러나 결국 내가 케스케이딩을 실무에서 개발하지는 못해도 향후 이 기술을 어떻게 도입하고 기업에 적용할 것인가에 대한 청사진은 그려볼 수 있지 않을까 싶었다. 물론 그것이 가장 큰 수확이겠지만 말이다.

 

노래하는 멘토르