관련 지식을 습득해 진정한 능력자가 되라

               주어진 데이터로 AI 빅테이터를 적용한 모델을 생성

해서 인사이트를 도출하는 것이지만 방법이나 산출물의 형태가

매우 다양하다.

    최근 가장 늘어나는 의뢰 형태는 AI 빅데이터를 접목한 어플리

케이션이다. 어플리 케이션은 C/S 방식 소프트웨어, Web 방식 소

프트웨어, 모바일 앱 등의 형태로 나타날 수 있다. 이러한 방식의

AI 빅테이터 관련 의뢰가 들어오면 단순히 엑셀에서 데이터를 로

드한 후 모델을 생성하는 수준의 지식만 가져서는 절대 불가능하

다.

    AI 빅테이터를 접목한 어플리케이션 개발을 하려면 우선 DB,

서버, API, UI 개발에 대한 지식이 있어야 한다. 나는 이러한 지식

을 모두 갖추고 있다. 물론 복잡한 UI 개발은 하지 못한다.

    우선 DB는 데이터가 실시간으로 적재되고 이렇게 실시간으로

적재된 데이터를 조회해서 화면에 뿌려주어야 하기 때문에 당연

히 필요한 부분이다.

    사실 그 이상 복잡한 일이 요구되는 곳은 거의 없다. 만약 페타

바이트급 이상 데이터가 적재돼서 DB 성능 최적화가 요구된다면

그때는 DB 전문가에게 일을 맡기면 된다.

    서버도 공부해야 한다. 내게 용역을 맡기는 꽤 많은 스타트업들

이 서버 구매하는 방법도 몰랐던 기억이 있다.

    서버를 구매한 이후에는 서버를 세팅해야 한다. ...... DB

나 파이썬3 설치가 가장 기본적이며 필요한 경로 설정이나 라이

브러리도 설치해주어야 한다. 그리고 리눅스 서버는 윈도우와 달

리 마우스를 활용할 수 있는 GUI가 없기 때문에 100퍼센트 명령

어로 작동한다 따라서 리눅스 서버 기본 명령어들도 공부해야 한

다. 파이썬을 백엔드에서 실행시키거나 주기적으로 스케줄링을

걸어주는 것 정도의 명령어는 익혀야 한다.

    API에 대해서도 공부해야 한다. 왜냐하면 대부분의 AI 빅데이

터 관련 프로젝트가 API를 활용해서 AI 빅테이터 모델 예측 결과

를 실시간으로 송신하고 이를 어플리케이션이 수신해서 화면이

뿌려주는 구조이기 때문이다.

    마지막으로 UI 개발도 알면 좋다. 만약에 당신이 UI 개발까지

잘한다면 당신의 가치는 천정부지로 오를 것이다. 아쉽지만 나도

UI 개발가지는 잘하지 못한다. 그래서 대부분의 개발은 외부 기

관과 협업을 한다.

    그리고 디자인 부분이 들어가면 역시 전문 디자이너의 손길이

필요한 경우가 많다.

    <파이썬으로 배우는 알고리즘 트레이딩>(위키북스)과 <파이썬

GUI 프로그래밍 쿡북>(에이콘출판)을 읽으면 PyQT나 Tkinter에

대해서 익힐 수 있다.

    지금까지 말한 것들을 다시 전부 공부한다고 생각하면 두려울

수 있지만 사실 금방 배울 수 있는 부분들이다. 구글에 검색해도

많이 나오고 추천해준 책의 내용을 100퍼센트 이해햐지 못해도

된다. 당신은 AI 빅테이터 전문가이지 다른 분야의 전문가는 아

니기 때문이다. 그저 중급자 수준만 되어도 된다는 생각으로 공부

하라.

    나는 너무나 신기했다. AI 빅데이터 전문가로 나 자신을 포지셔

닝하고 알리니 상황이 달라졌기 때문이다.

    말 그대로 메신저의 삶을 사는 것이다. 사람들에게 도움을 주고

나면 뿌듯하다. ...... 나도 여기까지 오는 데 불과 몇 년밖

에 걸리지 않았다. 만약 제대로 된 공부 방법으로 시작했다면 그

시간을 휠씬 단축했을 것이다. AI 빅데이터를 두려워하지 말고 즐

겁게 배운다면 당신도 전문가, 능력자가 될 수 있다. 247쪽

파트5 당신도 이제 AI 빅데이터 전문가 

    AI 빅테이터라는 학문 자체가 보편화되기 시작한 게 5년

도 안 되었다. 이 분야는 5년, 10년 전문가 자체가 있을 수가 없

다. 그리고 전문가라는 것도 결국 상대적인 개념 아닌가? 올바른

방법으로만 공부하면 1년 만에 남들보다 훨씬 뒤어난 실력을 가

질 것이다.

    전문가가 거의 없는 블루오션 262쪽

    하나도 모르겠다고 기죽지 말자

    나는 석사 과정에서 거의 처음으로 데이터 마이닝을 접하면서

AI 빅데이터 공부를 시작하게 되었다. 학부 때에는 정보시스템학

을 전공했는데 대학원에서는 산업공학으로 전공을 바꾸었다.

    산업공학과 학부 강의들이 쓰는 교재를 도서관에서 빌려 독학

했으며 수리통계학, 선형대수학은 인터넷 강의를 통해 공부했다.

심지어 고등학교 미적분 책을 사서 공부하기도 했다. 자발적으로

프로젝트에 참여해 코딩 실력도 늘릴 수 있었다. 항상 내 자리에는

책이 많았다, 도서관에서 빌린 책뿐만 아니라 공부하기 위해서 수

시로 책을 샀다. 심지어 공부를 너무 많이 한다고 혼나기도 했다.

다른 동료들은 행정, 프로젝트, 조교 업무 등으로 바쁜데 나 혼자

서 공부만 한다고 지도교수님께 혼난 일도 있었다. 지금 생각해보

면 다소 당황스러웠던 경험이다. 아무튼 나는 그만큼 공부에 열정

을 쏟았다. 265쪽

코딩만 배운다고 AI 빅테이터 전문가가 될 수는 없다. 75쪽

국내 AI 빅데이터 교육 시스템의 문제

                              AI 빅테이터 전문가가 되기 위해서는 수리

통계학적 지식, 코딩 능력, 경영학적 서술 능력을 두루 겸비해야

한다. 그래서 가장 섹시한 학문이고 전문적인 분야이기도 하다.

여기서 경영학적 서술 능력은 배제하더라도 수리통계학적 내용

이 수업에 전혀 없다는 것은 사실 문제가 있다.

    자신이 해당 데이터와 분석 목적에 가장 부합하는 모델을 선택

해야 하는데 이때 수학적/통계학적 지식이 있어야 어떤 모델을 선

택할지 알 수 있다. 77쪽

    텍스트 마이닝은 SNS 등 각종 온라인 플랫폼에서 수집되는 방

대한 양의 텍스트 안에서 인사이트를 도출할 때 주로 쓰이는 방법

론이다.

    추천 알고리즘은 아마존닷컴, 넷플릭스, 유튜브에서 많이 쓰

는 방법이다. 흔히 말해 개인의 과거 로그 데이터를 기반으로 향

후 해당 사용자가 좋아할 만한 콘텐츠를추천해주는 것이다. 92쪽

    논문은 국내 논문의 경우 <지능정보연구> 저널을 자주 읽는 편

이고 해외 논문은 텍스트 마이닝, 추천 알고리즘으로 검색해서 나

오는 최신 논문들을 찾아서 읽는다. 우선 <지능정보연구> 저널이

AI 빅데이터 알고리즘에 대해서 전반적으로 많이 다루고 잇으며

실제 비즈니스 현장에 적용할 수 있는 사레들을 많이 다루고 있

어 쉽고 재밌다. ......

    그냥 내가 편하고 잘하는 것을 좋아하는 방법으로 공부하면, 그

게 강점이 되는 것이다. 프로그래밍 언어도 마찬가지다. AI 빅데

이터 분석을 하는 언어는 사실 꽤 많다. R, 파이썬이 기본이지만

스파크, 자바로 분석하느 사람도 있다. 자신이 잘하는 툴 하나로

 ...... 105쪽

    모두 기존에 만들어진 알고리즘에서 시작해서 무언가 새로운 모

델을 만드는 것이다.

    그런데 기존 알고리즘의 개념과 원리에 대해서 알지 못한다면

어떻게 수정을 하고 결합을 해서 해당 데이터에 최적화된 모델

을 만들겠는가.결국 처음에 공부를 시작할 때 각각의 알고리즘

의 동작 원리를 차근차근 이해하며 넘어가야 한다. 구체적인 수

식들에 대해서도 이해하면 사실 더 좋긴 하다. 하지만 수식 하나

하나를 유도하고 증명하는 과정까지 공부하기가 힘들면 '어떤 동

작 부분에서 어떠한 수식이 어떠한 이유로 쓰인다' 정도는 알아

야 한다. 113쪽 파트3 기본기가 탄탄해야 진짜 전문가가 된다 

분석학 + 데이터베이스 + 예술&디자인 + 기업가 정신 + 컴퓨터과학 = 데이터 과학자

120쪽 출처 참조.

데이터 분석 목적 및 모델링 방향 제시를 할 수 있는 능력을 키워라

    마지막으로 전문가에 요구되는 가장 중요한 능력 중에 하나가

비즈니스 현장의 문제를 인식하고 데이터가 주어졌을 때 주어진

데이터로 어떻게 비즈니스 문제를 풀 것인가 고민하는 능력이다.

흔히 문제 인식은 데이터 분석의 첫 단추로 불리고 가장 중요한

선행 단계로 분류된다. 이 단게에서 큰 숲을 잘 정리하고 세부적

으로 데이터 분석을 실행해나가야 한다. 그렇지 않고 ...... 122쪽

빅네이터 기초 : 개념, 동인, 기법 - 시그마프레스

인공지능 시대의 비즈니스 전략 -더퀘스트

빅데이터가 만드는 제4차 산업혁명 -북카라반

빅데이터 비즈니스 이해와 활용 -위즈하임

빅데이터 분석과 활용 - 학지사 129쪽

데이터 마이닝 알고리즘을 익혀라 130쪽

실질적으로 도움이 되는 최소한의 자격증 138쪽

해당 자격증은 한 번에 몰아서 따라 143쪽

코딩 공부, 파이썬과 R은 기본이다. 145쪽

수리통계학을 공부해야 헌형회귀 모형을 올바르게 생성할 수 있다. 155쪽

- 이러한 추정들은 실제 현장에서 AI 빅데이터 분석 시 데이터 전처

리직후 기술통계 부분에서 많이 쓰인다. 또한 각종 분포들의 수리적인

모형을 공부해두면 고급 알고리즘을 익히는 데에 도움이 된다.

- 에를 들면, 디리클레분포.

입문자가 AI 빅데이터 분석을 위해 수리통계학을 공부하는 방법

    책을 읽으면서 수식이 나오면 연습장에 그대로 따라 적으면서

이해를 한다. 이해가 되었으면 다음으로 넘어가고 이해가 안 되

었으면 이해하기 위해서 조금 더 생각을 하거나 인터넷에서 해당

개념을 찾아본다. 그래도 이해가 안 되면 그냥 넘어간다. 절대 수

식을 외우지는 않는다. 그리고 각 챕터별 연습문제가 나오면 연습

문제 해답을 펼쳐놓고 이해하면서 그대로 답을 연습장에 적는다.

이때에 증명이나 유도하라는 문제는 건너뛴다. 157쪽

기본적인 딥러닝에 관한 서적을 읽어라 159쪽

딥러닝 제대로 시작하기 -제이펍

홍콩 과기대 재직중인 김성훈 교수 강의

밑바닥부터 시작하는 딥러닝 - 한빛미디어

케라스 창시자에게 배우는 딥러닝 -길벗 167쪽

데이터베이스에 대한 기본적인 이론을 익혀라

빅데이터 시대? 하지만 아직도 대세는 RDB 168쪽

Datebase Concept -Person Education

몽고디비 인액션 - 제이펍 173쪽

캐글 경연대회를 통해 경험을 쌓으라 177쪽

프로세스 마이닝 분야 포스텍 산업경영공학과 송민석 교수가 국내 최고의 권위자

  나는 주 연구 분야의 자세한 알고리즘에 대한 설명이 있는 책과

논문을 거의 매일 챙겨서 공부한다. 그리고 부 연구 분야에 대한

것은 실제 걱용 부분에 대한 설명이 있는 책과 논문을 찾아 읽고

있다. 186쪽

전문 분야에 대한 서적을 읽어라 190쪽

Recommender Systems : The Textbook -Springer 193쪽