빅데이터 전문가로서 진로설정
서울시립대학교에 입학해서 데이터 전문가로 사회에 진출하기를 원하는 사람들이 꽤 많아진 것 같다. 몇 년 전까지만 해도 유독 빅데이터라는 키워드로 너무 많은 사업들이 나와서 좀 과하다는 생각을 한 적도 있었다. 하지만 지금도 데이터를 다룰 수 있는 인력이 부족하다는 이야기가 나오고, 미국에서도 대부분의 학교가 데이터 관련 전공과 수업을 확대하는 것을 보면 정말 데이터의 시대가 왔구나 하는 생각이 든다. 이 흐름이 당분간은 이어지지 않을까 조심스레 전망해본다. 여기서는 데이터과학자에 대한 이야기를 먼저 해본다.
데이터 과학자는 데이터 관련 수요예측에서 인력 시장의 규모가 가장 작다. 하지만 여전히 시장에서는 데이터과학자를 필요로 하는 분야가 많고 몸값도 꽤 높은 편에 속한다. 그러면 공장에서 물건 만들 듯 데이터를 다룰 수 있는 사람을 왜 한꺼번에 많이 양성할 수 없을까 하는 의문이 들 수 있을 것이다. 필요한 지식을 습득하고 기술을 배우면 될 것 같지만, 의외로 데이터를 분석하는 일은 그렇게 간단하지 않다. 데이터 분석은 해당 분야의 깊은 이해 위해서 가능하기 때문이다. 의외로 기술적인 부분은 채우기 쉬울 수 있지만, 전문분야에 대한 지식을 쌓는 것이 큰 장벽일 수 있다. 그렇기에 데이터과학자는 해당 분야의 전문가와 의사소통하고 분석의 주요 제약과 방향을 설정하며, 기술적인 문제를 종합적으로 고찰하고 해결방향을 찾을 수 있는 멀티플레이어여야만 한다. 데이터 분석에 전체적인 방향을 결정하고 결론을 내리는 프로젝트의 선장(captain) 역할을 종종 해야하기 때문에, 많은 사람이 필요하지는 않지만 최고의 인재를 원할 가능성이 크다. 이렇기에 데이터과학자는 박사를 선호하며, 적어도 석사급 인재를 찾는 것이 일반적이다.
그러면 모든 사람이 이런 슈퍼맨이 되어야 할까? 그런 욕심을 가지고 공부할 수 있는 학생이 있다면 힘껏 응원하겠지만 모든 사람이 슈퍼맨이 될 수 없고 될 필요도 없을 것 같다. 왜냐하면 실무에서 중요한 것은 주어진 문제를 해결하는 것이며, 그 문제 해결은 팀 단위에서 이루어질 가능성이 크기 때문일 것이다. 데이터를 이용하는 직무를 보면 크게 하드웨어 관련 직군, 소프트웨어 관련 직군으로 나뉜다. 하드웨어 관련 직군에는 데이터를 저장하고 처리하는 데이터베이스 관리업무, 컴퓨터 네트워크 관리 업무, 보안 관련 업무 등이 있을 것이고 소프트웨어 관련 직군에서는 데이터 처리, 가공 업무, 상시 데이터 분석업무, 문재해결형 분석 업무 (프로그래밍 포함) 등 이 있을 것이다. 슈퍼맨 데이터 과학자는 이 모든 것을 다 잘 알기란 힘들 것이며, 더 중요한 것은 해결해야 하는 문제는 분석에만 있는 것이 아니라는 것이다. 인터넷 맞춤형 광고 서비스를 제공하는 MOLOCO 의 경우에는 서비스에서 가장 중요한 경쟁력이 매우 빠른 시간에 데이터를 처리하여 추천결과를 제공하는 것이라고 한다. 데이터의 전송시간을 제외하면 기계학습 알고리즘이 개입할 수 있는 시간은 불과 0.1초정도라고 하니, 속도의 경쟁인 것이다. 만약 하나의 쿼리에 대해서 고객의 대기시간을 0.5초를 설정해두었다고 하면, 데이터 트래픽을 처리하는데 시간을 일부 사용하고 기계학습 (AI) 알고리즘을 적용하는데 일부 사용할텐데 어떤 부분의 속도를 개선하든 전체 서비스를 관리하는 입장에서는 속도개선이 이루어지기만 하면 되는 것이다. 즉, 추천시스템의 개선을 통해 추천의 품질을 엄청나게 높일 수 있다고 하더라도 서비스 시간내에 결과를 제공하지 못한다면 그 알고리즘을 쓸 수 없을 것이며 동시에 서비스 시간을 줄이는 것은 학습 알고리즘의 개선 뿐만 아니라 하드웨어, 네트워크, 데이터베이스등 정말 많은 분야의 기술들을 종합적으로 고려하였을때 최적의 의사결정을 할 수 있는 것이다. 기계학습(AI)는 아직 서비스의 일부일 뿐이다.
그래서 결론은 기계학습, 인공지능 이게 다가 아니다. 그냥 재미있으면 하는거지.. (사실 서로 도와가면서 하는거....)
석사 입학
석사를 입학해야하나.. 이 고민을 한 사람들을 위한 글이다. 석사 과정을 진학할 때 신경쓰이는 것
- 부모님, 공부할 게 많은가 보지? (학비 때문에 허리가 휜다 이 녀석아..)
- 친척들, 취직 많이 힘들지? 취업시장이 많이 어렵다고 하더라. (에고 말조심 해야지.)
- 친구들, ... (나 다음 주 부터 출근해...)
대학원 생활, 확실히 압박감이 있다. 주변 사람들이 뭔가를 위해 노력하고 있고 끊임 없이 자극받는다. 스트레스다. 그런데 그런 스트레스가 본인을 더 빠르게 성장시킬 수 있을 것이라는 것 알고 있을 것 같다. 분명히 말할 수 있는 것은 대학원에서는 스스로 혼자 공부해서 배우는 것 보다 훨씬 빨리 효율적으로 배울 수 있다. 생각보다 오랜 기간동안 한 분야에 관심을 가지고 연구를 지속해오고 그것을 공유하는 문화가 지도교수 한 사람이 만든 것이 아니다. 그것을 교수 한 명이 만들었고 그게 사람에 의해 독점될 것이라는 것은 오산이다. 지금까지 연구실을 거쳐간 많은 사람들이 만들어 온 분위기, 연구실 문화, 가치관은 쉽게 만들 수 있는 것도 아니며, 흉내낼 수 있는 것도 아니다. 그리고 그 작은 조직내에 형성된 문화가 가지는 힘은 어떤 형태로든 확인할 수 있다.
대학원 생활을 한다는 것은 나의 커리어에 기술고 경험을 쌓는 것 이상으로 내가 좋아하는 일을 평생 함께 공유할 사람들을 만드는 것이다. 그렇기 때문에 대학원 생활에 대한 자조적인 글들은 운 나쁘게 내가 좋아하는 일을 함께 공유할 할 좋은 사람들을 못 만난 사람들의 안타까운 사연이자, 연구실을 함께 만들어가는 당사자로서 자신을 돌이켜봐야 하는 좋은 기회라고 생각한다.
만약, 빅데이터 전문가로서 석사를 염두에 두고 있다면, 나는 추천한다. 좋아하는 일을 함께 할 수 있는 평생의 동료를 만든다는 것에서, 그리고 짧은 기간이기는 하지만, 정말 세상이 그것 하나가 안되면 망할 것 같은 절실함으로 뭔가에 몰두할 수 있는 기회를 가져볼 수 있다는 점에서.
서울시립대학교 미래관 전경