데이터로 사고하고 데이터로 리드하라. _02 무엇이 문제일까

 

 

| 데이터로 사고하고 리드하기 위한 첫 여정 

 

데이터 문제를 공략하기 전에 반드시 물어야 할 질문 5가지를 소개한다. 

1. 이 문제는 왜 중요한가? 
2. 이 문제는 누구에게 영향을 미치는가? 
3. 적절한 데이터가 없을 경우 어떻게 해야 할까? 
4. 프로젝트는 언제 종료되는가? 
5. 결과가 만족스럽지 못할 경우 어떻게 해야 할까? 

프로젝트를 시작하기에 앞서 문제의 중요성을 파악하기만 해도 회사의 자원을 최대한으로 사용하는 데 도움이 된다.

이 질문은 다음과 같이 바꿔 물어볼 수도 있다. 

• 무엇을 위해 밤늦도록 일하는가? 
• 이 문제가 중요한 이유는 무엇일까? 
• 새로운 문제인가, 아니면 이미 해결해 본 적 있는 문제인가? 
• 보상의 규모는 어느 정도인가, 즉 투자 수익률은 얼마인가? 

이 과정을 통해 여러분은 팀원 모두가 문제 해결을 위해 프로젝트를 어떻게 수행할지에 대해 의견을 조율할 수 있으며, 그들이 프로젝트 수행에 동의하는지 여부도 알 수 있다. 

초기 논의에서는 핵심적인 비즈니스 문제에만 집중해야 하며, 최근 기술동향 등 불필요한 사항은 제외하도록 주의해야 한다. 기술 동향에 대한 이야기를 하다 보면 회의의 초점이 비즈니스와 동떨어지기 쉽다.

다음과 같은 두 가지 경고 신호에 주의 해야 한다. 

 

• 방법론 중심 논의 : 이 관점을 견지하는 기업들은 새로운 분석 기법이나 기술을 도입하는 것만으로 자사를 차별화할 수 있다고 단순하게 생각한다. 
• 결과물 중심 논의 : 어떤 프로젝트는 결과물이 무엇이 될 것인가에 과도하게 집중한 탓에 궤도를 이탈하기도 한다. 예를 들어 인터랙티브한 대시보드를 만드는 프로젝트가 있다고 가정해 보자. 막상 이렇게 프로젝트를 시작하면 그 프로젝트의 결과물은 그저 새로운 대시보드나 비즈니스 인텔리전스 시스템 설치에 관한 것이 돼버리고 만다. 따라서 프로젝트 팀은 한발 물러서서 자신들이 만들고자 하는 결과물이 조직에 어떤 가치를 가져다 줄지부터 파악해야 한다. 

'어떤 기술을 사용할지'가 아니라 '어떤 문제를 해결할지'를 정의하는 것부터 시작하자.  

이 점은 왜 중요할까? 언제나 프로젝트 팀에는 데이터를 선호하는 사람과 두려워하는 사람들이 섞여 있다. 문제 정의에 대한 논의가 분석 방법이나 기술로 향한다면 두 가지 사안이 발생한다. 먼저, 데이터를 두려워하는 사람들은 부담을 느끼고 논의(비즈니스 문제 정의) 참여를 꺼릴 것이다. 그 다음, 데이터를 선호하는 사람들은 원래 문제를 기술적인 하위 문제들로 조각조각 나눠버릴 것이다. 이때 이 하위 문제들은 실제 비즈니스 목표와 일치하지 않을 수도 있다. 일단 비즈니스 문제가 데이터 과학의 하위 문제들로 전환된 후에는 몇 주 혹은 몇 달이 지나야 실패 여부가 파악되기도 한다. 프로젝트가 한번 시작되고 나면 어느 누구도 핵심 문제는 다시 건드리려 하지 않기 때문이다. 

 

프로젝트를 수행하는 팀은 " 이 문제가 해결할 만한 가치가 있는 비즈니스 문제인지, 아니면 그저 데이터 과학 그 자체를 위해 하고 있는 것인지" 와 같은 본질적인 질문에 답해야 한다. 다소 투박하긴 하지만 꼭 필요한 질문이며, 오늘날 데이터 과학과 그 관련 분야를 둘러싸고 벌어지는 과장과 혼돈 속에서는 특히 중요하다. 

 

 여러분이 해야 할 그다음 질문은 "누가 이 문제에 영향을 받느냐"는 것이다. 이 문제의 핵심은 누구에게 영향을 미치는지뿐만 아니라 그 사람의 업무가 어떤 식으로 달라지는가다. 

데이터 리드라면 데이터의 최종 사용자가 누구인지를 알아야 한다. 즉 회의실에 모여 직접 문제를 해결할 사람들뿐만 아니라 해당 문제로 인해 일상 업무에 영향을 받을 사람들을 모두 불러모아 '회의에 참여' 시켜야 한다. 

해당 문제로 인해 영향을 받을 이들이 누구인지도 파악해야 한다. 질문에 대한 답을 얻었을 때 누구의 업무가 달라지는가? 인원이 다소 많다면 그들을 대표할 소그릅을 구성해도 좋다. 이름을 기록해 목록을 만들고 프로젝트로 인해 어떤 영향을 받을지 생각해보자. 이에 대한 해법을 마지막 질문과 연결하면 좋다. 

 

이와 같은 사고에 익숙해지는 연습으로는 해법을 가지고 '솔루션 실험'을 해 봐도 좋다. 질문에 대한 해법을 구했다고 가정하고 팀에게 다음 질문을 해 보자. 

• 우리가 그 해법을 사용할 수 있는가? 
• 누구의 업무가 바뀔 것인가? 

물론 이것은 질문에 대한 해법이 될 올바른 데이터가 있다고 가정할 때에야 유효하다. 그러나 여러분은 이 질문에 대한 해법을 구하면서 문제가 해결됐을 경우에 대한 몇 가지 시나리오를 검토해야 한다. 많은 경우 이런 질문들에 대한 해법을 구함으로써 프로젝트와 그 효과가 강화되며, 비즈니스 이득을 거두지 못할 프로젝트를 걸러낼 수 있다. 

 

※ 실패한 데이터 프로젝트 사례 

<포춘> 선정 기10대 기업 중 하나인 ★ ★ 라는 회사에서 일하고 있다. 회사는 최근 사회적으로 둔감한 마케팅 캠페인을 수행해 부정적인 언론 보도 세례를 받았다. 이에 여러분에게 '고객 인식도 customer perception 를 모니터링하는 프로젝트가 할당 됐다. 

 

 프로젝트 팀은 다음과 같이 구성됐다.

• 프로젝트 매니저 (데이터리드) 
• 프로젝트 승인자 (예산 집행자) 
• 마케팅 전문가 2명 (데이터와 무관함) 
• 젊은 데이터 과학자 (자신이 배운 기법을 열심히 적용하려 하는 대졸 신입사원) 

데이터 과학자는 회사 ★ ★의 '고객 인식도' 대시보드를 자랑스럽게 선보였다. 최신 데이터 등이 매일 업데이트 되며 한 주간의 '긍정적'의견 목록이 대시보드 측면에 표시된다. 그림 1.1은 대시보드에서 주요 그래프를 일부 확대한 것이며 시간에 따른 고객 감성의 추세선을 보여준다. 긍정 또는 부정 의견 개수만이 표시되며, 대부분의 의견은 중립적이었다. 

프로젝트 후원자는 매우 만족한다. 일주일 뒤 모두가 볼 수 있게 휴게실 모니터에 대시보드가 뜬다. 

 

프로젝트 사후분석에 따르면, 회사 내 어느 누구도 분석 결과를 활용하지 않았으며 해당 팀의 마케팅 전문가도 마찬가지였다는 사실이 밝혀졌다. 이유를 묻자 마케팅 전문가들은 분석 결과가 그다지 마뜩치 않았다고 답했다. 물론, 고객 의견을 긍정 또는 부정이라는 레이블로 분류할 수는 있다. 하지만 담당자들이 더 이상 고객 의견을 읽지 않아도 된다는 생각은 헛된 희망인 것이다. 그들은 레이블링 과정이 얼마나 유용했는지에도 의심을 품었다. 또한 온라인에서 얻어진 데이터셋이 감성 분석에 적용하기 제일 편하긴 하지만, 그것만으로 고객 인식도를 측정해서는 안된다고 반박했다. 

 

 ※ 생각해 볼 사항

이 사례에서는 모든 것이 원활히 진행된 것처럼 보였다. 그러나 근원적인 질문인 "이 프로젝트는 왜 중요한가" 는 제시되지 않았다. 그 대신 프로젝트 팀은 "우리 회사 엑스나 페이스북 페이지에 달린 고객 피드백의 감정을 모니터링할 대시보드를 만들 수 있는가" 라는 질문에 대한 답부터 구하고자 했다. 물론 답은 "가능하다" 였지만 결국 이 프로젝트는 결코 조직에 유용하지도 중요하지도 않았다. 

여러분들은 마케팅 전문가들이 뭔가 의견을 더 냈어야 한다고 생각할지도 모른다. 그러나 그 마케터들은 이 프로젝트에 영향을 받게 될 그룹으로 분류된 사람들이 아니었다. 게다가 이 프로젝트에서는 팀이 문제를 해결을 시도하는 과정에서 방법론 중심(감성 분석)과 결과물 중심(대시보드)이라는 두 가지 조기 경고 신호가 드러났다. 

 

'고객 인식도' 사례에 나오는 프로젝트 팀은 "회사 엑스나 페이스북 페이지에 달린 고객 피드백을 모니터링할 대시보드를 만들 수 있는가? 라는 질문에 대해 솔루션 실험을 할 수도 있었다. 팀은 대시보드가 있으며 소셜 미디어 의견의 긍정/부정적 감정이 매일 업데이트된다고 가정해서 다음과 같은 질문을 할 수 있을 것이다. 

• 해법을 활용할 수 있을까? 팀에서는 '고객 인식도'와 '감성 분석'과의 관련성을 고려할 것이다. 팀은 이 정보를 어떻게 활용할 수 있을까? 소셜 미디어에서 고객 감성을 파악하는 것이 비즈니스에 어떤 이득을 줄까? 
• 누구의 업무가 바뀔까? 비즈니스를 잘 관리하기 위해서는 고객 감성을 파악하는 것이 중요하다고 팀이 확신한다고 가정해 보자. 하지만 누가 대시보드를 모니터링 할 것이며, 만일 차트 추이가 갑자기 하락세를 탄다면 뭘 해야 할까? 반대로 추이가 상승한다면 어떻게 해야 할까? 

이 시점에서 마케팅 팀은 희망적인 이야기를 할 수도 있다. 하지만 그런 정보가 있다고 해서 과연 향후 일상 업무에서 무엇이 달라질지 알았을까? 아마 아닐 것이다. 현 상황에서 이 프로젝트는 이미 벽에 부딪힌 것이다. 

 

| 중요한 문제에 집중하자 

지금까지 우리는 프로젝트 실패가 근본적인 문제를 올바르게 정의하지 않았기 때문이라고 결론 내렸다. 대부분의 경우, 이런 실패를 주로 시간이나 자금, 노력의 손실 과점에서 생각한 것이다. 그러나 데이터의 온갖 영역에는 훨씬 더 광범위한 이슈가 놓여 있으며 여러분이 이 문제들을 모두 예상하기란 쉽지 않다. 

 

현재 업계의 관심은 수요 충족을 위해 최대한 많은 데이터 인력을 양성하는 데 집중돼 있다. 그 결과 대학교, 온라인 교육 프로그램 등을 통해 비판적 사고를 갖춘 사람들이 급속도로 배출되고 있다. 데이터 업무가 온전히 진실을 밝히는 일뿐이라면 데이터 리드는 그저 그 일만 하면 될 테다. 

이때 데이터 리드들이 그다지 내키지 않는 프로젝트에 착수해야 하는 상황은 무엇을 의미할까? 자신의 기술을 경영진에게 과시할 수는 있으나 실제로 의미 있는 문제를 해결하기는 어려운, 미처 제대로 정의되지 못한 이슈에 시간을 쏟아야 하는 상황은 또 무엇을 의미할까? 이 이야기는 수 많은 데이터 작업자들이 자신의 업무에 만족하지 못한다는 사실을 의미한다. 모호한 성과를 목표로, 기술에 과도하게 초점이 맞춰진 문제를 해결하도록 강제하다 보면 사람들은 이내 좌절과 환멸에 빠질 것이다.  

 

캐글(kaggle.com)은 전 세계의 데이터 과학자들이 데이터 과학에 대한 경영 대회를 열고 새로운 분석기법을 배우는 곳으로, 캐글 사용자를 대상으로 설문조사를 통해 데이터 과학자들이 각자 업무에서 직면하는 어려움이 무엇인지를 물었다. 이 중 몇 가지는 다음과 같이 잘 정의되지 않은 문제나 부적절한 계획과 직접적으로 관련돼 있다. 

• 해법을 구하기 위한 명확한 질문의 부재 (30.4% 의 응답자가 이를 경험함) 
• 의사결정권자가 결과를 활용하지 않음 (24.3%) 
• 각 분야 전문가가 제공하는 정보 부재 (19.6%) 
• 프로젝트 효과에 대한 예측 (15.8%) 
• 프로젝트에서 얻은 인사이트를 의사결정에 통합하기 (13.6%) 

이런 상황이 이어지다 보면 결과는 뻔하다. 자신의 역할에 만족하지 않는 사람들은 떠날 것이다. 

 

|정리 

이 책의 기본적인 목적과 구성은 문제의 본질을 제대로 탐지할 수 있는 질문을 던지는 방법을 가르치기 위함이다. 따라서 가장 중요하고도 때로는 가장 어려운 질문인 "무엇이 문제일까" 를 파악하는 것부터 출발한다. 

지금까지 1장에서는 어떻게 해야 비즈니스의 핵심 질문을 되새기고 명확히 할 수 있는지, 그리고 왜 데이터 분석과 관련된 문제들이 특히 더 어려운지에 대해 살펴봤다. 또한, 문제를 정의할 때 데이터 리드가 반드시 던져야 할 질문 5가지를 알아봤다. 만일 이와 같은 질문이 방법론 중심이거나 결과물 중심이 될 조짐이 있으면 프로젝트를 잠시 중단해야 한다. 

5가지 질문에 제대로 답할 수 있다면 비로소 프로젝트를 시작할 준비를 갖춘 셈이다.