실험의 힘

 

조직의 경우에는 실험을 설계하기 전에 답을 구하려는 의문에 대해 신중히 새각하는 단계가 반드시 필요하다.

예컨대 아마존닷컴이 여러 형태의 웹사이트를 두고 실험한다고 해보자. 

평가 기준을 심리학 규칙(사용자가 처음 방문해서 사이트를 탐색하는 데 어려움을 겪는다면 설계에 중대한 결함이 

있는 것이다.) 과 경제학 규칙(사용자가 사이트에 서너 번 접속한 뒤에 새로운 설계가 사용하기에 더 쉬운가

더 어려운가를 결정한다) 중 어디에 두어야 할까 ? 

 

그 대답은 아마존으이 목표, 또 소비자가 얼마나 자주 웹사이트를 방문하느냐에 따라 달라진다. 

한편 사용자가 곧바로 웹사이트를 떠나는 경우도 있지만 , 오랜 시간을 탐색하며 더 많은 것을 둘러보는 경우도 있다.

두 경우에 단기적인 문제는 별로 중요하지 않을 수 있다. 결국 아마존이 각 경우에 어느 정도나 신경쓰느냐에 

따라서도 그 대답은 달라진다. 물론 그밖에도 많은 변인이 작용하며, 중요한 것은 어느 변인에 

강조점을 두느냐는 것이다. 

 

• 게임 이론 모델은 행동을 설명하는 데는 탁월하지만, 실제 행동은 순전히 합리적인 행동과 다르다.
• 양쪽 모두가 상대에 대해 아는것(정보의 비대칭성)과
  커뮤니케이션 구조가 흥정 결과를 결정하는 중대한 요인이다. 
• 두 사람, 혹은 그 이상에서 어떤 관계이든 지속될 가능성이,
  그들이 서로 협력할 가능성에 중대한 영향을 미친다. 
• 위험회피 성향은 협상가들이 위험을 회피하고 해소하기 위해 타협하도록 만들지만,
  이러한 행동은 예측 가능한 상황에서 경제학 모델이 예상하는 것 보다 덜 치명적이다. 

 

넛지는 선택환경에 변화를 주는 데 초점을 맞춘다. 

 

선택 설계는 사람들이 더 나은 결정을 내리도록 유하는 방향으로 선택 환경을 재설계하는 데 주력한다.

당신이 가족에게 설명서에 대해 묻기 전에, 가족이 당신의 아이스커피 옆에 설명서를 선제적으로 가져다 놓는다면,

자연스레 설명서를 읽지 않겠는가? 궁극적으로 선택 설계는 처음부터 선택 환경을 정교하게 설계함으로써

편향성을 깨는 과정을 개인에게서정부와 기업 혹은 가족으로 옮겨 놓는 작업이다. 

 

'특정한 맥락에서 어떤 유형의 조치가 의사결정을 향상시킬 수 있는가를 알아내기 위해서는 실험이 필요하다' 

라는 것이다. 

 

주저리 주저리 

' 피험 자가 적은 실험에서 얻은 추론은 통계적 방법을 통해 질적으로 개선될 수 있다 '

어떤 실험 결과를 측정 하기 위해 사용되는 온라인 데이터의 장점과 단점을 살펴보자. 

디지털 시대와 온라인 신문의 등장으로, 기사 제목과 관련된 이런 실험을 하는 게 무척 쉬워졌다. 물론 플랫폼이 

새로운 자료를 분석하도록 설계된 것도 큰 몫을 차지한다. 더 많은 독자를 확보하면 좋은 일이지만, 일회성 독자의 

확보는 신문사가 유념해야 할 유일한 관심사가 결코 아니다. 올바른 신문사라면 독자가 기사를 클릭하는데

그치지 않고기사를 읽고 정보를 얻어, 장기적인 독자가 되기를 원할 것이다. 따라서 클릭을 유도하는

자극적인 기사 제목은 단기적으로 더 많은 독자를 끌어들일 수 있겠지만,

장기적으로 처참한 결말을 맞이하기에 십상이다. 따라서 진정한 성공을 위해서 어떤 데이터를 어떻게

사용해야 할지 신중하게 생각해야 한다. 일반화해서 말하면, 결과 자체를 측정하기는 쉬워졌지만

적절한 결과의 선택은 여전히 중대한 과제이다. 

 

한 걸음쯤 물러나 생각하면 ,완벽하게 짜인 기준은 있을 수 없다. 적절한 결과들로 구성된 기준표를 작성 

하려면, 해당 조직이 지향하는 목표와 균형점에 관한 깊은 이해가 필요하다. 물론 어떤 데이터가 이용되고,

또 실제로 관찰된 데이터와 조직이 가장 이상적이라 생각하는 자료 사이에 어떤 차이가 있는지에 관한 

이해도 필요하다. 

 

똑똑한 실험은 상품 설계를 개선하고, 광고와 투자 방향을 결정하는 데 도움을 줄 수 있다. 하지만 실험에는 

여전히 많은 어려움이 있다. 

 

에어비앤비 < 실험의 가치 > 

 

• 실험의 용도 1  : 가정과 메커니즘의 검증 
  일반적으로 말하면, 많은 경우에 관리자들은 어떤 특정한 상황에 일어날 수 있는 결과를 가정한다. 
  실험은 그런 가정의 타당성이나 부당성을 증명하고, 사회과학자들이 메커니즘 달리 말하면,
  외적으로 관찰 되는일정한 양상을 만들어 가는 것이라 칭하는 것을 설명하는 데도 도움이 된다. 
• 실험의 용도 2 : 타협점의 파악 
  설계가 변경되면 그때마다 그 결과를 두고 새로운 타협점을 찾아야 한다.
  이때에도 실험이 도움을 줄 수 있다. 
  몇 번의 실험으로 타협점이 찾아지면, 실험마다 제시하는 최선의 방향이 다르더라도
  그 차이는 추측의 차이 때문이 아니라 타협점에 대한 선호의 차이에서 비롯되는 것이라 말할 수 있다. 
• 실험의 용도 3 : 정책의 평가 
• 실험의 용도 4 : 사실 확인 
  간혹 우리가 아무런 가정도 하지 않고, 아무런 이론도 갖지 않는 때가 있다. 예컨대 당신은 어떤 변화도 꾀하고 싶지 않고, 대단한 혁신을 기대하지 않을 수 있다. 또 과정을 약간 수정하면 어떻게 되는지
  그저 알고 싶기만 할 수도 있다. 과정이 중요하다고 생각하지만 정확히 어떻게 중요한지 알지 못하는 경우,
  실험을 통해서 사실을 확인할 수 있다.
  예컨대 이베이가 글자체를 선택하는 걸 당신이 돕는다고 해 보자.
  이베이가 쿠리어 글자체로 바꿔야 할까?
  이에 대해 좋은 이론이나 가정을 갖고 있기는 힘들지만, 결과를 확인하기는 쉽다. 

 

 

구글의 비즈니스 모델을 이해하려면, 구글 플랫폼이 어떻게 운영되는지 알아야 한다. 

 

알리바바의 초특가 할인 

 

알리바바에도 엄청난 양의 사용자 데이터가 축적된 상태였다. 그중에는 각 고객의 검색 기록,

과거의 구매 내력, 주소 등에 대한 정보도 있었다. 알리바바는 이런 데이터 보물 창고를 활용해,

할인권을 어떻게 발행 해야 하는지를 알아냈다.

예컨대 고객들은 곧바로 구매하지 않을 물건들을 쇼핑 카트에 넣어 두는 경우가 많았다.

그런 고객은 나중에 쇼핑 카트에 돌아와 그 물건을 구매하기도 했지만, 대다수는

쇼핑 카트에 담아 둔 물건을 구매하지 않았다. 
쇼핑카트에 담긴 물건들을 실제 구매로 연결하기 위한 수단의 일환으로,

알리바바는 판매자들에게 고객이 24시간 이상 쇼핑 카트에 담아 둔 물건들을 대폭 할인해 판매한느 걸 허용했다.

고객이 구매를 망설이는 물건에만 할인이 제공되기 때문에 그런 할인은 고객의 결정을 앞당기게 할 수 있다.

따라서 할인이 없어도 물건을 구매하는 사람들과 달리 구매를 망설이는 사람들에게,

쇼핑 카트에 담긴 물건을 겨냥한 할인은 매력적으로 느껴질 수 있다.

유효 기간이 있는 할인 행사를 알리는 이메일 발송과 달리,

이 전략에는 고객에게 구체적인 물건의 구매 결정을 독촉 한다는 이점이 있다. 

 

즉, 초특가 할인의 효과를 정확히 측정하기 위한 실험이였다. 

 

당연한 결과였겠지만, 사용자들은 쇼핑 카트에 담긴 물건에 할인권이 제공되면

그렇지 않은 경우보다 더 많은 물건을 구입 하는 듯했다. 하지만 할인 기간이 지나고 적어도

한 달 동안의 데이터를 분석한 결과에 따르면, 사용자들이 장기적으로 알리바바에서 더 많은 돈을 지출하는 것

같지는 않았다. 따라서 할인 효과에 총 비용에 비하면 그다지 크지 않았고,

사용자가 할인 되지 않는 물건에서 할인되는 물건으로 구매를 바꾸었다는 뜻 일 수 있다.

결국 쇼핑카트 판촉 프로젝트는 작은 청산에 불과하다는 뜻이었다.

어떤 판매자에게는 좋지만, 어떤 판매자에게는 나쁜 결과였고, 시장 확대는 없었따. 

 

할인 기간이 끝나고 4 주 동안의 구매 행태를 분석했다. 그 기간 동안, 사용자의 플랫폼 방문이 약간 증가했다.

예컨대 할인권을 받은 사용자는 플랫폼에서 더 많은 물건을 보았다.

대단한 변화는 아니더라도 분명히 좋은 징조였다. 그러나 이런 긍정적인 면에도 문제점이 있었다.

할인을 받은 고객들은 더 큰 할인을 기대하듯 쇼핑 카트에 더 많은 물건을 넣어둘 뿐, 이를 구매하지는 않았다.

결국 쇼핑 카트 판촉 프로젝트는 사용자에게 원하는 물건을 정가에 구입하도록 유도하지 못하고

할인을 기다리게 할 뿐이었다. 이는 장기적으로 보면 좋은 것이 아니었다. 

예컨대 판매자는 할인을 제공할 수 있어, 할인이 이익까지는 아니어도 매출 확대로 이어지면 행복할 것이다.

따라서 판매자의 관점에서 보면, 그 프로젝트를 계속 진행하는 게 더 나을수 있다. 그러나 관점을 플랫폼 쪽으로 돌리면 
상황이 어두워 진다. 할인 판촉으로 전체적인 매출은 증가하지 않는 듯하기 때문이다. 할인 판촉은 파이의 크기를 
키우지 않고, 파이를 조개는 방법을 바꾸는 것에 불과하다. 고객의 전략적 행동,

즉 쇼핑 카트에 물건을 넣어 두고 할인을 기다리는 행동이 증가하면, 계획한 목표가 악화되고

정가 판매에 재앙이 될 수도 있다. 이 실험과 내부 토론을 바탕으로,

알리바바는 쇼핑 카트 할인 프로젝트를 확대하지 않기로 결정했다. 

 

쇼핑카트 프로젝트를 설계할 때 알리바바가 더 깊이 생각했어야 할 요소들이 있다. 

첫째, 할인 판촉의 노출이 상대적으로 낮았다. 따라서 할인 행사가 끝난 뒤에야 쇼핑 카트를 재방문한 사용자가 
3분의 1에 달했다. 따라서 그들은 할인 행사가 진행되고 있다는 것도 몰라싿. 사용자에게 할인 행사를 알리는 
이메일조차 보내지 않았고, 할인을 알리는 행사의 노출까지 억제한 까닭에, 쇼핑 카트 할인 프로젝트를 못 보고 
넘겨졌을 것이다. 따라서 알리바바가 할인 행사의 노출 빈도를 높이는 등 다양한 방식으로 할인 인식도를 높였다면, 
사용자 행동도 극적으로 달라졌을 수 있다. 

 

둘째 , 쇼핑 카트 할인 프로젝트에서는 판매자들이 자기 상품의 할인율을 결정할 수 있었다. 이 때문에 할인율이 
구매 행위에 미치는 영향을 정확히 파악 할 수 없었다. 이 실험을 진행한 연구자들의 결과 보고서에 따르면 
다음과 같다. "쇼핑 카트 판촉 프로젝트에서는 큰 폭의 할인이 제시 되지 않는 경우가 많았다. 평균 할인율은 
17%, 중간 할인율은 13% 였다" 알리바바가 가용한 데이터를 활용해 판매자에게 어느 정도로 할인해야 하는지 
조언했더라면, 쇼핑 카트 프로젝트는 훨씬 더 효과적이었을 것이다. 

 

셋째, 할인 프로젝트가 사용자 만족도에 미친 효과도 역시 불분명하다. 물론 사용자와 알리바바의 관계에 대한 
장기적인 예측도 불확실하다. 쇼핑 카트 판촉 프로젝트가 전체적인 참여도를 바꾸는 데는 큰 효과가 없었지만,
그 프로젝트가 정교하게 설계되고 치밀하게 시행되었다면 알리바바에 큰 이익을 안겨 주었을 수 있다. 

 

스탠퍼드의 경제학자로 노벨 경제학상을 수상한 앨빈 로스는 한 번의 특별한 실험보다 '일련의 실험' 에서

배운것을 자주 언급한다. 다양한 메커니즘을 알아내기 위해 실험을 되풀이 할 때 더 많은 통찰을

얻을 수 있기 때문이다. 어쨌든 알리바바가 데이터에 근거해 결정을 내렸고,

연구자들이 무척 냉정하게 실험을 실시한 것은 칭찬받아 마땅하다.

다만, 할인 판촉 프로젝트와 그 가격 전략의 다른 부분들을 시험하고 다듬기 위해

더 많은 실험을 실시했더라면

그들의 플랫폼이 상당한 이익을 얻었을 것이다. 

궁극적으로 조직이 실험을 성공적으로 해내려면, 올바른 대답을 얻는 것만큼이나 올바른 질문을 제기 하는 게 

중요하다. 관리자들은 상품 자체를 테스트하는 데도 주력해야 하지만, 올바른 결정을 내리는 데 도움을 주는 

기준틀을 개발하기 위해 실험을 어떻게 활용한 것인지도 고민해야 한다. 달리 말하면, 경계적 조건과 메커니즘을 

알아내려고 애써야 한다는 뜻이다. 알리바바의 경우로 말하자면, 특정한 가격 정책이 효과가 있는지 판단하는 데 

그치지 않고, 전반적으로 할인이 어떤 이유에서 어떻게 효과가 있는지 알아내려고 애써야 했다는 뜻이다. 

 

생각해봐야 하는 것들 

고객이 구매하느냐 않느냐 

고객이 지불하는 액수에 주목 해야 한다고 생각하는가 ? 

수익률은 어떠한가 ? 

실험은 기업의 성과를 개선하고, 더 나은 의사결정을 용이하게 해 주는 소중한 도구이다. 어떤 정책의 효과를 기업과 

그 고객등리나 직원들이 분배해야 할 때, 실험은 당사자 모두에게 최적의 결과를 안겨 줄 수 있다. 그러나 고객과 

직원에게 할당되는 몫은 분명하지 않은 반면에, 기업이 다른 변수들을 희생시키면서 재정적인 이익을 취할 가능성이 

커지는 상황은 적지 않게 나타난다. 이런 상황에서, 기업의 평판과 고객의 만족 같은 다른 변수들과 금전적 이익에 

각각 어떤 가중치를 두느냐는 전적으로 기업의 몫이다. 

 

• 옐프는 고객에게 음식 배달 사업을 강화할 때 배달 상황을 점검하는 데 그치지 않고, 플랫폼에서
  식당 예약의 수가 어떻게 변하는지 조사함으로써 배달 역량의 개선이 다른 상품을 몰아내지 않는지
  파악해야 한다. 
• 에어비앤비는 '출장' 상품을 수정할 때 그 상품의 용도가 어떻게 변하고,
  에어비앤비의 기본적인 상품에는 어떤 영향을 미치는지도 살펴봐야 한다. 
• 아마존이 온라인 쇼핑에 변화를 주려는 실험을 한다고 가정해 보자.
  쇼핑 행동이 크게 달라지면, 사용자가 플랫폼에 참여하는 방법 전체가 변할 수 있다.
  따라서 아마존은 영화를 스트리밍 하는 사용자의 수가 달라지는지 알고 싶을 것이다. 

우버는 어떤 상품을 출시하고, 그 상품을 어디에 출시하고 어떻게 설계해야 하는지 핵심적인 문제들에 대한 
답을 실험에서 찾으며, 실험을 꾸준히 실시했다. 파급 효과를 피하고, 신상품이 상품 전체에 어떻게 악영향을 주는지
파악하기 위해 우버는 물리적인 시장에서 직접 실험하는 경향을 띤다. 예컨대 어떤 상품을 무작위로 선별한 몇몇 
시장에만 출시하면서 그 시장 내의 모든 사용자에게 노출하는 방식이다. 구체적으로 예를 들면 신상품이 

클리블랜드 전역에는 출시되지만, 보스턴에는 전혀 출시되지 않는다. 이 경우에는 보스턴이 대조군이 된다. 

특히 통계적 방법의 발달로, 우버는 여러 도시의 가중치를 결합해 한층 적합한 '가상의 대조군' (synthetic control group)
을 만들어 낼 수 있었다. 익스프레스 풀이 새로운 종류의 짝짓기를 만들어 낸 것은 조금도 놀랍지 않았따. 
게다가 그 실험을 근거로, 익스프레스 풀이 우버의 기존 상품들에 미치는 영향을 설명하고, 익스프레스 풀이 우버의 
기존 상품들에 미치는 영향을 설명하고, 익스프레스 풀의 출시가 비즈니스적으로 합리적이라는 것도 

확실할 수 있었다. 따라서 워는 익스프레스 풀을 많은 주요 도시에 자신 있게 도입할 수 있었다. 실험이 없었다면, 

그런 확신과 자신은 가능하지 않았을 것이다. 

"도시마다 매개변수가 다르다. 따라서 실험이 더욱더 까다롭다." , "적절한 타협점은 교외 지역과 도심에서도 다르다. 

물론 러시아워와 그 외의 시간에서도 다르다. " 

 

우버의 실험을 통해, 혁신을 시도하는 과정에서 실험이 어떤 도움을 줄 수 있는지 대략적으로 엿 볼 수 있다. 
우버에서 혁신 과정은 비용을 크게 들이지 않고 데이터를 수집하는 것으로 시작 되는 경우가 많다. 

예컨대 사용자들과 토론을 벌이고, 과거의 자료와 현재의 시장을 분석하고, 변화를 시도할 때 예상 되는
결과를 파악하기 위해 모의실험을 실시한다. 또 어떤 신상품을 밀어붙이고 싶으면,
한 두 도시에서 시험적으로, 시도하며, 그 상품이 예상만큼 기능적인지 파악한다.
달리 말하면, 우버의 다른 상품에 아무런 피해를 주지 않는지 추적한다. 

많은 기업이 오래전부터 이런 식으로 데이터를 수집해 왔다.
우버는 시장 전체를 대상으로 대규모 실험을 실시한 후에, 상대적으로 작은 실험들에 뒤이어
추진하며 해당 상품을 정교하게 다듬는 다는 점에서 다르다. 

'현재 편향' present bias 미래에 닥칠 상황을 무시하며 현재의 비용과 편익을 지나치게 중시하는 경향 

 

어려운 결정을 내려야 하는 책임은 리더의 몫이지만, 리더가 더 나은 결정을 내리도록 도움을 줄 수 있는 것이 
실험이다. 리더에게는 모르는 것을 인정하는 겸손함과, 어려운 질문에 답을 구한느 도구의 일부로써 실험을 

활용하겠다는 확신이 필요하다. 또 리더에게는 조직원들이 실험을 학습하고 적응하기 위한 정상적인 방법으로 

받아들이도록 설득하는 힘도 있어야 한다. 실험이 어떤 조직에서는 당연하게 여겨지지만,
여전히 실험을 생경하게 

생각하는 조직이 많은 것도 결코 우연은 아니다. 리더가 분위기를 만든다. 

실험을 달갑게 생각하지 않는 리더나느, 조직을 더 효율적으로 운영할 방법을 찾는 걸
방해하는 장벽이기도 하다. 달리말하면, 리더가 실험을 경영적 결정과 무관한 기술적인 도구에
불과하다고 생각한다면 큰 실수를 하는 셈이다.

 

교훈 1 : 지금은 실험 혁명이 시작된 초기에 불과하다. 

실험 혁명의 시작에는 3가지 핵심 특징이 큰 역할을 했다. 

첫째, 기록의 디지털화와 온라인 플랫폼의 지속적인 확대로 예전보다 훨씬 많은 데이터를 이용할 수 있게 되었다. 

둘째, 온라인 플랫폼 덕분에 무작위 추출이 더 쉬워졌고 비용도 줄었다.
테크 기업은 대조군을 두는 게 표준적인 운행 방식이다.
무작위 추출에 어떤 단추를 클릭하는 것 보다 시간이 더 걸리지도 않는다. 

셋째, 행동과학적 연구의 결과로, 지극히 작은 변화가 의사결정에 큰 영향을 미칠 수 있고,
인간의 직관에는 많은 결함이 있다는게 밝혀졌다. 따라서 실험을 통해, 직관이 증거로 보완될 수 있다. 

 

교훈 2 : 지금까지는 많은 실험이 좋았다. 

개략적으로 말하면, 더 나은 결정을 위한 증거의 활용은 긍정적인 변화이다.
실험은 각 방법의 효율성을 예측하는데 
도움을 줄 수 있다. 

 

교훈 3 : 실험을 통해 조직은 더 효율적인 조직으로 성장할 수 있지만,
고객이나 조직원에게는 부정적인 영향도 미칠 수 있다. 

 

실험을 통해 조직은 새로운 것을 배우고, 목표에 더 효과적으로 다가갈 수 있다.
그러나 당신이 그 목표에 동의하지 않으면 어떻게 될까? 그런 경우에 조직은 실험을 통해 당신이 원하지 않는 것을 더 능란하게 해내는 조직으로 변하게 된다. 이런 의미에서 실험은 한낱 도구,
다시 말하면 여느 도구처럼 좋은 용도만이 아니라 나쁜 용도에도 사용되는 도구가 된다.
예컨대 실험이 수수료를 감추는 데 사용되면 회사는 더욱더 효과적으로 수수료를 은폐할 수 있겠지만,
고객에게는 궁극적으로 나쁜짓을 하는 셈이다. 

 

교훈 4 : 실험은 테크 분야 너머에서도 중요하다 

영리 조직과 비영리 조직의 리더들과 정책 입안자들은
자신의 조직에 실험이 언제 어디에서 가치를 더 해 줄 수 있을지 항상 생각해야 한다. 

 

교훈 5 : 아직도 해야할 일이 많다. 

아직도 실험의 초기 시대에 불과하다. 앞에서도 언급했듯이, 실험이 어떤 영역에서는 상식이 되었지만,
실험을 꿈도 꾸지 못하는 영역도 많다. 그 이유는 실험하기가 상대적으로 적합한 환경이 있기 때문이다. 

하지만 많은 조직이 실험을 언제 어떻게 사용해야 하는지 제대로 모르는 것도 사실이다.
예컨대 우버에서는 실험이 의사결정에 중대한 역할을 하지만,
우리가 알기에 전혀 실험하지 않는 대형 승차 공유 기업도 하나 있다. 우버에서도 실험을 최적으로 실시하고,
실험으로부터 유의미한 통찰을 끌어내는 걸 방해하는 장애를 극복하는 방법을 알아내는 데
여전히 많은 시간과 자원을 투자하고 있는 실정이다. 

조직의 의사결정과 실험의 유용성

1. 실험은 기존의 상품이나 정책을 객관적으로 평가하는 데 도움을 줄 수 있다. 
   조직은 어떤 상품이나 정책을 내놓아야 하는가를 정확히 알고 있다.
   이런 경우에 실험은 새로운 정책이나 상품의 영향을 측정하는 데 도움을 주고,
   어떤 결과가 의도한 것이고 어떤 결과가 의도하지 않은 것인가를 명확히 구분하는 데도 도움을 줄 수 있다. 
2. 실험은 이론이나 가설을 테스트 할 수 있다. 
   당신이 어떤 특별한 상품이나 정책을 계획하고 있다면, 그 상품이나 정책이 어떤 이유에서
   어떤 효과를 갖는지 파악하는데 실험이 도움을 줄 수 있다. 이런 경우,
   실험은 특정한 가설을 테스트하는 데도 도움이 된다. 어떤 이유에서 영향을 미치는지 이해하는 데도
   도움을 주도록 설계되는 메커니즘 실험은 가설을 테스트하는 데 도움을 줄 수 있다. 
3. 실험은 기준틀을 개발하거나 개선하는 걸 도울 수 있다. 
   실험의 동무을 받아, 조직은 어떤 결정에나 적용되는 기준틀을 개발 할 수 있다.
   조직이 어떤 유형의 결정을 마주하는 빈도가 높아지면,
   단순한 상품 평가에 만족하는 것보다 기준틀을 마련하는 게 무엇보다 중요해진다. 
4. 실험은 가설이 아직 존재하지 않은 영역에서 사실 확인을 위해 사용 될 수 있다. 
   당신에게 아직 어떤 가설도 없는 경우가 있을 수 있다.
   이런 경우에도 실험은 사실 확인을 통해, 기존 기준들에서 
   빠진 것이 무엇인지 파악하는 데 도움을 줄 수 있다. 

실험의 진정한 지지자가 되려면 불확실성도 인정할 수 있어야 한다. 우리가 노력을 기울이더라도
새로운 아이디어가 효과적이지 않다는 것으로 결론지어질 수 있다는 걸 인정해야 한다는 뜻이다.
달리 말하면, 실험은 대체로 긍정적인 힘을 갖는다. 그러나 모든 증거 수집이 그렇듯이,
증거의 가치는 실험을 실시한 사람에게 전적으로 달려 있다.

 

데이터 분석가를 희망하고 있는 사람이거나, 현재 주니어 포지션 이라면 꼭 읽어야 하는 서적이라고 생각한다.

무엇을 보고 싶은지, 어떤 패턴을 찾아야 하는지, 내가 놓치고 있는 것은 무엇인지 

다시 한번 더 생각할 수 있게 해주는 책이다.