RudolpiA

이번 3장은 데이터에 관해 어떻게 사고 해야 하는지를 다룬다. 비즈니스나 일상에서 마주치는 데이터에 관해 비판적으로 사고하고 소비하는 마음가짐을 갖추고자 한다. 이번 장은 이 책의 나머지 부분을 읽기 위한 중요한 토대가 된다.  | 질문을 하자통계적 사고의 핵심 표어는 "질문을 하자"다.우리 대부분은 일상에서 어느 정도 이 표어를 실천하고 있다. 여러분은 이미 데이터 관련 서적을 읽는 독자이므로 자칫 확신이 과하게 넘쳐흐르는 광고나 기이한 소셜 미디어 게시물을 보면 당연히 의심을 품을 것이라 생각한다. 따라서 이런 능력은 여러분 안에 이미 내재돼 있다. 솔직히 말해, 관찰자의 태도로 한 발 뒤 물러나 이와 같은 명백한 거짓을 낱낱이 해부해 보는것 은 꽤 흥미로운 일이다.  |'통계적 사고' 에 대한 견해..

이 분야를 제대로 이해하려면 '데이터는 복잡하다' 는 근원적인 진실을 인정해야 한다는 의미다. 데이터를 분석한다는 것은 숫자와 미묘한 차이, 그리고 불확실성을 다루는 것이다. 데이터는 중요하지만, 그렇다고 결코 단순하지도 않다. 그럼에도 우리를 오해하게 만드는 산업이 생겨났다. 바로, 불확실한 세상에서 확실성을 약속하고 기회를 놓칠지 모른다는 기업의 두려움을 이용하는 산업이다. 우리는 이를 '데이터 과학 비즈니스' 라고 부른다.  이 책을 읽으면 데이터 과학 비즈니스를 잘 헤쳐 나갈 수 있는 분석 도구, 용어, 사고방식을 습득하고 데이터에 관련된 어려운 문제를 조금 더 깊게 이해할 수 있다. 학습을 통해 데이터와 분석 결과에 대해 비판적으로 사고하고 데이터에 관한 모든 일에 대해 똑똑하게 자신의 의견을 ..

앞의 t-test에서, 이상치와 왜도를 통해 그 결과가 건강한지 살펴보았습니다. ANOVA 는 이러한 제약이 조금 더 타이트하며, 다른 통계학 모형들 또한 그런 경우가 많습니다. ANOVA와 많은 모형들은 원본 Raw 데이터가 아닌 잔차Residual 에 대한 가정을 가집니다. 정규성 Normality 잔차의 분포가 정규분포를 따름을 가정합니다. 가장 흔한 문제는 앞에서 보았던 왜도Skewnes와 이상치Outlier이며, 가장 중대한 문제입니다. QQplot 을 통해 시각적으로 확인할 수 있습니다. 통계적 검사를 통해 이를 진단할 수도 있습니다. -Shapiro 는 소표본 (N1,000,000) 는 샘플링하여 검사한느 것도 좋습니다. 로그 변환 Log transformation 와 이상치 제거로 해결되는..

통계적 가설 검정 이란 ? 주어진 자료가 특정 가설을 충분히 뒷받침 하는지 여부를 결정하는 통계적 추론 방법. 통계적 가설의 구분 귀무(영) 가설 Nll Hypothesis - 기존의 통념이라 일반적으로 표현, 기본값 Default 에 가깝습니다. 대립 가설 Alternative Hypothesis - 새롭게 입증, 주장하고자 하는 것 - 우리의 목표는 보통 귀무가설이 틀렸을 데이터로 증명하는 것 입니다. Example - 앞의 인스타카트 예시를 다시 다듬으면 다음과 같이 됩니다. - Before : 인스타카트를 이용하는 유저들은 주말에 조금 더 많은 수량의 상품을 구매할 것이다. After - 귀무가설 : 인스타카트를 이용하는 유저들의 1회 상품 구매량은, 주중과 주말에 차이가 없다. - 대립가설 : ..