RudolpiA

14. 메모는 점이고, 점이 모여 트렌드가 된다. - 일상에서 읽은 다양한 정보를 여러 가지 방식으로 메모해둔다. 메모는 낱개의 점이지만, 메모가 쌓이게 되면 점과 점이 연결되는 선이 되고, 선을 모으면 면으로 발전한다. 면은 거대한 트렌드이다. 앞으로 어떤 기술과 서비스가 주목받을 것인지는 일종의 발견이 아니라 분석과 해석을 통한 논리적 도출이다. 그런데 그렇게 하기 위해서는 평소 여러 사람들의 의견, 시장 정보와 흐름을 잘 캐치하고 이를 내 생각으로 한 번 더 필터링 하는 것이 중요하다. 남들보다 앞서서 세상을 읽으려면 스스로 논리적 가설을 세우는 힘이 반드시 필요하다. 점이 많아질수록 선은 빨리 만들어진다. 그러니 어떤 점들이 생겨났는지 점의 크기는 어떻게 변해가는지, 무엇과 무엇이 결합되어 선이 ..

데이터 분석, 꼭 알아야 할 15가지 Garbage in, Garbage Outr 가장 중요하면서도 핵심이 되는 말이다. 데이터가 쓰레기면 아무리 날고뛰는 분석 도구를 사용한다 하더라도 결과물은 쓰레기다. 한마디로 말해 사용할 수 없는 데이터다. 분석 자체보다 분석 과정 전체를 보는 것이 훨씬 더 중요하다. 기계학습 Machine Learnig 이 비약적으로 발전하면서 데이터 분석에 쓸 수 있는 도구들이 많아졌다. 이런 도구들 덕분에 분석 자체는 과거보다 훨씬 쉬워졌다. 그래서 지금은 어떤 식으로 데이터를 가져오고 어떤 전처리를 거쳤으며 어떤 분석 도구를 사용했는지, 이러한 과정 전체인 분석 시스템 설계가 훨씬 더 중요해졌다.그리고 이때 필요한 지식은 분석 시스템/프로세스 설계 지식이지, 데이터 분석 그..

내가 하는 일에 있어서 데이터의 역할을 정의하자. 즉, 데이터와 관련해서 나의 롤이 무엇인지를 알아야 데이터에관한 공부의 목적성이 분명해 진다. 내가 데이터 수집 전문가인지, 수집된 데이터를 갖고서 분석을 하는 전문가인지, 마케터로서 분석된 데이터를 갖고서 업무에 활용하려는 사람인지 이를 분명히 할 때, 데이터 사이언스와 관련해서 무엇을 알아야 하고, 무엇을 주의해야 하는지가 결정 된다. 이 책은 데이터 전문가 중에서는 이제 막 입문하고자 하는 분들 그리고 데이터 전문가가 아닌 분 중에서는 데이터에대한 특징을 이해해서 업무적으로 도움을 얻고자 하는 분들이 보는 책이다. 데이터 사이언스 입문서 중에서도 "자칫 실수할 수 있는 부분들"에 좀 더 주목해서 쓴 책이다. 그래서 "데이터에 관해 꼭 알아야 할 오해..

8. 유명 스타트업의 행보와 목소리에 집중한다. 이제 막 성장하기 시작한 스타트업은 두려울 게 없다. 그래서 이들은 누구보다 지금의 트렌드를 잘 설명한다. 그리고 자신이 그 중심에 있다고 말한다. 즉, 이들의 목소리를 잘 청취하고 쫓는 것만으로도 주목할 트렌드 읽기가 가능하다. 9. 인기 상품 / 서비스의 히트 원인을 탐색한다. - 핫 한 상품과 서비스를 탐색하고 이들의 비즈니스 모델을 파악한다. 최근에는 상품과 서비스의 결합으로 인기를 얻는 사례도 많아지고 있다. 히트원인은 여러 가지로 분석될 수 있는 만큼 다양한 관점이라는 것을 놓치지 말아야 한다. IT 기술이 시장에서 최종적으로 선보이는 방식은 결국 상품을 통해서다. 많은 사용자에게 선택되고 사용되면 해당 상품에 쓰인 기술은 트렌드가 된다. 그러므..

1. 키워드 중심으로 정보를 습득한다. - IT 미디어/ 뉴스레터 / 콘퍼런스에서 키워드 중심의 정보를 습득한다. 그리고 책을 통해서 키워드가 의미하는 변화의 큰 흐름을 읽는다. 그런 다음 커뮤니티의 댓글, 구글 트렌드 검색으로 사용자의 반응을 살펴본다. 눈 떠서 가장 먼저 하는 일은 IT 뉴스를 챙기는 것부터다. 그래서 이 책을 읽는 분들에게도 가장 먼저 권하고 싶은 것은 뉴스 챙기기 다. 특히 내가 IT에 속하지 않는 곳(산업)에서 일하고 있다면, 다른 무엇보다 매일 아침 IT 뉴스 읽기부터 시작해야 한다. 더보기 기본적으로 내가 뉴스를 읽는 방법은 세 가지다. 첫번째는 IT 전문 사이트의 뉴스레터를 구독하는 방법이다. 인터넷 기업 협회, 더코어, 더 밀크 등의 뉴스레터를 구독한다 . 페이스북이나 트..

Why ANOVA 앞서 보았듯, t-test 는 3개 이상의 집단을 검정할 수 없습니다. 이를 커버하기 위해, 한 번에 여러 집단의 평균을 검사하는 ANOVA 를 사용 합니다. 앞서의 예시를 보자면, 주중/주말의 차이가 아닌 요일별 차이를 볼 수 있습니다. ANOVA 의 원리 : 평균을 검정하는 분산 분석 ANOVA 는 평균을 비교하는 방법론이지만, 분산을 이용 합니다. 각 집단의 평균은 어차피 조금씩 다를 수밖에 없는데, 그 차이가 유의미하게 큰지를 확인 하기 위해 분산을 이용 합니다 그래서, 분산에 관련된 2개의 분포를 더 배워보겠습니다. 카이제곱 분포는 이름은 어려워보이지만, 굉장히 자주 쓰이는 분포 입니다. 기본적으로 표쥰 정규 분포의 제곱합으로 정의 됩니다. 여기서는 K 는 데이터의 개수이며, ..

통계적 가설 검정 이란 ? 주어진 자료가 특정 가설을 충분히 뒷받침 하는지 여부를 결정하는 통계적 추론 방법. 통계적 가설의 구분 귀무(영) 가설 Nll Hypothesis - 기존의 통념이라 일반적으로 표현, 기본값 Default 에 가깝습니다. 대립 가설 Alternative Hypothesis - 새롭게 입증, 주장하고자 하는 것 - 우리의 목표는 보통 귀무가설이 틀렸을 데이터로 증명하는 것 입니다. Example - 앞의 인스타카트 예시를 다시 다듬으면 다음과 같이 됩니다. - Before : 인스타카트를 이용하는 유저들은 주말에 조금 더 많은 수량의 상품을 구매할 것이다. After - 귀무가설 : 인스타카트를 이용하는 유저들의 1회 상품 구매량은, 주중과 주말에 차이가 없다. - 대립가설 : ..

Tensorflow : 구글이 오픈소스로 공개한 기계학습 라이브러리로 2.0 버전부터는 딥러닝 라이브러리를 구축 하는 Keras 패키지를 통합하게 되었다. Tensorflow 패키지 이해 tensorflow.keras.model.Sequentital model.add : 모델에 대한 새로운 층을 추가함 - unit model.compile : 모델 구조를 컴파일 하며 학습 과정을 설정 -optimizer : 최적화 방법, Gradient Descent 종류 선택 loss : 학습 중 손실 함수 설정 - 회귀 : mean_squared_error(회귀) - 분류 : categorical_crossentropy metrics : 평가 척도 -mse : Mean Squared Error -acc : 정확도 f..

공통점 : 데이터로부터 가중치를 학습하여 패턴을 인식하고 결정을 내리는 알고리즘 개발과 관련된 인공지능 (AI)의 하위 분야 차이점 - 머신러닝 : 데이터 안의 통계적 관계를 찾아내며 예측이나 부류를 하는 방법 - 딥러닝 : 머신러닝의 한 분야로 신경세포 구조를 모방한 인공 신경망을 사용함 딥러닝의 유래 인공 싱경망 ( Artificial Neural Networks) - 인간의 신경세포를 모방하여 만든 망(Networks) 신경 세포 : 이전 신경세포로 들어오는 자극을 이후 신경세포로 전기신호로 전달하는 기능을 하는 세포 퍼셉트론 (Perceptron) : 인공 신경망의 가장 작은 단위 선형회귀식 - Y = wX + B 몸무게와 키 데이터 Y : 키 x : 몸무게 b: 100로 임의로 설정 W : 1로..

비지도 학습 예시 - 고객 특성에 따른 그룹화 ex : 헤비유저, 일반유저 - 구매 내역별로 데이터 그룹화 Ex: 생필품 구매 더보기 다시 말해 비지도 학습은 데이터 기반으로 레이블링을 하는 작업이라고 하겠습니다. 정답이 없는 문제이기 때문에 지도 학습보다 조금 어렵고 주관적인 판단이 개입하게 됩니다. 붓꽃 데이터를 이용한 군집화 예시 K - 평균 군집화 혹은 알고리즘은 가장 일반적으로 사용되는 알고리즘 입니다. 쉬운 예시를 위해서 붓꽃 데이터 (IRis) 데이터로 살펴 보겠습니다. sepal_length : 꽃 받침의 길이 sepal_width : 꽃 받침의 너비 petal_length : 꽃 잎의 길이 petal_width : 꽃 잎의 너비 species(Y, 레이블) : 붓꽃 종 (setosa, v..