ADsP 데이터와 정보 1주차

데이터를 가공하여 유의미한 정보를 도출하고 분석하는 방법론에 대해 학습 합니다.

통계 이해가 필수인 머신러닝, 딥러닝을 이어가는 기초과정이며 데이터의 기본기를 가질 수 있습니다.

ADsp 를 배우면

1. 현대 사회는 데이터 기반으로 모든 것이 이루어짐
2. 모든 IT 직무에서 활용 가능
3. 데이터 분석에 대한 기본적인 이해를 바탕으로 한 소통 가능

---

정성적 데이터	언어 문자 등	설문 조사 , SNS 데이터 등
정량적 데이터	수치. 기호 도형 등	41kg , 31세 , 29츠 등

정형 데이터 ' 비정형 데이터 ' 반정형 데이터

• 정형 데이터

고정된 틀이 있으며 연산이 가능 (Ex.CSV, 엑셀, 스프레드 시트, 관계형 데이터베이스 등)

• 비정형 데이터

고정된 틀이 없으며 연산이 불가능 (EX.NoSQL, 영상, 음성 등)

• 반정형 데이터

고정된 틀을 가지고 있지만 연산이 불가능 (EX.HTML, JSON, XML 등 )

기업 내 조직의 관점에서 조직원 개인의 지식을 공유하고 발전시키는 데 관심을 둔 경영학 에서는 암묵지와 형식지의 상호 작용을 중요하게 생각 합니다. 개인에게 내면화된 지식을 조직의 지식으로 공통화하기 위해서는 기호, 숫자 등의 형태로 표출화 하고 이를 다시 개인의 지식으로 연결하여 그 바탕 위에서 새로운 경험을 부가하여 다시 내면화되는 과정을 거칩니다. 상호 순환작용을 통해 조직의 지식이 증대된다고 보기 때문에 데이터 지식 형성의 중요한 기초를 이룹니다.

DB : 필요로 하는 정보를 체계적으로 수집/축적 하여 제공하는 정보의 집합체

DBMS : 이용자가 쉽게 데이터 베이스를 구축하고 유지할 수 있도록 하는 소프트웨어

데이터 베이스의 종류

• 데이터 베이스 종류에는 계층형, 네트워크형, 관계형,NoSQL 등이 있음

관계형 데이터 베이스 (Relational Datebase)

• 데이터를 행과 열로 표현된 표형식으로 저장하며 데이터 간의 관계를 나타내는 테이블을 사용함
• 관계형 데이터베이스는 SQL 을 사용하여 데이터를 조작하고 검색
• Oracle, MYSQL, MariaDB, SQLite, Postgresql 등

비관계형 데이터 베이스

• Not Only SQL 또는 Non-SQL 의 약자로, 관계형 데이터 베이스 가 아닌 다른 형태의 데이터베이스 관리 시스템을 나타내는 용어
• 관계형 데이터 베이스와는 다른 데이터 모델과 기술을 사용하여 데이터를 저장, 검색 및 관리
• 비정형 데이터와 대용량의 데이터 분석 및 분산 처리에 용이
• MongoDB, ElasticSearch, Redis, Dynamo 등

---

통합된 데이터	동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미 데이터 중복을 관리상의 복잡한 부작용을 초래
저장된 데이터	컴퓨터 기술을 바탕으로 컴퓨터가 접근 할 수 있는 저장 매체에 저장되는 것을 의미
공용 데이터	다수의 사용자가 다양한 목적으로 데이터를 이용한다는 것을 의미, 대용량화되고 구조가 복잡한 것이 일반적
변화되는 데이터	데이터의 삽입, 삭제, 갱신으로 변화하면서도 항상 정확한 데이터 상태를 유지

 

데이터 베이스의 다양한 측면에서의 특징

구분	특징
정보의 축적 및 전달 측면 (기계)	기계가독성 : 대량의 정보를 일정한 형식에 따라 컴퓨터 등의 정보처리기기가 읽고 쓸 수 있음  - 검색 가능성 : 다양한 방법으로 필요한 정보를 검색 가능  - 원격 조작성 : 정보통신망을 통해 원거리에서도 온라인 이용 가능
정보 이용 측면 (사용)	다양한 정보를 신속하게 획득 원하는 정보를 정확하고 경제적으로 찾아낼 수 있다
정보 관리 측면 (데이터 관리)	정보를 일정한 질서와 구조에 따라 정리 저장 검색 관리 할 수 있도록 하여 대량의 정보를 체계적으로 축적하고 새로운 내용 추가나 갱신이 용이
정보기술 발전의 측면	정보처리, 검색, 관리 소프트웨어, 관련 하드웨어, 정보 전송을 위한 네트워크 기술 등의 발전을 견인할 수 있다
경제 산업적 측면	다양한 정보를 필요에 따라 신속하게 제공하고 이용 할 수 있는 인프라의 특성을 가지고 있어 경제, 산업, 사회 활동의 효율성을 제고하고 국민의 편의를 증진 하는 수단으로서 의미를 가진다

 

---

기업 내부 데이터 베이스 

1. 1980 년대 기업 내부 데이터 베이스 

OLTP (Online Transaction Processing) : 정보 시스템 

• 데이터 베이스의 데이터를 수시로 갱신하는 프로세싱 
• 데이터 갱신 위주 

ex . 주문이 들어올 경우 이를 처리하고(주문입력시스템), 재고를 업데이트(재고관리시스템) 하는데 사용 

 

OLAP (Online Analytical Processing) : 분석 중심의 시스템 

• 데이터 조회 위주 -> 모아둔 데이터에 초점 

ex. 복잡한 데이터를 분석하여 제품의 판매 추이, 구매 성향 파악 등을 프로세싱 

 

2000년대 기업 DB 구축 화두 

CRm (Consumer Relationship Management, 고객 관계 관리) 

• 고객의 구매 이력 데이터를 분석하여 고객에 대한 이해도를 높이고 이를 바탕으로 효과적이고 효율적인 마케팅 전략을 펼치는 것 

ERP 기업이 보유한 자원을 효율적인 활용과 분배를 위한 목적 

---

사회 기반 구조로서의 데이터 베이스

기본 개념 

• 1990년대 정보화가 본격화되면서 데이터베이스 구축이 활발하게 추진 
• 이후 무역, 통관, 물류, 조세, 국세, 조달 등 사회간접자본(SOC) 차원에서 EDI(전자문서교환) 활용이 본격화 되며 부가 가치 통신망(VAN) 을 통한 정보망이 구축되기 시작 
• 지리, 교통 부문의 데이터 베이스 고도화 
• 의료, 교육, 행정 등 사회 각 부분으로 공공 DB 의 구축 및 이용이 확대됨 

1. 물류 부문

• '실시간 차량 추적' 을 위한 종합물류 정보망 구축 
• CVO 서비스 (Commercial Vehicle Operation System, 화물운송정보) 
• EDI 서비스 : 주문서, 납품서, 청구서 등 무역에 필요한 여러 서류를 표준화 된 양식을 통해 컴퓨터 통신망을 이용하여 거래처에 전송하는 시스템 
• VAN : 부가가치 통신망, 공중 전기통신사업자(예컨대 한국 전기통신 공사로)로 부터 통신회선을 차용하여 독자적인 네트워크를 형성 하는 것 
• CALS(Commerce At Light Speed) : 제품의 설계, 개발, 생산에서 유통, 폐기에 이르기까지 제품의 라이프 사이클 전반에 관련된 데이터를 통합하고 공유, 교환할 수 있도록 한 경영 통합 정보 시스템 
• PORT -MIS : 해양수산부의 항만운영정보시스템 
• KROIS : 철도청의 철도운영 정보 시스템 
• 데이터 베이스 서비스(물류정보), 부가서비스로 구성 

2. 지리 부문

1. 지리 정보 유통망이 가시화 : 국토 교통부의 지리정보 유통센터를 중심으로 지리정보 통합 관리소 운영, 지리 정보 수요자에게 정보 제공 
2. GIS 응용에 활용하는 4S 통합 기술 
3. GIS : 지리 정보 시스템 
4. RS : 원격 탐사 
5. GPS : 범지구위치결정 시스템 
6. LBS : 위치 정보 서비스 
7. SIM : 공간정보 관리 시스템 

3. 교통 부문 

• ITS : 지능형 교통시스템 
• 교통 정보, 기초자료 및 통계 제공 등 대국민 서비스 확대 

4. 의료 부문 

• 의료정보 시스템 : 처방전달시스템, 임상병리, 전자의무기록, 영상처리 시스템, 병원의 멀티미디어, 원격의료, 지식정보화 
• HL7 국내 표준화 작업에 따라 전국적인 진료 정보 공유 체계 구축 계획 수립 
• PACS (Picture Archiving and Communications System)
• U 헬스 (Ubiquitous - Health)

5. 교육 부문

• NEIS (Nationla Education information System) 교육 행정 정보 시스템 
• 첨단 정보 통신 기술 (ICT) 을 활용한 각종 교육정보 개발 및 보급 정보 활용 교육