ADsP 자격증 - 1과목
데이터의 정의
-특성 : 객관적 사실(팩트)
-여러개가 모여 추론, 예측 등을 위한 근거가 됨
1. 정량/정성적 데이터
-정성적 : 언어, 문자 (예시: 기상특보 등의 서술식 글)
양이 증가하면 많은 비용이 든다.
-정량적 : 도형, 수치, 기호 (예시: 온도, 강수량, 풍속)
양이 증가해도 관리가 용이하다.
2. 지식경영 데이터
polanyi에 의해 널리 알려진 지식의 두가지 차원
지식경영(지식의 발전을 기반으로 한 경영)의 핵심이슈이며, 상호작용한다.
-암묵지 : 경험을 통해 개인이 습득한 무형 지식, 공유가 어려움
-형식지 : 매뉴얼, 교과서, 비디오, DB 등으로 형상화된 지식, 공유에 용이
3. 암묵지, 형식지의 4단계 지식전환 모드
공통화 : 개인이 개인에게 지식을 공유 (암>암)
표출화 : 공유된 지식을 매뉴얼화 (암>형)
연결화 : 매뉴얼을 업데이트 (형>형)
내면화 : 매뉴얼을 개인이 습득 (형>암)
4. 데이터와 정보의 관계(DIKW 계층구조)
데이터 : 가공전 상태
정보 : 데이터 간 연관 관계 속 도출된 의미
지식 : 연결된 정보 패턴을 이해하여 예측한 결과물
지혜 : 원리를 이해하여 도출된 아이디어
5. 데이터 베이스
-데이터 베이스의 정의
정형, 비정형 데이터를 저장하고 더 나아가 정보를 저장/검색하는 복합체
-특징
통합 : 중복되지 않음
저장 : 컴퓨터가 접근하는 저장매체에 저장됨
공용 : 여러 사용자가 공동으로 이용
변화 : 추가/삭제/갱신 등으로 현재의 정확한 데이터를 유지
6. DBMS, RDBMS, ODBMS
-DBMS : 데이터 베이스를 관리하는 소프트 웨어
DBMS의 종류 두가지
RDBMS : 정형 데이터로 구성, SQL을 사용하여 관리
ODBMS : 객체지향, 상속, 복잡한 데이터를 관리
7. 데이터 베이스 관련
-설계 절차
요구 분석 > 개념적 설계 > 논리적 설계 > 물리적 설계
-NoSQL 저장방식 도구
MongoDB, HBase, Redis
8. 시대별 기업내부 데이터베이스 솔루션
-OLTP : 온라인 거래 처리
-OLAP : 통계적 요약정보 제공, 다차원 데이터를 분석하기 위한 SW
-CRM : 구매이력 등 이익 창출을 위한 것
-SCM : 재고, 비용 최적화를 위한 솔루션
9. 분야별 기업내부 데이터베이스 솔루션 (제조)
-데이터 웨어하우스 : 의사결정을 위한 정보를 제공하는 통합된 데이터 저장 공간
-ETL : 주기적으로 정보를 추출하고 규약에 따라
변환하여 정보를 적재함
-4대 특성
통합 : 전사적으로 일관된 형식으로 정의
시계열성 : 시간적 흐름에 따라 변화하는 값을 유지
주제지향적, 비소멸성(비휘발성) : 특정 주제에 따라 분류, 저장, 관리
-데이터 마트 : 전사 웨어하우스에서 파생된 소규모 단일 주제의 웨어하우스, 특정 주제 및 특정 업무에 초점
-ERP : 프로세스 관리를 돕는 소프트웨어 패키지
-BI : 의사결정을 돕는 프로세스, 정보를 가져옴
가트너 ‘정보를 정확한 시간에 제공할 수 있는 환경’ 이라고 정의
-BI와 빅데이터의 차이점 키워드
ad hoc report : 하나의 비지니스 질문에 답변하도록 설계된 BI
-BA : BI에서 진화된, 수학적/통계적 분석 기법
11. 그 외 분야별 기업내부 데이터베이스 솔루션
-[금융] 블록체인 : 모든 거래자에게 거래내용을 보내주며 대조하는 위조 방지 기술
-[유통]
KMS : 지식 관리 시스템, 조직내 지식을 체계적으로 관리
RFID :
무선주파수를 이용한 대상 식별 기술 (RF태그에 정보 저장 > 대상에 부착 > RFID 리더를 통해 인식)
12. 빅데이터의 정의
-일반적 DB 소프트웨어로 처리하는 범위를 초과하는 규모의 데이터
-저렴한 비용으로 가치 추출, 초고속 분석을 위해 고안된 차세대 기술
-3V가 급격히 증가하며 나타난 현상
빅데이터 4V
-ROI(투자자본수익률) 관점에서 보는 빅데이터
-비지니스 효과 요소 : 밸류
-투자비용 요소 : 양, 다양성, 속도
13. 빅데이터 출현 배경
-새로운 것이 출현한 게 아니고, 기존 기술의 패러다임이 전환된 것
-산업계 : 양질 전환 법칙(일정한 양이 누적되면 어느순간 질적인 비약이 이루어짐)
-학계 : 빅데이터를 다루는 현상이 늘어남
-클라우드 컴퓨팅 : 경제적 효과를 제공해준 결정적 기술
-비정형 데이터의 확산
-데이터 처리기술 발전
-IoT : 사람의 조작 없이, 기존 정보를 토대로 기계가 스스로 작동하는 것.
예) 구글의 네스트, 아마존 Dash, 나이키 스마트 운동 관리
14. 빅데이터의 역할
-석탄/철 : 서비스 분야의 생산성 증가
-원유 : 정보 제공, 모든 산업의 생산성 증가
-렌즈 : Ngram 책의 디지털화
-플랫폼 : API 공개 > 모두가 활용하는 플랫폼 역할
15. 빅데이터가 만드는 본질적 변화
사전 > 사후처리
질 > 양
표본 > 전수조사
인과 > 상관관계
16. 빅데이터 활용 기법
-연관규칙학습(연관분석) : 장바구니 분석, 서열 분석
예) 시스템 로그 데이터 분석으로 침입자 색출
왜? if-than 형태라서
-유형분석(분류) : 예) 특성에 따른 온라인 수강생 분류
-유전 알고리즘 : 최적화 방법 찾기
예) 시청률을 최대로 낼 수 있는 프로그램 타임 테이블
-기계학습 : 패턴으로 예측
예) 추천 시스템
-회귀분석 : 만족도가 충성도에 어떤 영향을 미치는가
(만족도가 높은 사람의 충성도 예측)
-감정분석 : 만족도 분석, 니즈 파악
-소셜 네트워크 분석 : 영향력 있는 사람을 중심으로 관계 분석
17. 빅데이터 위기요인, 해결방안
-사생활 침해 : 동의제 > 책임제 전환, 익명화
-책임원칙의 훼손 : 기존의 책임원칙 강화
-데이터 오용 : 잘못된 인사이트로 인한 비지니스적 손실 > 알고리즘 접근 허용, 객관적 인증방안 도입
-알고리즈미스트 : 알고리즘으로 인해 피해 받은 사람을 구제
-비식별화 기법
데이터 마스킹 / 데이터 범주화 / 가명 : 잡음 첨가
18. 데이터 사이언스
-데이터로부터 의미있는 정보를 추출
-정형, 비정형 다양한 유형을 다룸 (<> 통계학, 정형데이터 분석)
-분석+구현+전달 포괄적 개념
-총체적 접근법 사용, 과학과 인문학의 교차로
-핵심 구성요소 : IT, 분석, 비지니스 컨설팅
19. 데싸의 역량
-가트너 : 데이터관리, 분석 모델링, 비지니스 분석, 소프트 스킬
-분석모델 개발 시 고려사항
모델 범위 바깥요인은 판단 x
-하드스킬 / 소프트 스킬
데이터 분석가
데이터 사이언티스트
데이터 엔지니어링
-통찰력을 제공하는 분석 기술 (<>정보)
과거 : 모델링, 실험설계 (왜 일어났는가?)
현재 : 권고 (차선 행동은?)
미래 : 예측, 최적화 (최악, 최선은?)
20. 의사결정 오류
-로직 오류
부정확한 가정, 테스트 미진행
-프로세스 오류
결정에서 분석과 통찰력 고려 x
데이터 수집이나 분석이 너무 늦음
대안을 진지하게 고려하지 않은 것
[오답노트 추가]
- 빅데이터 활용요소 3가지 : 데이터, 인력, 기술 (데인력기)