ADsP 자격증 - 2과목
1. 분석의 4가지 유형
-분석 대상과 방법에 따라 4가지로 분류
-대상 알면 os, 모르면 id
최적화(o) : 대상과 방법 모두 앎
솔루션(s) : 대상은 알지만 방법은 모름
통찰(i) : 대상은 모르지만 방법은 앎
발견(d) : 대상과 방법 모두 모름
2. 분석기획 방안
-단기(과제중심적) : Speed & test, Quick - win, Problem Solving
-중단기(마스터 플랜) : Accuracy & Deploy, Long term view, Problem definition
3. 분석기획 시 고려사항
-가용한 데이터 : 유형 분석
-적절한 유스케이스 : 기존 케이스 활용
-장애요소에 대한 사전계획 수립
4. 데이터 유형
-정형 : ERP, CRM, Demand Forecast
-반정형 : Competitor Pricing, sensor
-비정형 : e-mail, IoT
저장방식
-RDB : 오라클, 마이에스큐엘 등
-NoSQL : 몽고디비, 카산드라 등
-분산파일시스템 : HDFS
5. 분석방법론 구성요소
-절차
-방법
-도구와 기법
-템플릿
*기업의 합리적 의사결정 장애요소 : 프레이밍 효과
6. 분석방법론 모델 3가지
-폭포수 모델 : 하향식, 순차적
-나선형 모델 : 점증적 개발, 반복 관리체계가 미비하면 작업에 어려움 발생
-프로토타입 모델(프로토타이핑 기법) : 상향식
요구사항 및 데이터 규정이 어려운 상황에서
일단 분석 시도 후 개선하는 방법
사용자들이 이렇게 하면 편할거야~ 가설
7. KDD 분석 (선전변마평)
-데이터셋 선택
-데이터 전처리 : 아웃라이어, 결측치 정리
-데이터 변환 : 변수 선택, 차원 축소
-데이터 마이닝 : 분류, 예측 등 마이닝 작업
-마이닝 결과 평가
8. CRISP-DM 분석 (이이준모평전)
-업무 이해 : (주요구성) 업무 목적 파악 > 상황 파악 > 데이터 마이닝 목표 설정 > 프로젝트 계획 수립
-데이터 이해 (=KDD 데이터셋 선택)
-데이터 준비 (=KDD 전처리, 변환)
-모델링 : 머신러닝 이용 or 데이터 분할
모델링 기법 선택, 모델링 작성, 모델 평가
-평가 : 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
-전개
*빅데이터 분석방법론의 분석 절차
분석기획 > 데이터 준비 > 데이터 분석 > 시스템 구현 > 평가 및 전개
9. 분석기획 단계의 Task
-비지니스 이해 및 범위 설정 : sow 작성 (목적 달성을 위해 해야할 일)
-프로젝트 정의 및 계획 수립 : wbs 작성 (구체적 업무 범위 설정)
-프로젝트 위험 계획 수립 : 회피, 전이, 완화, 수용
10. 데이터 준비 단계
-필요 데이터 정의
-데이터 스토어 설계
-데이터 수집 및 정합성 점검
11. 데이터 분석 단계
-분석용 데이터 준비
-텍스트 분석
-EDA
-모델링
-모델 평가 및 검증
*추가적 데이터 확보가 필요한 경우, 반복적 피드백 수행하는 구간 > 준비&분석
12. 하향식 접근 모델
-하향식 접근 모델의 분석 기획 단계
문제탐색 > 문제정의 > 해결방안 탐색 > 타당성 검토
*problem discovery > problem definition > solution serch > feasibility study
1) 문제 탐색 단계 (문제 탐색의 도구)
-비지니스 모델 기반 문제 탐색
비지니스 모델 캔버스 5가지 : 업무, 제품, 고객, 규제/감사, 지원 인프라
-분석 기회 발굴 범위 확장
경쟁자 확대 관점 : 대체재, 경쟁자, 신규진입자
-외부 참조 모델 기반 문제 탐색 (벤치마킹)
-분석 유즈케이스 기반 문제 탐색 (기대효과)
2) 문제 정의 단계 : 데이터 분석 문제로 변환
3) 해결방안탐색 : 어떤 시스템 사용할건지 검토
4) 타당성 검토 : 경제적, 기술적으로 검토
13. 상향식 접근 모델
-문제 정의 자체가 어려울 때 사용, 시행착오를 통해 문제 도출(비지도 학습)
14. 분석과제 접근 방법
-하향식(수렴)
-상향식(발산)
-디자인 사고 : 하향+상향, 전통적 분석적 사고 극복
15. 분석 프로젝트의 일반적 특징
-분석 과제 주요 특성(과제 수행 시의 고려요소)
1)데이터 크기
2)데이터 복잡도 : 유형이 어떤지
3)속도 : 실시간인지 배치인지
4)분석 복잡도 : 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워짐, 정확도-복잡도 트레이드 오프
5)정확도&정밀도
: Accuracy (분석의 활용적 측면)
: precision (안정성 측면)
정확도와 정밀도 트레이드 오프
-분석 프로젝트 관리 영역 10개
: 시간, 범위, 품질, 통합, 이해관계자, 자원, 원가, 리스크, 조달, 의사소통
16. 분석 마스터 플랜
-분석 마스터 플랜 : 도출된 과제의 우선순위 결정(단기/중장기)
-혼합형(전체 순환, 반복x)
-isp : 전사적 종합추진계획, 중장기 로드맵
-우선순위 고려요소
: 전략적 중요도 / ROI / 실행용이성
-적용 범위 및 방식 고려요소
: 업무 내재화 적용 수준 / 분석 데이터 적용 수준 / 기술 적용 수준
17. 분석 과제 우선순위 선정 기법
-포트폴리오 사분면
: x축 시급성 (3>4>2) 전략적 중요도, 밸류
: y축 난이도 (3>1>2) 비용과 범위, 양/다양성/속도
18. 분석 거버넌스
-분석 거버넌스 체계 : 기업의 분석을 위한 규칙(관리체계)
-분석 거버넌스 체계 5가지 구성요소(고려사항) : POSHD (*비용 없음!)
프로세스 process
조직 organization
시스템 system
교육 human resource
데이터 data
-데이터 거버넌스 : 전사차원 데이터 관리 체계 구축, 적시에 필요한 사람에게 정보 제공
빅브라더 : 정보 독점
기업은 데이터 거버넌스 체계를 구축함으로써 가용성, 유용성, 통합성, 보안성, 안정성 등을 확보할 수 있다.
-데이터 거버넌스 구성 요소 : 원칙/조직/프로세스
-데이터 거버넌스 체계 요소
1) 데이터 표준화* : 표준 용어 설정, 명명규칙, 메타데이터 구축, 데이터 사전 구축
2) 데이터 관리 체계 : 관리 원칙 수립
3) 데이터 저장소 관리* : 전사 차원의 저장소 구성
4) 표준화 활동 : 주기적 점검, 모니터링
-데이터 거버넌스 데이터 저장소 관리
: 데이터 구조 변경에 따른 ‘사전 영향 평가’도 수행되어야 효율적 활용이 가능하다.
-데이터 분석 수준 진단
1) 분석 준비도 : (프레임워크)
-분석 업무파악* : 예측 분석업무, 시뮬레이션 분석업무, 최적화 분석 업무
-인력 및 조직
-분석 기법* : 분석 기법 라이브러리
-분석 데이터
-분석 문화
-분석 인프라
2) 분석 성숙도 : cmmi 모델
도입 > 활용* > 확산 > 최적화
19. 데이터 분석을 위한 조직 구조
-집중형 : 모든 분석업무 전담, 중복/이원화
-기능중심
-분산 : 협업 부서에 배치, 신속한 업무
20. 분석 과제 관리 프로세스
-과제 발굴
-과제 수행
21. 빅데이터 거버넌스 특징
-기업의 모든 데이터 분석은 비용면에서 비효율적
-데이터 수명주기 관리 필요
-ERD 변경사항 지속 관리
-지속적 교육과 훈련
빅데이터 거버넌스와 데이터 거버넌스의 차이점
-생명주기, 개인정보보호, 데이터 품질기준 변경관리
(백업주기 변경 x)
22. 관련 용어
-servitization : 제조업+서비스
-CoE : 분석 전문조직