분석 과제를 본격적으로 정의하기 위해서 '분석과제 정의서'를 작성하여 분석별로 필요한 소스 데이터, 분석 방법, 데이터 입수 난이도, 데이터 입수 사유, 분석 수행주기, 분석결과에 대한 검증 Owner, 분석 과정 상세 등을 작성한다. 분석 과제 정의서는 향후 프로젝트 수행 계획의 입력물로 사용되며 수행하는 이해관계자가 프로젝트의 방향을 설정하고, 성공 여부를 판별 할 수 있는 중요한 자료로서 명확하게 작성해야 한다. 분석과제 정의서 샘플 분석명 분석정의 해지 상담 접촉패턴 분석 기 해지 계약건 발생 고객의 해지 시점 상담정보 분석을 통해 해지 고객의 상담 특성을 발굴하는 분석 소스데이터 데이터 입수 난이도 분석방법 접촉채널, 검수, 접촉평균 시간 최종 접촉 이후 해지까지 시간 상담인력 업무 능숙도 서비..
상향식 접근 방법(Bottom Up Approach)는 하향식 접근 방법(Top Down Approach)의 주제를 잡고 문제를 해결해 나가는 방식과 반대로 데이터를 기반으로 문제를 찾아내는 방식을 말한다. 하향식이 주로 지도 학습(Supervised Learning) 기반의 알고리즘을 이용한다면, 상향식은 문제를 찾아내기 때문에 비지도 학습(Unsupervised Learning)을 주로 사용한다. 하향식 접근 방법의 한계 - 솔루션 도출에는 유효하지만 새로운 문제 탐색의 한계 - 논리적인 단계별 접근법 기반의 문제해결 방식은 복잡하고 다양한 환경에서 발생하는 문제에는 비적합 - 이를 해결하기 위해 스탠포드 대학의 d.school(Institute of Design at Stanford)은 디자인 사고..
하향식 접근 방법(Top Down Approach)는 현황 분석을 통해 인식된 문제점 혹은 전략으로부터 문제 탐색(Problem Discovery), 데이터 문제로 정의(Problem Difinition), 해결방안을 탐색(Solution Search), 데이터 분석의 타당성 평가(Feasibility Study)라는 단계를 거쳐 분석 과제를 도출하는 과정이다. 문제 탐색(Problem Discovery) - 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출 및 식별이 중요 - 기준 모델로 비즈니스 모델과 외부 참조 모델 존재 - 문제를 해결하여 발생하는 가치에 중점 비즈니스 모델 기반 문제 탐색 비즈니스 모델 캔버스의 9가지 블록을 단순화하여 업무, 제품, 고객,단위로 문제를 발굴하고, 이를 ..
분석과제 발굴 방법에는 크게 2가지인 하향식 접근 방법(Top Down Approach)과 상향식 접근 방법(Bottom Up Approach)으로 발굴을 할 수 있다. 하향식 접근 방법(Top Down Approach)는 문제가 주어지고 이에 대한 해법을 찾기 위해서 각 과정이 체계적으로 단계화되어 수행하는 방식이다. 반면 상향식 접근 방법(Bottom Up Approach)는 문제의 정의가 어려운 경우 데이터를 기반으로 문제의 재정의 및 해결방안을 탐색하고 이를 지속적으로 개선을 하는 방식이다. 이를 그림으로 표현하면 다음과 같다. 분석 과제 도출의 2가지 유형 하향식 접근 방법은 기존의 전통적인 접근 방법이다. 즉 문제를 이미 알고 있어서, 명확하게 오더가 내려지는 모양새라 생각하면 된다. 이를 회..
본 포스팅은 ADsP와 ADP 공통 과정인 데이터 분석 기획의 분석 방법론을 다룹니다. 분석 방법론이 방법론 모델 설명, KDD 방법론, CRISP-DM, 빅데이터 방법론 등 내용이 방대하기에 각각의 내용을 독립된 토픽으로 작성하였습니다. 빅테이터 분석 방법론 빅데이터를 분석하기 위한 방법론은 계층적 프로세스 모델(Stepwised Process Model)로 3계층 구성 Phase (단계) : 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성, 기준선(Baseline)으로 설정 관리하며, 버전관리(Configuration Management) 등을 통한 통제 Task (태스크) : 단계를 구성하는 단위활동, 물리적 또는 논리적 단위로 품질 검토의 항목이 될 수 있음 Step (스텝) : WBS(Wor..
본 포스팅은 ADsP와 ADP 공통 과정인 데이터 분석 기획의 분석 방법론을 다룹니다. 분석 방법론이 방법론 모델 설명, KDD 방법론, CRISP-DM, 빅데이터 방법론 등 내용이 방대하기에 각각의 내용을 독립된 토픽으로 작성하였습니다. CRISP-DM 데이터 마이닝 방법론 CRISP-DM(Cross Industry Standard Process for Data Mining)은 데이터 마이닝 전문가가 사용하는 일반적인 접근 방식을 설명한 가장 널리 사용되는 공개 표준 분석 모델입니다. 2015년 IBM은 CRISP-DM을 개선하고 확장하는 데이터 마이닝 / 예측 분석을 위한 분석 솔루션 통합 방법(ASUM-DM)이라는 새로운 방법론을 발표하기도 했습니다. 이 방법론은 1996년에 유럽연합의 ESPRIT..
1. KDD(Knowledge Discovery in Databases)의 개요 - KDD(Knowledge Discovery in Databases)는 1996년 Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 데이터 마이닝 프로세스 - 데이터마이닝, 기계학습, 인공지능, 패턴인식, 데이터 시각화 등에서 응용될 수 있는 구조 Fayyad 박사 - 데이터에서 패턴을 찾는 과정을 9개의 프로세스로 제시 9개의 프로세스 분석 대상 비즈니스 도메인의 이해 분석 대상 데이터셋 선택과 생성 데이터에 포함되어 있는 노이즈(Noise)와 이상값(Outlier) 등을 제거하는 정제작업이나 선처리 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경 분석..
본 포스팅은 ADP와 ADsP의 공통 과정인 데이터 분석 기획의 2절 분석 방법론의 내용을 다룹니다. 분석 방법론이 한번에 포스팅하기에는 내용이 방대하고 어려울 수 있기 때문에 하나의 토픽마다 포스팅을 독립해서 작성하였습니다. 분석 방법론 분석방법론의 개요- 데이터 분석이 효과적으로 기업에 정착하기 위해 체계화한 절차와 방법이 정리된 데이터 분석 방법론 수립이 필수적- 방법론은 상세한 절차(Procedures), 방법(Methods), 도구와 기법(Tool & Techniques), 템플릿과 산출물(Templates & Output)로 구성 데이터 기반 의사결정의 필요성- 고정관념(Stereotype), 편향된 생각(Bias), 프레이밍 효과(framing effect, 동일한 사건이나 상황임에도 개인의..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 2과목 1장 1절 '분석기획 방향성 도출'에 관련된 내용을 요약하고 설명한 내용입니다. 분석기획의 특징 분석기획 - 분석을 수행하기 전에 수행할 과제를 정의하고, 의도한 결과를 도출하기 위해 적절히 관리할 수 있는 방안을 사전에 계획하는 작업 분석기획 역할 (단기) 분석과제 발굴 -> 분석 과제의 목표를 달성하기 위한 요건 정의 (데이터 분석 모델, IT 솔루션 정의 등) (중장기) 마스터플랜 수립 -> 분석 과제 수행을 위한 분석 지원 거버넌스 체제 도출 데이터 사이언티스트의 역량 - 수학/통계학적 지식 및 IT기술 뿐만 아니라, 비즈니스에 대한 이해와 전문성을 가지고 있어야 하는 3가지 영역에 대한 고..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 3장 3절 '빅데이터 그리고 데이터 사이언스의 미래'에 관련된 내용을 요약하고 설명한 내용입니다. 빅데이터의 시대 - 디지털 환경으로 엄청난 'Big' 데이터가 생성되고 있음- 빅데이터 분석은 선거 결과(ex: 오바마의 빅데이터 사례)에 영향을 미칠 수도 있으며, 기업 입장에서는 비용 절감, 신규 서비스, 의사 결정 지원 등 상당한 가치 발휘 빅데이터 회의론을 넘어 가치 패러다임의 변화 가치 패러다임 변화는 크게 3단계로 구분 디지털화(Digitalization) 디지털화를 이끈 빌게이츠(Bill Gates) - 아날로그의 세상을 어떻게 효과적으로 디지털화 하는가각 이 시대의 가치를 창출해 내는 원..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 3장 2절 '전략 인사이트 도출을 위한 필요 역량'에 관련된 내용을 요약하고 설명한 내용입니다. 데이터 사이언스의 의미와 역할 의미- 데이터 공학, 수학, 통계학, 컴퓨터 공학, 해커의 사고방식, 데이터 시각화, 도메인에 특화된 전문 지식을 모두 포함하는 종합 학문- 다양한 유형(정형/비정형)의 데이터를 대상으로 분석 및 효과적으로 전달하고 구현하는 과정까지를 포함하는 학문 역할- 비즈니스의 성과를 좌우하고 핵심이슈에 답을 하며 사업의 성과를 견인해야 함 링크드인의 당신이 알 수도 있는 사람(People You May Know) 데이터 사이언스의 대표적인 사례로 링크드인(LinkedIn)의 당신이 ..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 3장 1절 '빅데이터 분석과 전략 인사이트'에 관련된 내용을 요약하고 설명한 내용입니다. 빅데이터 열풍과 회의론 빅데이터의 거품 현상을 우려하는 시선이 존재회의론으로 인해서 분석에서 찾을 수 있는 수많은 가치들을 발굴하지 못하고 활용 자체를 사전에 차단해 버릴 수 있음 빅데이터 회의론의 원인 및 진단 투자 효과를 거두지 못했던 과거의 CRM(고객관계관리)와 같은 프로젝트들빅데이터의 성공 사례라고 하는 것들이 실제 빅데이터가 아닌 단순 데이터 분석 프로젝트인 경우가 많았음 참고로, 한때 CRM만 구축하면 모든 문제들이 해결이 된다라는 붐이 일어난 적이 있었다. 하지만 대다수 프로젝트들은 큰 돈으로 C..
