해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 3장 2절 '전략 인사이트 도출을 위한 필요 역량'에 관련된 내용을 요약하고 설명한 내용입니다. 데이터 사이언스의 의미와 역할 의미- 데이터 공학, 수학, 통계학, 컴퓨터 공학, 해커의 사고방식, 데이터 시각화, 도메인에 특화된 전문 지식을 모두 포함하는 종합 학문- 다양한 유형(정형/비정형)의 데이터를 대상으로 분석 및 효과적으로 전달하고 구현하는 과정까지를 포함하는 학문 역할- 비즈니스의 성과를 좌우하고 핵심이슈에 답을 하며 사업의 성과를 견인해야 함 링크드인의 당신이 알 수도 있는 사람(People You May Know) 데이터 사이언스의 대표적인 사례로 링크드인(LinkedIn)의 당신이 ..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 3장 1절 '빅데이터 분석과 전략 인사이트'에 관련된 내용을 요약하고 설명한 내용입니다. 빅데이터 열풍과 회의론 빅데이터의 거품 현상을 우려하는 시선이 존재회의론으로 인해서 분석에서 찾을 수 있는 수많은 가치들을 발굴하지 못하고 활용 자체를 사전에 차단해 버릴 수 있음 빅데이터 회의론의 원인 및 진단 투자 효과를 거두지 못했던 과거의 CRM(고객관계관리)와 같은 프로젝트들빅데이터의 성공 사례라고 하는 것들이 실제 빅데이터가 아닌 단순 데이터 분석 프로젝트인 경우가 많았음 참고로, 한때 CRM만 구축하면 모든 문제들이 해결이 된다라는 붐이 일어난 적이 있었다. 하지만 대다수 프로젝트들은 큰 돈으로 C..
해당 포스팅은 데이터 분석 전문가(ADP)와 데이터 분석 준전문가(ADsP)의 범위가 모두 포함된, 1과목 2장 5절 '미래의 빅데이터'에 관련된 내용을 요약하고 설명한 내용입니다. 빅데이터(Bigdata) 활용의 3요소 데이터- 모든 것을 데이터화(Datafication)하는 추세로 목적없이 축적된 데이터를 통한 창의적인 분석이 가능해지기에 새로운 가치로 부상 기술- 데이터를 보다 빠르게 처리하기 위해 알고리즘의 진화와 함께 스스로 학습하고 데이터를 처리할 수 있는 인공지능(AI, Artificial Intelligent) 기술 출현, 진화 가속화 인력- 빅데이터를 처리하기 위한 데이터 사이언티스트(Data scientist)와 알고리즈미스트(Algorithmist)의 역할을 통해 다각적 분석을 통한 ..
위기 요인 빅데이터의 시대가 진행되면서 사생활 침해, 책임원칙 훼손, 데이터 오용등의 어두운면 있음 사생활 침해- M2M(Machine to Machine), IoT(Internet of Things) 시대가 본격화 되면서 정보 수집 센서들의 수가 늘어나고 있음- 개인 정보의 가치 증대로 많은 기업이 개인정보 습득에 많은 자원 투자- 사생활 침해 방지를 위해 익명화(anonymization) 기술이 발전하나 충분하지 못하는 의견 다수- 2013년 정치 스캔들인 미국 NSA(National Security Agency)의 이메일, 전화통화, 문자메시지 등을 수집, 저장한 사건은 대표적인 정부의 사생활 침해 사건 NSA의 개인 정보 수집에 대한 고발이 담긴 실화를 기반으로 한 영화, 스노든(Snowden) ..
빅데이터의 가치 빅데이터 시대에서는 데이터의 활용 방식과 가치창출 방식, 분석 기술의 발전 때문에 데이터 가치 측정이 쉽지 않음 데이터 활용 방식- 재사용이나 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 언제, 어디서, 누가 활용할지 알 수 없기에 가치 산정하는 것이 어려워짐- 데이터 재사용은 1차 목적뿐 아니라 2차, 3차적 목적으로도 사용 가능- 데이터의 다목적용의 경우 CCTV의 데이터는 절도범을 구별할 수 있으며, 구매 정보도 동시에 얻을 수 있음 새로운 가치 창출- 빅데이터 시대에는 데이터가 기존에 없는 가치를 창출하기에 가치 측정이 어려움 분석 기술의 발전- 클라우드 분산 컴퓨팅으로 저렴한 분석이 가능해지면서 기존에 분석하지 못한 것들을 분석할 수 있고 점점 활용도가 증가하고..
빅데이터(bigdata)의 정의 맥킨지(McKinsey, 2011)- 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 IDC, 2011- 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 빅데이터 관심이 확대되면서, 인재나 조직까지도 빅데이터라는 개념에 포함시킬 것을 제안하기도 함(노무라 연구소) 메이어-쇤베르거와쿠키어(Mayer-Schonberger&Cukier, 2013)- 빅데이터란 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일이다. 나아가 이를 활용해 시장, 기업 및 시민과 정부의 관계 등..
사회기반구조의 데이터베이스 1990년대 사회의 전 부분의 정보화가 정부부처 중심으로 무역, 통관, 물류, 조세, 국세, 조달 등 사회간접자본(Social Overhead Capital, SOC) 차원에서 전자문서교환(Electronic Data Interchange, EDI) 활용이 본격화되고 부가가치통신망(Value Added Network, VAN)을 통한 정보망이 구축되기 시작하였다. 1995년 조세전산망, 1996년 조달,국방,물류종합망,의료정보망,산업정보망이 착수되었으며 중공업이나 유통 분야를 중심으로 빠르게 확산되었다. 2000년대에는 지리, 교통부문의 데이터베이스(Database)는 보다 고도화되었고, 의료,교육,행정 등 사회 각 부문으로 공공 DB의 구축 이용이 확대되었다. 분야별 사회기반..
정보통신망 구축 가속화로 1990년대부터 기업내부 데이터베이스(인하우스 DB)에 기업의 모든 자료를 연계하며 경영 활동의 기반이 되는 전사 시스템으로 확대하였다. 1990년 중반 이전에는 정보의 수집과 공유를 위한 MIS(경영정보시스템), 생산자동화, 통합자동화 등 즉 OLTP(Online Transaction Processing)의 주축이 되었다면, 이후에는 수집에서 벗어나 분석이 중심이 되는 OLAP(Online Analytical Processing) 시스템 구축을 하게 되었다. 참고로 OLTP는 실시간성과 트랜잭션 처리, 데이터 하나하나가 중요한 핵심 시스템이라 한다면 OLAP은 통계와 분석 등을 위해서 만들어진 DB아키텍쳐이다. DB를 설계할 때 테이블에 설정을 하게 되는데 해당 테이블이 트랜잭..
데이터베이스의 용어의 등장 연혁을 왜 이해해야 하며, 다양한 기관에서 정의한 데이터베이스의 정의들을 왜 외워야 하는지 1도 모르겠지만, 기출문제 등에서 저런 쓰잘대기 없는 내용들이 출제되니 지루하더라도 년도랑 어떤 기관에서 저런 말을 했는지 외우도록 해보자. 마지막 데이터베이스의 다양한 측면의 특징은 정말 가관인 것 같다. 저정도를 모르는 사람이 공부를 한다고 하여 ADP와 같은 고급 자격증을 주는 것이 말이나 되는건지.. 데이터베이스의 용어의 등장 해외 1950년대 미국 정부의 자국 군대의 군비 상황을 집중 관리하기 위해서 컴퓨터를 활용한 도서관의 개념으로 등장, 데이터의 기지(Base)라는 뜻의 의미 1963년 6월 미국 SDC(System Development Corporation)에서 개최한 "컴..
지식의 피라미드(DIWK Pyramid), DIKW 피라미드, DIKW 계층도(hierarchy), 데이터 피라미드 등은 다 같은 의미로 지식의 변화과정을 잘 나타내주는 모형 혹은 모델이다. 지식은 데이터(Data) -> 정보(Information) -> 지식(Knowledge) -> 지혜(Wisdom) 과정으로 진화를 할 수 있게 되며 각각의 의미는 다음과 같다. 데이터(Data) 데이터는 단순한 사실을 말한다. 예를 들어, A라는 사람의 나이는 35세이다. 서울의 버스 기본요금은 1200원이다 같은 주관적인 것이 배제된 사실을 뜻한다. '서울의 버스 기본요금'은 데이터가 아니라 정보의 영역이다라고 말하는 사람이 있을 수 있겠지만, 이러한 RAW성 데이터를 조합하여, 다음 단계로 갈 수 있으며, 어떠한..
한국 데이터베이스 진흥원(DBguide)은 좀 공부하는 사람들을 생각해서, 전자북을 개방하든 DAP(데이터 아키텍처 전문가)나 SQLP(SQL 전문가)와 같이 사이트에서 공개를 한 것처럼 ADP(데이터분석 전문가)혹은 ADsP(데이터분석 준전문가) 교재도 좀 공개를 했으면 좋겠다. 출퇴근에 약 1000 page나 되는 것들을 갖고 다닐수도 없는 노릇인데 1000페이지 가까이 되는 책을 전자북이나 요약북 등을 제공하지 않는다는 것은 오로지 공부는 네 집에의 책상에서만 하라는 것과 같을 것이다. 누구는 이동하면서 보고도 싶고, 간편하게 컴퓨터로도 보고 싶은데 시대에 역행하는 DBGuide를 보면 할말이 없다. 다른 사람들도 힘들거라 생각해서, 어느정도 내용을 요약하거나 보충하는 부분들을 사이트에 정리할까 한..