암달의 법칙(Amdahl's law)은 미국의 컴퓨터 공학자이자 기업가였던 진 암달(Gene Amdahl)이 만든 법칙으로 암달의 저주(Amdahl's curse), 암달의 인수(Amdahl's argument)라고도 불린다. 진 암달(Gene Amdahl, 1922년 11월 16일 ~ 2015년 11월 10일)은 위스콘신 대학교 매디슨에서 이론물리학 석박사를 취득했고, 52년에 IBM으로 입사해 704 메인프레임, 시스템 360 메인프레임 등의 개발을 총괄하기도 했다. 암달의 법칙은 1965년 옮긴 어드밴스드컴퓨팅시스템랩에서 만든 것으로 컴퓨터 성능 최적화의 한계점을 측정하기 위해 만든 법칙이다. Gene Amdahl 암달의 법칙의 병렬 프로세스 성능 관점 암달의 법칙은 현재도 많이 쓰이며, 일반적으로..
키바나(Kibana) 키바나(Kibana)는 ELK(Elasticsearch, Logstash, Kibana)라는 엘라스틱서치 스택의 주요 솔루션 중 하나로 엘라스틱서치와 연계를 이루면서 비주얼라이징(Visualizing)을 통한 유저 인터페이스(User Interface, UI)를 제공하는 솔루션이다. 키바나를 설치하면 엘라스틱서치의 데이터를 쉽게 확인할 수 있고, 비주얼라이징을 통한 데이터 분석도 할 수 있으며, 관리기 역할까지 수행한다. (한마디로 필수적인 에드온이라 생각하면 된다) 설치하기 엘라스틱서치 다운로드 사이트에 키바나를 다운로드 할 수 있다. https://www.elastic.co/downloads/kibana 사이트로 이동하여, OS에 맡는 파일을 다운로드한다. (현재 이 포스팅을 쓰..
Divide & Conquer를 이용한 하향식, 구조적 방법론의 개요 구조적 방법론(Structured Development Methodology) 개념 - 전체 시스템을 기능에 따라 분할하여 개발하고, 이를 통합하는 분할과 정복(Divide & Conquer) 방식의 방법론, 프로세스 중심의 하향식 방법론(Top-Down) - 정형화된 분석 절차에 따라 사용자 요구사항을 파악하여 문서화하는 체계적인 방법으로 비즈니스 프로세스 자동화를 목표로 하고 있으며, 프로세스 중심의 개발 방법 특징데이터 흐름 지향으로 프로세스 위주의 분석과 설계 방식모듈의 분할과 정복에 의한 하향식(Top-Down) 설계 방식다른 프로세스로 순차적 진행하는 폭포수 모델이 기본소프트웨어의 개발이 목표인 프로세스와 산출물의 구성연속(..
엘라스틱 서치를 써야 하는 8가지 이유 Schemaless와 문서지향 엘라스틱 서치는 JSON 구조를 사용하여 기존의 RDMS와 같은 엄격한 구조를 적용하지 않는다. 비정형 데이터는 비구조적이며, 스키마(Schema)가 다이나믹하게 변할 수 있다. 전통적인 관계형 구조로 구성할 경우 프로젝트 막바지에 모든 스키마를 변경하고, 데이터를 다시 구성하는 문제에 봉착할 수 있는데 JSON 구조는 이런 문제들을 사전에 막을 수 있다. 또다른 장점으로 데이터 공간을 절약할 수 있다. 컬럼을 동적으로 정의하여, 필요한 데이터만 넣게 되어 데이터 공간 및 CPU 사용량, 네트워크 트래픽도 줄일 수 있는 효과를 볼 수 있다. 아래의 예시를 한번 보도록 하자 데이터 예시 1{ "title":"엘라스틱에 대하여", "aut..
B2Bi(Business to Bussiness) 개념 - 기업내 이기종 어플리케이션 결합을 EAI(Enterprise Application Integration)이라 한다면, 기업간 어플리케이션 결합을 B2Bi라 한다 - 기업과 기업, 기업과 e마켓플레이스, e마켓플레이스와 e마켓플레이스 등 기업간 전자상거래에서 발생하는 비즈니스 프로세스를 효과적으로 지원하기 위해 전산시스템과 문서포맷, 애플리케이션을 통합·연동하는 솔루션 예를들어 두 기업간에 경매나 역경매, 구매처리와 같은 업무가 이뤄지려면 두 회사가 서로 이해할 수 있는 공통의 포맷이 필요하다. 기업의 수에 관계없이 업무를 매끈하게 연결해주는 것이 B2Bi의 개념으로, 이를 소프트웨어(SW)적으로 구현한 것이 B2Bi 솔루션이다. - 전자신문 - ..
필자가 어릴적에 이런 내용의 책이 있었던 걸로 기억 한다. 한국은 2020년이 넘어서면 전세계의 중심이 되는 나라가 될 것이다라는 것이었다. 이 책은 무당이 쓴 것도 아니고, 예언자가 쓴 책도 아닌 그냥 경제학자가 썼던 내용으로 기억한다. 당시 나는 말도 안되는 소리라고 말하면서 속으로는 마치 매년 신년운세 보듯 설마 가능할까?라는 생각도 가지게 되었다. 머리가 커지고 많은 사실들을 알게 되면서 실제 선진국이라 불리던 많은 국가들이 사실 별 볼일 없는 국가들이 많았고, 한국의 최근의 행보를 보면 정말 모든 운을 지금 쓴 것이 아닌가 싶을 정도로 전세계에서 가장 핫한 나라인 것 같다. 미국이 만든 유튜브 플랫폼으로 인해서 아시아에서 발생한 한류가 미국, 유럽으로 퍼지더니 BTS가 탄생하고 작년 한해 떠들석..
유클리드 거리(Euclidean Distance)와 함께 어떠한 값들이 얼마나 유사한지 가장 많이 사용하는 알고리즘 중 하나로 코사인 유사도가 있다. 그리고 유클리드 거리를 변형하여 실제 도시들의 모양을 감안해서 구하는 맨하탄 거리(Manhattan Distance)와 같은 알고리즘도 꽤 많이 활용하고 있다. 서울시와 수원시의 거리가 얼마나 가까운가? 예를 들어 도시들간의 거리가 얼마나 가까운지를 구하기 위해서는 유클리드 거리와 같은 알고리즘을 많이 활용할 수 있다. 서울시의 위도와 경도값과 수원시의 위도와 경도 값을 기반으로 둘간의 선을 그은 후, 거리를 구한다면 도시간에 거리를 구할 수 있게 된다. 그러나 한번 이런 문제가 있다고 가정을 해보자. 포유류간 키와 몸무게를 기반으로 얼마나 유사한지를 측정..
텐서플로우가 2.0 버전으로 들어서게 되면서, 많은 변화들이 생겨났다. 최근 프로젝트를 강제로 2.0으로 변환하고 있는데 아직 해당 버전에 대한 이해도가 낮기 때문에 많이 힘들어서 자구책으로 케라스(Keras)로 변환하여 사용하고 있다. 텐서플로우 2.0대부터는 케라스가 텐서플로우 프로젝트에 편입되었기 때문에 케라스로 구현하든 텐서플로우 2.0으로 코딩하든 사실 크게 상관이 없겠지만, 케라스의 쉬운 코딩은 소스의 길이를 대폭 감소하고 텐서플로우 2.0을 써도 크게 문제가 되지 않는 모델을 만들어준다. 우선 그러면 1.0과 2.0이 얼마나 차이가 나는지 한번 보도록 해보자. 아래 소스는 Packt 출판사에서 발매한 "Deep Learning with TensorFlow 2 and Keras"라는 도서에서 ..
블록체인 열풍이 분지, 약 3년이 지난것 같다. 2017년부터 제대로 불었으니 올해에는 우리들이 알만한 그리고 인정할만한 서비스가 나올때도 된 것 같다. 그동안 암호화폐는 늘 성장 가능성만 많았지, 누구도 인정하지 않았고 심지어 암호화폐를 하는 사람을 범죄자로 보는 경향이 커졌으니 국내는 n번방 사건등으로 암호화폐의 이미지는 더욱 나락으로 떨어졌다고 보면 된다. 현재 암호화폐를 하는 사람을 바라보는 일반 시민들의 생각은 '범죄자', '투기꾼', '성범죄자'와 같은 안 좋은 낙인만 찍히고 있는 실정이다. 물론 아직도 비트코인을 생각할 때 많은 사람들이 투자를 할까 고민을 할지 모르겠지만 어디까지나 유시민이 지적하듯 특정 집단(채굴회사)이 암호화폐를 생산하고 해당 암호화폐를 시장에 파는 대중의 돈이 되려면 ..
본 포스팅은 ADsP와 ADP 공통 과정인 데이터 분석 기획의 분석 방법론을 다룹니다. 분석 방법론이 방법론 모델 설명, KDD 방법론, CRISP-DM, 빅데이터 방법론 등 내용이 방대하기에 각각의 내용을 독립된 토픽으로 작성하였습니다. 빅테이터 분석 방법론 빅데이터를 분석하기 위한 방법론은 계층적 프로세스 모델(Stepwised Process Model)로 3계층 구성 Phase (단계) : 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성, 기준선(Baseline)으로 설정 관리하며, 버전관리(Configuration Management) 등을 통한 통제 Task (태스크) : 단계를 구성하는 단위활동, 물리적 또는 논리적 단위로 품질 검토의 항목이 될 수 있음 Step (스텝) : WBS(Wor..
본 포스팅은 ADsP와 ADP 공통 과정인 데이터 분석 기획의 분석 방법론을 다룹니다. 분석 방법론이 방법론 모델 설명, KDD 방법론, CRISP-DM, 빅데이터 방법론 등 내용이 방대하기에 각각의 내용을 독립된 토픽으로 작성하였습니다. CRISP-DM 데이터 마이닝 방법론 CRISP-DM(Cross Industry Standard Process for Data Mining)은 데이터 마이닝 전문가가 사용하는 일반적인 접근 방식을 설명한 가장 널리 사용되는 공개 표준 분석 모델입니다. 2015년 IBM은 CRISP-DM을 개선하고 확장하는 데이터 마이닝 / 예측 분석을 위한 분석 솔루션 통합 방법(ASUM-DM)이라는 새로운 방법론을 발표하기도 했습니다. 이 방법론은 1996년에 유럽연합의 ESPRIT..
빌게이츠는 이 위기가 금방 끝날거라 말하지 않는다. 게다가 Covid-19를 극복한다 하더라도 Next 코로나 바이러스가 안나오리란 법은 없다. 빌게이츠(Bill Gates)는 이번 사태로 수많은 사람들의 생활 방식이 바뀔 것이고, 예전과 같이 돌아가려면 몇년이 걸릴 수 있다 말하고 있다. 그는 이번 사태로 예전부터 시작한 프로젝트를 보다 더 적극적으로 투자하기로 마음을 먹었으며 전세계에서 7개의 백신 공장을 세울것이라 말을 하였다. source, https://www.marketwatch.com/story/bill-gates-says-hell-spend-billions-on-coronavirus-vaccine-development-2020-04-06 그리고 '부자아빠 가난한 아빠의 저자'인 '로버트 기..
