몇개의 포스팅은 한동한 비트코인(Bitcoin, BTC)을 사야 하는 이유 시리즈로 만들어보려고 합니다. 비트코인을 사야 하는 이유는 "지금 당장 비트코인"을 사라는 내용은 아니라 다른 암호화폐보다 비트코인이 낫다라는 뉘앙스에 더 가깝다는 것을 인지해 주셨으면 좋겠습니다. 올해 암호화폐계의 최대 이슈는 단연코 비트코인 기반 프로젝트인 것 같습니다. 그 중에 스타트를 끊은 오디널스 프로토콜(Ordinals Protocol)이 있는데요. 오디널스에 대해서 깊게 알 필요는 없을 것 같아서, 간단히 어떤 기능이 가능한지 알아보도록 하겠습니다. 비트코인의 업데이트 역사 우선 오디널스를 이해하기 위해서는 비트코인의 업데이트 과정을 들여다볼 필요가 있습니다. 세그윗(SegWit) 2017년 세그윗(SegWit)이라는..
Beautiful Soup이란? Beautiful Soup는 HTML 및 XML 문서를 파싱하기 위한 파이썬 라이브러리(Python Library)입니다. 웹 스크래핑(Web Scraping)에 사용되며, 복잡하고 비정형적인 웹 페이지로부터 필요한 데이터를 빠르고 쉽게 추출하는 것을 도와주고 있습니다. Beautiful Soup 예제 from bs4 import BeautifulSoup import requests # 스크래핑할 URL url = "https://needjarvis.tistory.com/802" # 해당 url에 연결한 후 HTML 내용을 가져옵니다. response = requests.get(url) html_content = response.text print(html_content)..
버전 관리 시스템 개념(Version Control System) 버전 관리 시스템(Version Control System, VCS)은 파일의 변경 이력을 저장하고, 여러 사용자가 동시에 작업 및 협업할 수 있도록 돕는 소프트웨어 도구입니다. 주로 소프트웨어 개발 프로젝트에서 코드 변경을 추적하고, 개발자들이 이전 버전으로 되돌릴 수 있게 해줍니다. 버전 관리 시스템의 주요 유형 중앙집중식 버전 관리 시스템(Centralized Version Control System, CVCS) - 중앙 서버에서 저장소를 관리하고, 개발자들이 서버와 통신하여 코드 변경 내역을 저장하고 업데이트합니다. 이 방식의 대표적인 예로는 Subversion(SVN)이 있습니다. 분산 버전 관리 시스템(Distributed Ve..
GPT에 관련된 글들 중 어떤 것을 적을까? 고민을 많이 해봤는데 결국은 ChatGPT에 대한 정보와 나만의 인사이트에 대해서 적어보는 것이 좋을 것 같습니다. ChatGPT가 제 2의 알파고 쇼크를 줬기 때문에 엄청난 지각변동이 일어나고 있고, 수많은 사기꾼들과 협소한 인사이트로 어설픈 미래를 제시하는 사람들이 많을 것이기 때문입니다. 포스팅의 내용이 길어질거라 생각해서 이번 포스팅은 GPT에 대한 개념, 역사, 버전별 정보등을 적고 다음 포스팅에서는 GPT로 일어나게 될 지각변동 등에 대해서 적어보도록 하겠습니다. ChatGPT란? 우선 ChatGPT에 대해서 설명을 하자면, 일론 머스크가 비영리 단체로 만든 Open AI에서 만들었으며 중간에 일론 머스크가 Open AI에서 손을 뗀 후, MS가 많..
편집거리 개념 편집거리 알고리즘(Levenshtein Distance)는 두 개의 문자열 간의 편집거리를 측정하는 알고리즘 입니다. 편집 거리는 문자열을 다른 문자열로 변경하는데 필요한 최소한의 삽입, 삭제 및 대체 작업 수를 나타냅니다. 편집거리 알고리즘은 다양한 응용 분야에서 사용될 수 있는데 맞춤법 검사, 음성 인식, 텍스트 유사성 측정 등에서 사용됩니다. 알고리즘 설명 위 예시는 편집거리를 계산하는 것을 보여주는 예시로 비(rain)와 빛나다(shine)로 설명을 합니다. 우선 rain을 shine으로 변환하려면 r을 s로 바꾸고, a를 h로 바꾸고 e를 삽입합니다. 고로 이 편집거리는 3입니다. 기차(rain)와 빛나다(shine)에 대해서 작업을 하게 된다면, shine앞에 t를 붙이고, s를..
최근 회사 컴퓨터에 PyTorch를 사용해야 되는 상황이 생겨서, PyTorch 사이트에서 있는 가이드대로 최신 버전과 Cuda도 버전 업을 하여서 Torch 설치 시도를 하였으나, Conda로 설치를 하는 것이 실패하고 말았다. 위와 같이 Command를 입력하면, Solving에서 무한 멈춤 현상이 발생하였는데 이 문제를 해결하기 위해 아나콘다를 다시 깔아보고, Cuda도 다양한 11.6.x 버전들을 설치했지만, 아무래도 SSL 문제처럼 보였다. 결국 PIP로 trusted-host로 사이트를 신뢰한다고 표시 한 뒤, 설치를 마무리 하였으나 이번에는 Torch가 Cuda를 인식하지 못하는 문제가 발생하였다. import torch torch.cuda.is_available() 위와 같이 명령어를 날리..
주피터 노트북(Jupyter Notebook)으로 간단하게 프로그램을 돌릴 때, 평상시에는 문제가 없지만 용량이 큰 것을 돌리기 위해서 C가 아니라 다른 드라이브로 돌려야 되는 경우가 종종 있습니다. 이럴 때에는 드라이브를 변경해야 하는데요 주피터의 드라이브를 변경하는 법을 포스팅 하도록 하겠습니다. 주피터 노트북 환경설정 생성 우선 드라이브를 변경하기 위해서는 주피터 환경설정 파일을 만들어야 합니다. (kogpt) C:\Users\user>jupyter notebook --generate-config Writing default config to: C:\Users\user\.jupyter\jupyter_notebook_config.py 위와 같이 jupyter notebook --generate-con..
구글 코랩 구글 코랩(Google colab)은 내 현재 사양이 딥러닝(Deep Learning) 혹은 머신러닝(Machine Learning)을 돌리기 적합하지 않거나, 다양한 기기를 사용해서 통일된 환경으로 작업을 하고 싶거나, 실제 서비스에 적용해보기전에 테스트로 돌리기 용이한 환경입니다. 구글은 코랩이라는 GPU가 탑재된 클라우드 환경을 사용자에게 무료로 제공해주고, 사용자는 코랩에서 다양한 실험을 하면서 구글은 실험 데이터를 얻고 우리는 무료로 빠르게 딥러닝을 테스트 해볼 수 있습니다. 다만 코랩이 고급 환경을 계속 제공해주는 것은 아닙니다. 예를 들어 모델링 학습 시간이 하루가 넘어가는 것이라면 사용을 할 수 없기 때문에 사실상 본섭에 실행을 하기 전 맛보기 정도에 불과하다는 것을 인지해야 합..
처음 이 책을 볼 때에는 그저그런 전문가 분이 집필한 어설픈 가이드북이 아닌가? 라는 생각을 가졌던 것 같습니다. 그러나 이 생각은 책을 펼친지 얼마 되지 않아 그런 생각은 고스란히 사라지고 말았습니다. 아마도 빅데이터 혹은 유사한 직무를 하는 분들은 자신의 직업이 명확히 무엇인지 모르는 분들이 많을 것입니다. 심지어 내가 하는 업무에 대한 명확한 정의를 내지 못하는 사람들이 꽤 많습니다. 이는 유사하면서도 미세하게 나뉠 수 있는 스킬과 업무의 특성 때문인데 년차가 얼마 되지 않을 경우 더더욱 본인의 직업을 정의 내리기 힘들어 합니다. 제가 이 책을 보기전에 회사 동료들 중 년차가 낮은 동료들에게 이렇게 물어본적이 있습니다. “연구원님은 본인의 직업을 디테일하게 정확히 무엇이다 정의 내릴 수 있나요?” ..
한국의 실리콘 밸리인 판교의 SK C&C 데이터 센터에서 화재가 발생하여, 수많은 서비스의 장애가 발생하였습니다. 그런데 유독 카카오가 더 큰 장애가 발생하였고, 유독 큰 욕을 먹고 있는데 이 이유에 대해서 알아보도록 해보겠습니다. 중앙 집중화 카카오의 가장 큰 문제는 바로 중요한 서비스를 모두 한 데이터 센터에 몰아 넣었다는 것입니다. 전원에 문제가 발생하여 다시 전원을 복구하였으면 모든 서비스가 이상없이 돌아야 하는데 지금 쓰고 있는 티스토리(Tistory)의 경우 아직도 모바일로 페이지를 리다이렉트 시킬 정도입니다. 이는 데이터의 상당수가 유실되었거나 DR(Disaster Recovery) 즉, 장애 복구 대응이 부족해서 절차가 없다는 것입니다. 보통 카카오같은 서비스는 장애가 발생하였을 경우 서비..
비츠(Beats)는 컴퓨터, 네트워크, 앱과 같은 데이터를 전송하는 경량 데이터 전달자이다. Beats인 이유는 비츠라는 어플리케이션 하나로 구성된 것이 아니라 상황에 맞게 다양한 비트(Beat)가 있기 때문이다. 로그스태시(Logstash)와 비교 엘라스틱서치에 데이터를 전달해주는 역할로는 로그스태시(Logstash)도 존재하는데 로그스태시는 다양한 소스에서 데이터를 수집하는 커다란 데이터 전송 솔루션이라 본다면 비츠는 로그스태시에 비해 차지하는 공간이 작고, 더 적은 리소스를 사용한다. 게다가 비츠는 수집해야 하는 서버에 에이전트를 설치하는 식이라 목적은 같지만 사용하는 방식이 완전 다르다 할 수 있다. 아래는 엘라스틱서치에서 설명하는 로그스태시와 비츠의 비교내용이다. Beats는 서버에 에이전트로 ..
저는 개인적으로 딥러닝 프레임워크 중에서 케라스(Keras)를 많이 선호합니다. 딥러닝을 텐서플로우로 시작하였고, 다소 어려웠던 텐서플로우 초기 버전에서 텐서플로우 2.0부터는 케라스를 기본으로 하여 텐서플로우도 이제 많은 사람들이 쉽게 딥러닝을 다룰 수 있게 도와줬기 때문입니다. 그런 고마운 케라스라는 존재를 만든 창시자 분이 직접 도서를 집필하였는데요. 1판의 경우 2018년에 나와서 많은 2019년 ~ 2020년에 대규모 변화가 있었던 텐서플로우의 비해 약간 늦은 감이 있어 현재 시점으로는 보기에 힘들 수 있는데요. 개정 2판이 나오면서 도서 역시 현재 버전에 맞게 다양하게 바뀌었습니다. 양장본 게다가 도서는 양장으로 되어 있어서 책 받침대에 놓거나 그냥 보기에도 상당히 편합니다. 저는 양장으로 된..
