1. 아파치 스파크(Apache Spark)란? 아파치 스파크(Apache Spark)는 빅데이터(Bigdata) 처리를 위해서 등장한 오픈소스 병렬분산처리 솔루션, 플랫폼이다. 빅데이터가 한창 떴던 당시 전세계는 빅데이터 열풍과 동시에 "빅데이터 = 하둡(Hadoop)"이라는 생각을 했을 만큼 하둡의 등장은 센세이션 했었다. 문제는 하둡의 등장은 2010년 즈음이고, 그때와 지금과는 데이터가 하늘과 땅차이가 날 정도로 패러다임이 다시 바뀌게 되었다. 하둡은 기본적으로 HDFS(Hadoop Distributed File System)라고하는 분산 저장 파일 시스템과 맵리듀스(MapReduce)라고 하는 데이터 처리 방식으로 인해서 한 획을 그었는데 문제는 HDFS는 디스크의 I/O를 사용하는 것이고, 결..
