[카프카] 주키퍼 및 카프카 설치 및 테스트(윈도우)

주키퍼(ZooKeeper)

카프카(Kafka)는 분산 어플리케이션이기 때문에 이를 통제해주는 별도의 솔루션이 필요하다. 그래서 카프카를 독립적으로 설치하지 않고 필수적으로 주키퍼(Zookeeper)라는 하둡 진영의 분산 코디네이터를 설치하게 되는데 카프카 역시 아파치 프로젝트에 속해있기 때문이다.

 

주키퍼 설치프로세스

 

설치경로 : https://zookeeper.apache.org/releases.html

 

https://zookeeper.apache.org/releases.html

위 사이트에서 Apache ZooKeeper 3.6.2(asc, sha512)를 클릭하면 다운로드 사이트로 이동하게 되며 압축파일을 받고 아래와 같은 프로세스를 진행하도록 한다.

 

주키퍼 설치 프로세스

1. 원하는 폴더에 압축 파일을 옮긴 후, Command(cmd) 창을 열고 해당 위치로 가서 tar -xvf [주키퍼파일]을 입력한다. 

2. 주키퍼 폴더에 data라는 폴더를 생성한다. 

3. conf 폴더 안에 있는 zoo_sample.cfg 파일을 zoo.cfg 파일로 명칭을 변경한다.

4. 파일 안에 있는 dataDir 값을 data로 수정한다.

 

 

주키퍼 구동 프로세스

1. 주키퍼의 bin 폴더로 간 후, zkServer.cmd 파일을 실행한다.

2. 위와 같이 로그가 올라가면 정상적으로 가동이 된 것이다.

 

카프카(Kafka)

주키퍼가 정상적으로 가동이 되었다면 이제 카프카를 설치하도록 한다.

 

카프카 설치 프로세스

설치경로 : http://kafka.apache.org

 

카프카 설치 프로세스

1. Kafka 사이트에 들어간 후 우측 상단의 download 아이콘을 클릭한다.

2. 다운로드 페이지에서 Binary downloads의 Scala로 된 파일중 한개를 다운로드 한다.

3. 원하는 위치로 파일을 이동 후, tar -xvf [카프카파일]로 압축을 해제한다.

 

카프카 구동 프로세스

Command 창을 열 고, 카프카 설치폴더/bin/windows 폴더로 이동한 후 아래 실행문을 입력하여 카프카를 구동한다.

kafka-server-star.bat ../../config/server.properties

 

데이터 주고 받기 테스트

카프카도 정상적으로 구동이 되었다면 이제 데이터를 주고 받는 테스트를 해봐야 하는데 카프카는 console로 테스트를 할 수 있는 환경을 제공한다.

 

토픽생성

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions  --topic testtopic

 

토픽 생성 확인

카프카의 토픽이 잘 생성이 되었는지 확인을 하려면 여러가지 방법이 있겠지만, 주키퍼에서 편리하게 확인을 할 수 있다. 

 

1. cmd를 실행 후, 주키퍼/bin 폴더로 이동한다
2. zkCli.cmd 명령어를 실행한다 (주키퍼의 다양한 명령어를 실행할 수 있다)
3. ls /brokers/topics 를 입력한다
4. testtopic이 있는 것을 확인할 수 있다.

 

 

데이터 주고 받기 테스트

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic [토픽명]

우선 consumer라는 수신자를 구동시킨다. --bootstrap-server 이후에는 구동 서버를 지정하며, --topic 다음에는 생성한 토픽명(여기서는 testtopic)을 입력한다. 실행(Enter) 후 반응이 없는 창이 나온다면 성공한 것이다.

 

이번에는 produce라는 송신자를 구동시키기 위해 별도의 cmd 창을 실행 후 아래와 같은 명령어를 입력한다.

kafka-console-producer.bat --broker-list localhost:9092 --topic [토픽명]

위와 같이 입력하면, ">"와 같은 실행대기 표시가 뜨는데 여기에 아무런 값이나 입력하게 되면 무반응이었던 consumer 창에 값들이 나타나게 된다.

 

 

참고자료

https://zookeeper.apache.org/releases.html
http://kafka.apache.org

#주키퍼 #카프카 #zookeeper #kafka