카프카4 카프카 명령어 정리 Docker에서 실행법 docker-compose -f docker-compose.yml up -d 카프카 쉘 진입법(kafka는 docker에 올라간 컨테이너 이름) docker exec -it kafka /bin/sh cd /opt/kafka_2.13-2.8.1/bin 으로 진입 ls로 확인하면 여러 파일이 있어 여기서 토픽 관련 명령어 수행 가능합니다. 카프카 토픽 생성 kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic {topic_name} repication-factor는 브로커 1개이며 partition 1개로 생성하는 명령어입니다. 권장 브로커는 3개입니다. 카프카 토.. 2022. 2. 12. 스프링에서 카프카 시작하기 진행중인 프로젝트에 적용하기 전에 간단하게 카프카로 보내는 프로젝트를 만들어 보겠습니다. 1. 프로젝트 생성 start.spring.io에서 gradle, spring boot 2.5.9 버전 dependency에 spring web과 kafka, lombok, websocket을 추가해주세요. 2. 설정 값 생성 클래스 생성하셔서 아래 값을 기입해주세요. 토픽과 그룹 아이디, 주소를 주입해줄거에요. public class KafkaConstants { public static final String KAFKA_TOPIC = "kafka"; public static final String GROUP_ID = "test"; public static final String KAFKA_BROKER = "loc.. 2022. 2. 9. 맥북으로 도커에 카프카 설치하기 실행 버전 맥북 m1 도커 v20.10.12 카프카 버전 2.13-2.8.1 :: 2022/2/9일 기준 latest로 받았습니다. 터미널을 실행하시고 이미지를 다운 받아주세요. git clone https://github.com/wurstmeister/kafka-docker ls 명령어로 확인해보시면 kafka-docker 폴더가 생성된 것을 확인하실 수 있습니다. cd kafka-docker 들어가시면 docker-compose.yml 파일이 있습니다. vi ~/docker-compose.yml 파일로 파일을 수정해줍니다. 아래 코드와 같이 수정해주었습니다. version: '2' services: zookeeper: image: wurstmeister/zookeeper container_name: .. 2022. 2. 9. 아파치 카프카란? 아파치 카프카란 대용량, 대규모 메시지 데이터 처리하기 위한 분산 메시징 플랫폼입니다. 카프카를 쓰는 이유? 서버가 늘어나면서 타겟이 한 곳이 아니라 여러 곳으로 분산해서 데이터를 보내게 됩니다. 실시간 트랜잭션 처리와 비동기 처리가 이뤄져야 하지만 관리하는 플랫폼이 없어 파이프라인 관리가 어려워집니다. 카프카는 송신자와 수신자 사이에 위치에 적절하게 메시지를 분리해줍니다. 송신자(Publisher): 카프카에 데이터를 전송만 담당한다. 누가 받는지는 신경 쓰지 않습니다. 수신자(Subscriber): 수신자는 카프카에 원하는 토픽을 구독하고 데이터를 받습니다. 누구에게 보낼지 신경 쓰지 않아도 되며 수신자는 원하는 토픽의 메시지만 가져올 수 있습니다. 유지보수, 트래픽, 에러 처리 등에 대해 유리해집니.. 2022. 2. 8. 이전 1 다음
