kafka 추가 질문

👀 Connect와 Connector 차이

 Apache Kafka에서는 Kafka Connect라는 이름으로 데이터 이동을 위한 도구를 제공합니다.

이 도구의 핵심 구성 요소는 Connectors(커넥터)입니다.

 

 

👀 Kafka 와 Kafka Connector 차이

Kafka
목적: 데이터를 안전하게 저장하고, 실시간으로 처리하며, 다양한 애플리케이션 간에 데이터를 전송하는 플랫폼입니다. 데이터의 Pub/Sub(발행/구독)을 중심으로 데이터를 관리합니다.
역할: 메시지 큐나 데이터 파이프라인의 역할을 수행하여 데이터를 안전하게 저장하고, 다양한 소비자에게 실시간으로 전달합니다.
사용 사례: 대규모 데이터 스트리밍, 로그 처리, 이벤트 기반 마이크로서비스 아키텍처, 데이터 수집 및 분석 등에 사용됩니다.
구성 요소: 브로커, 토픽, 파티션, 프로듀서, 컨슈머 등으로 구성됩니다.
확장성: 대규모 데이터 스트리밍에 대한 높은 확장성과 처리량을 제공합니다.

Kafka Connector
목적: Kafka와 외부 시스템 간에 데이터를 이동시키는 도구로, 데이터의 이전, 호환성 유지, 데이터 스트리밍 등을 담당합니다.
역할: 외부 시스템과의 연동을 담당하여 데이터를 Kafka로 가져오거나 Kafka에서 다른 시스템으로 보내는 작업을 처리합니다.
사용 사례: 다양한 데이터베이스, 파일 시스템, 메시징 시스템 등과의 통합, 데이터의 이전과 호환성 유지, 대량 데이터의 스트리밍 등에 사용됩니다.
구성 요소: Source Connector(데이터를 Kafka로 가져오는), Sink Connector(데이터를 Kafka에서 다른 시스템으로 보내는)로 구성됩니다.
확장성: 다양한 외부 시스템과의 통합을 지원하여 데이터 이전 및 호환성 유지를 편리하게 처리할 수 있습니다.

 

 

👩 나의 경험담..

kafka는 데이터만 전송(save따로 코드 구현 필요)하고

kafka connect는 데이터를 전송하면 db에 save까지 한번에 됐다.

 

 

 

 

👀 Kafka Connector 장단점

장점

1. DB가 달라도 싱크 가능(이기종 db) - Kafka Connector만이 코드없이 가능

2. 마이크로서비스환경에서 서로 다른 db의 싱크를 손쉽게(코드없이) 대부분 보장 가능

3. Event Sourcing, CQRS, Saga 패턴 등을 사용하지 않고도 어느정도 싱크가 보장됨

 

 

단점

1. 서버하나 더 돌려야 된다.

Kafka Connect서버가 내려갈 때 연동되어 있는 db 모두 global lock이 걸린다.(connect 재기동하려면 유저가 없는 새벽에 한다.)

 

2. 주기적으로 db가 변동이 있는지 확인하기 위한 쿼리가 계속 나가고 있음(jdbc Connector)

이거 막으려면 db debezium connector를 사용하면 쿼리 안나가는 방식으로 가능하긴 함

 

3. DB 커스텀이 어렵다.

A_DB와 B_DB가 Connect로 연결이 되어 있는데

A_DB에 save할 시, B_DB에 save하면서 다른 필드에는 -1을 하고 싶을 때 안됨.

왜냐 둘이 이미 싱크 맞아서 하나라고 봐도 무방하기 때문..

 

 

 

 

 

---

 

👀 (강의질문) 추가로 궁금한 점

 

 

질문 링크 https://www.inflearn.com/course/lecture?courseSlug=%EC%8A%A4%ED%94%84%EB%A7%81-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%EC%84%9C%EB%B9%84%EC%8A%A4&unitId=70615&category=questionDetail&tab=community&q=205769

학습 페이지

 

 

질문1.

그러면 kafka connect 를 사용하는 이유는 마이크로서비스들에서 사용되는 DB가 다양할 경우에
kafka connect 를 통해서 하나 의 DB나 다양한 종류의 데이터 저장소로 데이터를 쉽게 자동으로 보내기 위함인 건가요??

 

답변

Kafka Connect는 마이크로서비스들간의 데이터 공유 뿐만 아니라, Kafka의 Topic에 저장된 데이터를 다른 리소스들과 연결, 공유해 주는 Platform입니다. 따라서, DB로부터 데이터를 가져올 수도 있고, 다른 리소스로부터 데이터를 전달할 수도 있습니다. 

 

 

질문2

 DB를 한개만 사용한다면 kafka connect 를 사용하지 않고 kafka만 사용해도 되는건가요??

정확히 어떨 때 어떤걸 사용해야하는지 궁금합니다!!

 

답변

DB를 하나만을 사용해서 Shared Database의 개념으로 여러 마이크로서비스에서 사용할 수도 있습니다. 그럴 경우에는 Kafka를 빼고 직접 DB에 데이터를 저장하거나, 가져올 수 있습니다. 다만, 트랜잭션의 순서 및 데이터가 발생한 이벤트들의 기록을 위해서 Kafka와 같은 메시징 큐잉 서비스를 사용할 수 있습니다. 강의에서는 마이크로서비스에서 데이터를 공유하는 하나의 방법으로 Kafka Connect를 통한 동기화를 소개하였고, 이외에도 Event Sourcing, CQRS, Saga 패턴 등이 사용될 수 있습니다. 이러한 부분에 대해서는 후속 강의로 준비중입니다. 

 

질문3.

feign client 는 rest api 를 통한 동기 통신이고
kafka 는 구독방식을 통한 비동기 통신으로 이해하고 있습니다.
feign client 와 kafka 둘중에 어떨 때 어떤 방식을 사용하는지 잘 와닿지가 않아서 저는
보통 마이크로서비스들 끼리의 통신은 feign client으로 처리하고
주문하면 재고가 빠져야하는 데이터 동기화 처리같은건 kafka 로 한다고 이해하고 있습니다.
혹시 모든 처리를 feign client 나 kafka 둘중 하나만 사용하는 방법도 존재하는건가요??

 

답변

 Feign Client는 마이크로서비스간의 통신을 추상화 시켜놓은 객체라고 보시면 됩니다. 마이크로서비스 간의 통신을 위해 다른 서비스의 주소나 포트 등의 정보를 직접 입력하지 않고, 서비스의 이름(아이디)를 이용하여 통신할 수 있도록 해 줍니다.

Kafka는 마이크로서비스간의 통신을 처리한다기 보다는 데이터를 Kafka의 저장소(Topic)에 순차적으로 저장해 주는 목적을 가지고 있습니다.

 

2개의 사용 용돋가 다르기 때문에, 둘 중 하나만 사용한다는 것보다는 Spring Boot + Spring Cloud로 작성된 마이크로서비스 간의 통신을 위해 RestTemplate 또는 Feign Client를 사용하고, 그 외 데이터나 이벤트 등과 같은 다양한 정보를 다른 서비스나 애플리케이션에서 사용하기 위해서 저장하고 가져오는 기술을 위해서 Kafka를 사용하신다고 보시면 좋을 것 같습니다.