kafka

아래는 Kafka, Grafana, Nomad 각각의 개념과 이들이 어떤 관계로 연결될 수 있는지1. Kafka (카프카)메시지 브로커/스트리밍 플랫폼입니다.대량의 데이터를 발행/구독(Pub/Sub) 형태로 처리하는 데 특화된 시스템입니다.예) 로그 데이터, 센서 데이터, 이벤트 스트림 등을 처리할 때 주로 사용.특징고속 데이터 처리분산 환경에서 확장성데이터 보존 및 재처리 기능쉽게 말하면?실시간 데이터가 계속 쏟아지는 환경에서 데이터를 한 곳에서 받고, 이걸 필요한 서비스들이 가져다 쓸 수 있게 해주는 중간 데이터 허브 역할.2. Grafana (그라파나)데이터 시각화 도구입니다.시계열(time-series) 데이터를 다양한 형태(그래프, 게이지 등)로 보여주는 데 특화.여러 데이터 소스 지원 (Pro..

org.apache.kafka:kafka_2.13와 org.springframework.kafka:spring-kafka 두 가지 의존성은 각각 Apache Kafka와 Spring Kafka 라이브러리를 제공합니다. 이 둘은 서로 다른 목적을 가지고 있으며, 주로 Kafka를 사용할 때 함께 사용되지만, 서로 다른 역할을 수행합니다.org.apache.kafka:kafka_2.13이 의존성은 Apache Kafka 클라이언트를 제공합니다. Kafka 클라이언트는 Kafka 브로커와 상호작용하기 위한 기본적인 라이브러리입니다. 이를 통해 프로듀서와 컨슈머를 직접 구현할 수 있습니다. 2.13 부분은 Scala 버전과 관련이 있으며, Kafka가 Scala로 작성되었기 때문에 필요합니다.주요 기능:Kafk..

MSA 프로젝트를 진행하다 보니 마이크로서비스간 통신을 할 때에 Feign Client 과 Kafka 중 어떤 것을 적용해야 하는지 고민 생겼다. 둘다 마이크로서비스 간의 통신은 잘 해주지만, 이 둘의 어디에 적용해야 목적에 알맞게 사용하는 것인지 헷갈렸다.우선 내가 찾아 본 결과..  💡 Feign ClientFeign Client는 마이크로 서비스간의 통신을 추상화 시켜놓은 객체이다.마이크로서비스 간의 통신을 위해 다른 서비스의 주소나 포트 등의 정보를 직접 입력하지 않고, 서비스의 이름(아이디)를 이용하여 통신할 수 있도록 해준다.  💡 KafkaKafka는 마이크로서비스간의 통신을 처리한다기 보다 데이터를 Kafka의 저장소(Topic)에 순차적으로 저장해 주는 목적을 가지고 있다.   정리 ..

👀 Connect와 Connector 차이 Apache Kafka에서는 Kafka Connect라는 이름으로 데이터 이동을 위한 도구를 제공합니다. 이 도구의 핵심 구성 요소는 Connectors(커넥터)입니다. 👀 Kafka 와 Kafka Connector 차이 Kafka 목적: 데이터를 안전하게 저장하고, 실시간으로 처리하며, 다양한 애플리케이션 간에 데이터를 전송하는 플랫폼입니다. 데이터의 Pub/Sub(발행/구독)을 중심으로 데이터를 관리합니다. 역할: 메시지 큐나 데이터 파이프라인의 역할을 수행하여 데이터를 안전하게 저장하고, 다양한 소비자에게 실시간으로 전달합니다. 사용 사례: 대규모 데이터 스트리밍, 로그 처리, 이벤트 기반 마이크로서비스 아키텍처, 데이터 수집 및 분석 등에 사용됩니다. 구..

MixProject에서 한 동물 합성 결과를 UserProject의 유저 인벤토리에 저장해야한다. Producer(Mix Project) 설정 Config 방법 1. resource - application.yml kafka: bootstrap-servers: localhost:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.springframework.kafka.support.serializer.JsonSerializer aplication.yml에서 설정한다면, producer와 Consumer를 둘 다 넣어두는게 나중에 잊지 않고 사용 할 수 있어서 좋을 ..