Kafka2 Spring Kafka + Apache Avro Spring Kafaka에서 Avro Message를 사용할 때 발생할 수 있는 에러를 핸들링하는 방법을 학습할 것이다. Poison Pill이란 개념을 알아야하는데, Poison Pill은 메시지를 받았을 때 알 수 없는 본문이나 포맷 이슈 등으로 문제가 발생하는 상황을 말한다. 이런 경우 계속해서 재시도처리하는게 아닌, 이 메시지를 받아서 적절하게 잘 처리해야한다. Avro로 인코딩된 메시지를 수신했을 때 Poison Pill이 발생할 수 있다. 예를 들어서 consumer는 Avro로 인코딩된 데이터를 원하지만 producer에서 StringSerializer를 사용해 메시지를 보냈다면 문제가 발생할 수 있다. 이런 경우 " Unknown magic byte" 라는 메시지를 포함한 에러를 발생.. 2025. 7. 4. Kafka-KIP848에 대하여 및 테스트(KRaft) 개요회사에서 Kafka 클러스터링 구성을 진행하다보니 KIP-848에 대해서 알게 되었다.나름 Kafka동작방식에 있어서 획기적인 아이디어를 적용하였으니 한 번 알아보면 좋을 것 같아서 좀 찾아보았다.KIP848KIP-848은 Kafka의 새로운 Consumer Rebalance Protocol을 도입기존 리밸런싱 방식의 문제점1.모든 Consumer들이 Coordinator에게 Join 요청Coordinator가 모든 Consumer의 metadata 수집리더 Consumer(보통 첫 번째 consumer)가 전체 assignment를 계산Coordinator가 각 Consumer에게 할당모든 Consumer가 Join 완료되어야만 리밸런스가 가능느린 Consumer 하나 때문에 전체 Group이 지연.. 2025. 4. 16. 이전 1 다음
