记一次修改了KAFKA的GROUP_ID导致的重复读取的问题

9679次浏览
原创
帖子类型：
2023/06/25 17:54:34

Kafka 的消费者组（consumer group）是一个逻辑概念，它由多个消费者实例组成，并共同消费一个或多个主题的所有分区。每个消费者组都有一个唯一的 group.id ，用于标识该消费者组。当多个消费者实例使用不同的 group.id 连接到同一个主题时，它们将形成多个独立的消费者组，每个消费者组都会独立消费该主题的所有分区。这意味着，如果使用不同的 group.id 连接到同一个主题，每个消费者组都会独立消费该主题的所有分区，从而导致重复消费的问题。例如，如果有两个消费者组 A 和 B，它们都连接到同一个主题，并分别消费该主题的所有分区。如果消费者组 A 和 B 的 group.id 不一致，那么它们将独立消费该主题的所有分区，从而可能导致重复消费的问题。为了避免这种情况，应该确保使用相同的 group.id 连接到同一个主题，以确保只有一个