启动kafka无反应_记一次 Kafka 重启失败问题排查

最新推荐文章于 2024-09-25 08:38:14 发布

叶琦彰

最新推荐文章于 2024-09-25 08:38:14 发布

阅读量2k

点赞数

文章标签：启动kafka无反应

本文链接：https://blog.csdn.net/weixin_42299032/article/details/111904608

版权

本文记录了一次Kafka集群中遇到的启动无反应和日志索引损坏问题。在Kafka集群A主题的34分区选举leader失败后，经过分析发现是由于日志索引文件损坏导致的。在检查Kafka日志和源码后，确认了问题的原因，并提出了删除损坏文件并重启的解决方案。同时，文章探讨了可能的优化策略，包括升级Kafka版本、调整系统超时值和修改Kafka配置参数，以提高集群的稳定性和可用性。

摘要由CSDN通过智能技术生成

背景

在 2 月10 号下午大概 1 点半左右，收到用户方反馈，发现日志 kafka 集群 A 主题的 34 分区选举不了 leader，导致某些消息发送到该分区时，会报如下 no leader 的错误信息：

In the middle of a leadership election, there is currently no leader for this partition and hence it is unavailable for writes.

接下来运维在 kafka-manager 查不到 broker0 节点了处于假死状态，但是进程依然还在，重启了好久没见反应，然后通过 kill -9 命令杀死节点进程后，接着重启失败了，导致了如下问题：

由于 A 主题 34 分区的 leader 副本在 broker0，另外一个副本由于速度跟不上 leader，已被踢出 ISR，0.11 版本的 kafka 的 unclean.leader.election.enable 参数默认为 false，表示分区不可在 ISR 以外的副本选举 leader，导致了 A 主题发送消息持续报 34 分区 leader 不存在的错误，且该分区还未消费的消息不能继续消费了。

Kafka 日志分析

查看了 KafkaServer.log 日志，发现 Kafka 重启过程中，产生了大量如下日志：