Kafka配置优化其实都是修改server.properties文件中参数值 1、网络和io操作线程配置优化 # broker处理消息的最大线程数 建议配置: 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1. num.io.threads主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍. 2、log数据文件刷盘策略 为了大幅度提高producer写入吞吐量,需要定期批量写文件。 建议配置:
3、日志保留策略配置 当kafka server的被写入海量消息后,会生成很多数据文件,且占用大量磁盘空间,如果不及时清理,可能磁盘空间不够用,kafka默认是保留7天。 建议配置:
4、replica复制配置 每个follow从leader拉取消息进行同步数据,follow同步性能由这几个参数决定,分别为拉取线程数(num.replica.fetchers)、最小字节数(replica.fetch.min.bytes)、最大字节数(replica.fetch.max.bytes)、最大等待时间(replica.fetch.wait.max.ms)
5、配置jmx服务 kafka server中默认是不启动jmx端口的,需要用户自己配置 [lizhitao@root kafka_2.10-0.8.1]$ vim bin/kafka-run-class.sh #最前面添加一行
|
|