@Cherron 好的,谢谢哈!
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
@Cherron 我们这个topic太多了,所以没法手动注册,目前对partition要求不严格,所以需要自动创建topic,在brod的github项目中https://github.com/klarna/brod/blob/master/src/brod.erl看到start_client(BootstrapEndpoints,ClientId,Config)方法的Config配置有auto_start_producers配置项,这样:
ClientConfig = [{auto_start_producers ,true}],
ok = brod:start_client(KafkaBootstrapEndpoints, brod_client_1, ClientConfig),
配置后发现还是会报上面的错误,苦恼哦
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
@Cherron 我用了您的这种方式来创建topic,发现在kafka没有这个topic的时候会报错:client 26236 disconnected, reason: {{badmatch,{error,unknown_topic_or_partition}},[{emq_plugin_kafka,on_message_publish,2,[{file,[115,114,99,47,101,109,113,95,112,108,117,103,105,110,95,107,97,102,107,97,46,101,114,108]},{line,134}]} ,请问是否有更好的方式能保证kafka没有当前mqtt的topic时也能正常创建kafka的topic并且发送消息给kafka?我试了下并发情况确实比ekaf更好很多,谢谢!
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
@Cherron 哦,我之前用ekaf的时候在ekaf_send方法中加入application:set_env(ekaf, ekaf_bootstrap_topics, Topic),这一句就会自动创建topic,不知道brod该怎么创建- -,我再研究下,还有按您写的插件使用brod连接kafka能支持大概5000/s的并发吗?感谢!
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
@Cherron 谢谢哈,我现在也打算用brod试试,但是不知道brod怎么自动创建topic,不了解Erlang,设置了auto_start_producers为true还是没用,大佬能说下怎么自动创建topic吗,因为我们需要emq的topic和kafka的topic保持一致
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...
ekaf:用jmeter测试发布消息并发,发现kafka收到的消息没有并发数多,请问作者有发现这个问题吗,能给个解决方案吗?谢谢!
Centos7 搭建v2.3.11 emq broker及编写kafka插件背景: emq开源版集成了许多插件,但没有提供kafka的。但官方提供了插件的模板,我们只需要照葫芦画瓢即可; 由于emq是基于Erlang编程语言,所以我们需要搭建Erla...