<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10pt" ><div dir="ltr" >Howdy,</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >I'm currently using the latest kafka package manager on Bro 3.0.2.&nbsp; The plugin is configured to send to two kafka brokers.&nbsp; Unfortunately, it seems to work for some time and then quietly stops sending to the second broker.</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >Here's my zeek config for kafka:</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" ><div><span style="font-family:Courier New,Courier,monospace;" >@load packages/metron-bro-plugin-kafka<br>redef Kafka::topic_name = "";<br>redef Kafka::kafka_conf = table(<br>&nbsp; &nbsp; &nbsp; &nbsp; ["metadata.broker.list"] = "broker1:9092, broker2:9092"<br>);</span></div>
<div><br><span style="font-family:Courier New,Courier,monospace;" >event zeek_init()<br>{<br>&nbsp; &nbsp; local protocol_list = table(<br>&nbsp; &nbsp; &nbsp; &nbsp; ["conn" ] &nbsp; &nbsp; &nbsp; = Conn::LOG,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["dhcp" ] &nbsp; &nbsp; &nbsp; = DHCP::LOG,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["dns" ] &nbsp; &nbsp; &nbsp; &nbsp;= DNS::LOG,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["ftp" ] &nbsp; &nbsp; &nbsp; &nbsp;= <a href="FTP::LOG" >FTP::LOG</a>,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["http"] &nbsp; &nbsp; &nbsp; &nbsp;= <a href="HTTP::LOG" >HTTP::LOG</a>,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["ssl"] &nbsp; &nbsp; &nbsp; &nbsp; = SSL::LOG,<br>&nbsp; &nbsp; &nbsp; &nbsp; ["x509"] &nbsp; &nbsp; &nbsp; &nbsp;= X509::LOG<br>&nbsp; &nbsp; );</span></div>
<div><span style="font-family:Courier New,Courier,monospace;" >&nbsp; &nbsp; for (proto, log_id in protocol_list ) {<br>&nbsp; &nbsp; &nbsp; &nbsp; local this_filter: Log::Filter = [<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; $name = "kafka-" + proto,<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; $writer = Log::WRITER_KAFKAWRITER,<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; $config = table(<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ["metadata.broker.list"] = "broker1:9092, broker2:9092"<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ),<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; $path = &nbsp;proto<br>&nbsp; &nbsp; &nbsp; &nbsp; ];<br>&nbsp; &nbsp; &nbsp; &nbsp; Log::add_filter(log_id, this_filter);<br>&nbsp; &nbsp; }<br>}</span></div>
<div>&nbsp;</div>
<div>&nbsp;</div></div>
<div dir="ltr" >Does anyone see anything wrong with my config?&nbsp; It works fine for a single broker.</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >I notice the failure since all the netstat entries disappear for broker2, and it stops receiving data.&nbsp; Broker1 is fine.</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >Thanks,</div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >-Erich</div></div><BR>