<div dir="ltr">Master officially supports Zeek 3.1 now so please let me know if you run into any issues.<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><br>- Jon Zeolla<br>Zeolla@GMail.Com</div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 7, 2020 at 1:15 PM Hovsep Levi &lt;<a href="mailto:hovsep.sanjay.levi@gmail.com">hovsep.sanjay.levi@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">It is not working yet for me and was set aside to fix another time.<div><br></div><div>Very glad to hear about pull 44, I will test !  <div><br></div><div>/Hovsep<br></div></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 4, 2020 at 5:01 PM Zeolla@GMail.com &lt;<a href="mailto:zeolla@gmail.com" target="_blank">zeolla@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I have the plugin working with 3.1.2 <a href="https://github.com/apache/metron-bro-plugin-kafka/pull/44" target="_blank">here</a> - feedback is welcome.<br clear="all"><div><div dir="ltr"><br>- Jon Zeolla<br>Zeolla@GMail.Com</div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 29, 2020 at 3:35 PM Zeolla@GMail.com &lt;<a href="mailto:zeolla@gmail.com" target="_blank">zeolla@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Were you able to get this working?  I&#39;m planning to work on the bro to zeek cutover for the plugin soon.<br clear="all"><div><div dir="ltr"><br>- Jon Zeolla<br>Zeolla@GMail.Com</div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 27, 2020 at 6:39 AM Zeolla@GMail.com &lt;<a href="mailto:zeolla@gmail.com" target="_blank">zeolla@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">I have not run it on 3.1.2 yet but I recommend making your changes to the plugin and running the end to end testing script at <a href="https://github.com/apache/metron-bro-plugin-kafka/blob/master/docker/run_end_to_end.sh" target="_blank">https://github.com/apache/metron-bro-plugin-kafka/blob/master/docker/run_end_to_end.sh</a><div dir="auto"><br></div><div dir="auto">It was meant to help isolate issues when making changes to the plugin.  Also, we welcome PRs against the project so please feel free to contribute.  Thanks,<br><div dir="auto"><br><div dir="auto">Jon Zeolla</div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Apr 26, 2020, 9:12 PM Hovsep Levi &lt;<a href="mailto:hovsep.sanjay.levi@gmail.com" target="_blank">hovsep.sanjay.levi@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello Zeeks<div><br></div><div><br></div><div>Has anyone succeeded to enable Kafka plugin with Zeek 3.1.2 ?  I am trying to modernize the metron-kafka plugin and have partial success.  My problem seems to be with script-land referencing.</div><div><br></div><div>The logger node is loading the plugin OK and connects to the Kafka broker.  The broker IP is redef information found from site/local.zeek.  </div><div><br></div><div>$ bin/zeekctl diag logger-1<br>[logger-1]<br><br>No core file found. <br><br>Zeek 3.1.2-debug<br><br>Zeek plugins:<br>Apache::Kafka - Writes logs to Kafka (dynamic, version 0.3.0)<br><br>==== No reporter.log<br><br>==== stderr.log<br>%7|1587948661.341|RECV|rdkafka#producer-3| [..kafka messages..] .. <br></div><div><br></div><div><br></div><div><br></div><div><br></div><div>But the worker node has a problem referencing existing variable declaration.  The logs-to-kafka.bro script expects it.  There is also suspicion with the Zeek plugins info that is different from the logger node and maybe the problem.<br></div><div><br></div><div>$ bin/zeekctl diag worker-1-1<br>[worker-1-1]<br><br>No core file found. <br><br>Zeek 3.1.2-debug<br><br>Zeek plugins: (none found)   &lt;&lt;&lt; ??? Normal for worker node ??? <br><br>==== No reporter.log<br><br>==== stderr.log<br></div><div><br></div><div>error in /opt/zeek/spool/installed-scripts-do-not-touch/site/custom_plugins/APACHE_KAFKA/scripts/Apache/Kafka/./logs-to-kafka.bro, line 24: unknown identifier logs_to_send, at or near &quot;logs_to_send&quot;<br></div><div><br></div><div><br></div><div><br></div><div>The configuration is not default and explained below:</div><div><br></div><div><br></div><div>The Kafka logger was installed to site/custom_plugins/APACHE_KAFKA</div><div><br></div><div><br></div><div>share/zeek/site/local.zeek uses:</div><div><br></div><div>@load custom_plugins/APACHE_KAFKA/scripts/Apache/Kafka<br></div><div><br></div><div><br></div><div><br></div><div>lib/zeek/plugins/custom_plugins is a symlink to share/zeek/site/custom_plugins<br></div><div><br></div><div><br></div><div>Using the lib symlink seems to be the only way to load the plugin, then the @load statement brings redef customizations and scripts.  This works ok for the logger node but not the worker who cannot interface with the plugin ?</div><div><br></div><div>Another idea is have non-logger nodes bypass loading logs-to-kafka.bro but this isn&#39;t fully understood.</div><div><br></div><div><br></div><div>TIA</div><div><br></div><div>/hovsep</div><div><br></div><div><br></div><div><br></div></div>
_______________________________________________<br>
Zeek mailing list<br>
<a href="mailto:zeek@zeek.org" rel="noreferrer" target="_blank">zeek@zeek.org</a><br>
<a href="http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek" rel="noreferrer noreferrer" target="_blank">http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek</a></blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
_______________________________________________<br>
Zeek mailing list<br>
<a href="mailto:zeek@zeek.org" target="_blank">zeek@zeek.org</a><br>
<a href="http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek" rel="noreferrer" target="_blank">http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek</a></blockquote></div>