<div dir="ltr"><div class="gmail_default" style="font-size:small">We must have crossed some threshold yesterday. Suddenly we are suffering an epidemic of workers dying with &quot;out of memory in new&quot; even though we made no changes. Previously, we would have a few die each day. Now we have had 250 alerts of workers dying and being restarted from 00:00 to 10:00. I have no idea where to start debugging the problem. Any suggestions?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">What causes a worker to die by running out of memory? The sensors have lots of memory (see below) so I would not expect to have any out of memory deaths. (To monitor the problem, I am in the process of setting up collectd and graphana.)</div><div class="gmail_default" style="font-size:small"></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Some details:<br></div><div class="gmail_default" style="font-size:small">- 5 sensors, each with 16-core, AMD Epyc 7351P, 128 GB RAM, Intel X520-T2</div><div class="gmail_default" style="font-size:small">- Zeek 2.6.1</div><div class="gmail_default" style="font-size:small">- node.cfg: lb_procs=15, pin_cpus=1-15, af_packet_buffer_size=1*1024*1024*1024</div><div class="gmail_default" style="font-size:small">- broctl.cfg: setcap enabled</div><div class="gmail_default" style="font-size:small">- Not shunting any traffic</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Mark</div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Mark Gardner<br>--</div></div>