<div dir="ltr">Looking at the page I found for <a href="https://www.unb.ca/cic/datasets/ids-2017.html" target="_blank">CICIDS2017</a>, it seems like there are specific attacks enumerated on the page that describe the traffic in the PCAPs. Roughly the captured behavior seems like it can be broken down into reconnaissance, specific exploits, botnet activity, implant activity, and DoS. There is included already scanning and ssh brute force detection, an <a href="https://docs.zeek.org/en/stable/examples/ids/index.html#detecting-an-ftp-brute-force-attack-and-notifying" target="_blank">example</a> provided of how to set up FTP brute force detection, as well as a <a href="https://blog.zeek.org//2014/04/detecting-heartbleed-bug-using-bro.html" target="_blank">blog post</a> on Heartbleed detection in Zeek, that was arguably more robust than the signature based detections that went out at the same time. I encourage you to check these resources out!<div><br></div><div>Your results with Zeek will depend on just how deep down the rabbit hole you are willing to go. The exploits and implants will likely not be detected by Zeek &quot;out of the box&quot;, the same likely goes with the DoS detection (though the <a href="https://docs.zeek.org/en/stable/frameworks/sumstats.html">SumStats</a> framework may help here with some quick wins). Some could likely be caught with good IOC (domain, IP) feeds, transformed into something usable by Zeek, and fed into Zeek&#39;s <a href="https://docs.zeek.org/en/stable/frameworks/intel.html">intel framework</a>. Other exploit / implant detection might require further log analysis or some scripting. Some might only be detectable by bytestream signatures. It&#39;s hard to tell without digging in further.<div><br></div><div>As others have explained, Zeek &quot;out of the box&quot; can provide useful telemetry, in the form of network protocol logs, that could be used downstream, in either some sort of SIEM, rules engine, or similarly purposed data infrastructure, to not only detect such attacks, but provide a fuller context to incident responders running down these detections, who might need later follow-up information that the pattern matching based approaches would not have preserved. As others have also said, Zeek makes more observations than judgments, and it is up to the operator what response to take to these observations. </div><div><br></div><div>Without knowing more about those specific DoS attacks or exploit based attacks, it&#39;s hard to know what would show up in the standard logs, but it could be an interesting exercise to run the PCAPs through default Zeek, feed the logs to Splunk or ELK, look for patterns that you might be able to discern and write rules for them, either in the downstream log processor, or in Zeek scripting language itself. I encourage you to consider Zeek as a crucial source component of your overall security detection stack, rather than a full-stack, fully-calibrated network detection engine in a box.</div><div><br></div><div>One cool thing about Zeek vs most signature based IDS systems is that it Zeek reaches as deep as it can into the protocols it understands, and makes even more information available than it does by default to operators who are willing to dive into script land. If you know what you&#39;re looking for, and it&#39;s observable on the network, chances are there&#39;s a way to analyze it with a Zeek script. As an example, Corelight recently published an overview of such work for <a href="https://corelight.blog/2019/05/07/how-zeek-can-provide-insights-despite-encrypted-communications/">SSH</a> analysis. Zeek offers a diverse set of <a href="https://docs.zeek.org/en/stable/script-reference/proto-analyzers.html" target="_blank">Protocol Analyzers</a> that provide a rich stream of events that can be hooked to suit your every purpose. There&#39;s also a collection of <a href="https://packages.zeek.org/">packages</a> to explore if you&#39;re interested in learning more about scripting. If you have an hour, or two, I&#39;d also check out this <a href="https://www.youtube.com/watch?v=fGgHgJEzgLc">talk</a> which I found helpful in explaining what it is you&#39;re signing up yourself up for :)</div><div><br></div><div>All the best</div><div>Jamie</div><div><br></div><div><br></div><div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019 at 3:20 PM Richard Bejtlich &lt;<a href="mailto:richard@corelight.com" target="_blank">richard@corelight.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Borivoje and Zeek users,<div><br></div><div>Traditionally, analyst uses Zeek to transform their network traffic into compact logs that describe a variety of activities. Rather than recording full content in a .pcap if you&#39;re interested in a FTP session, for example, Zeek will create one or more logs describing the important elements of that FTP session. There&#39;s no concept of &quot;good&quot; or &quot;bad&quot; in that log, or in most logs.</div><div><br></div><div>So, the premise of comparing Zeek as an IDS with Snort or Suricata doesn&#39;t make much sense. You would be better off comparing Snort with Suricata, as they are both designed as intrusion detection systems, i.e., they render judgments based on the traffic they observe. Of course you need to provide rule sets, which contain the essence of &quot;badness&quot; as designed by the rule creators.</div><div><br></div><div>You could conceivably program Zeek to be an IDS if you decided what was bad on your network and told Zeek to write a notice when it sees that activity. Running default Zeek against a data set from the Internet is not going to yield the results your professor is seeking.</div><div><br></div><div>Sincerely,</div><div><br></div><div>Richard</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019 at 6:05 PM Borivoje Pavlovic &lt;<a href="mailto:bpboci24@gmail.com" target="_blank">bpboci24@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi Richard,</div><div><br></div><div>Thank you for promt response. Actually, it is a part of my thesis at faculty. I am required to compare different Intrusion detection systems such as Zeek and aforementioned Suricata and Snort based on dataset CICIDS2017 which contains malicious (Bruteforce, DoS, Web attacks...) and benign traffic. What I need is to classify/label traffic with these different IDS tools, but I haven&#39;t found the way anywhere how to do that with Zeek. Attached, you can find two images. The first one is .csv file that contains different flow-based features and labeled traffic (benign or ftp patator). I am not sure is Bro able to perform this kind of analysis at all. The second image is notice.log made after running policy/protocols/ssh/detect-bruteforcing.zeek script against .pcap file. It would mean a lot to me if you know is there some kind of custom script written in Zeek which can label all the traffic per each instances? <br></div><div><br></div><div>Best regards <br></div><div><br></div><div>Borivoje<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019 at 10:59 PM Richard Bejtlich &lt;<a href="mailto:richard@corelight.com" target="_blank">richard@corelight.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello,<div><br></div><div>The notice log would contain any information pertaining to the policy/protocols/ssh/detect-bruteforcing.zeek script.</div><div><br></div><div>However, I&#39;m a little concerned by the nature of your task. Zeek isn&#39;t really designed as an &quot;intrusion detection system&quot; like Snort or Suricata. Is this a school project?</div><div><br></div><div>Sincerely,</div><div><br></div><div>Richard</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019 at 2:18 PM Borivoje Pavlovic &lt;<a href="mailto:bpboci24@gmail.com" target="_blank">bpboci24@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi all,</div><div><br></div><div>I am beginner in Zeek. Currently, I have a task to perform analysis of . pcap files and detect all possible attacks per time instances. In the other words I have to test Zeek as an IDS tool and find with which percentage is Zeek able to classify traffic correctly (True/False positive, True/False negative indication). Is there possibility to do so? For example, I tried to run integrated Brute-Forcing.zeek script against my .pcap file but in the notice.log there is just note that there was an attack which is not what I am looking. Do I have to search for labeled network in some other logs? <br></div><div><br></div><div>Thanks in advance</div><div><br></div><div>Borivoje<br></div><div><br></div></div>
_______________________________________________<br>
Zeek mailing list<br>
<a href="mailto:zeek@zeek.org" target="_blank">zeek@zeek.org</a><br>
<a href="http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek" rel="noreferrer" target="_blank">http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Richard Bejtlich<div>Principal Security Strategist, Corelight</div><div><a href="https://corelight.blog/author/richardbejtlich/" target="_blank">https://corelight.blog/author/richardbejtlich/</a><br></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Richard Bejtlich<div>Principal Security Strategist, Corelight</div><div><a href="https://corelight.blog/author/richardbejtlich/" target="_blank">https://corelight.blog/author/richardbejtlich/</a><br></div></div></div></div></div></div></div>
_______________________________________________<br>
Zeek mailing list<br>
<a href="mailto:zeek@zeek.org" target="_blank">zeek@zeek.org</a><br>
<a href="http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek" rel="noreferrer" target="_blank">http://mailman.ICSI.Berkeley.EDU/mailman/listinfo/zeek</a></blockquote></div>