网络安全应急响应工具之-流量安全取证NetworkMiner

在前面的一些文章中，用了很多的章节介绍流量分析和捕获工具wireshark。Wireshark是一款通用的网络协议分析工具，非常强大，关于wireshark的更多介绍，请关注专栏，wireshark从入门到精通。本文将介绍一个专注于网络流量取证的工具NetworkMiner，其视角和wireshark是不同的。

NetworkMiner 简介

NetworkMiner是一款C#编写的开源网络流量取证工具，官方网站，这里，源码这里，包含免费和付费两个版本。其主要目标是在从网络安全应急响应的视角从网络流量中提取有价值的信息，对相关的artifact的提取，包括文件提取，图片提取、主机识别，凭据提取，参数提取等，主要体现出攻防过程中重要的网络元素，目前多用于应急运营和响应人员的流量分析。免费版NetworkMiner主要包含如下的功能：

图1
付费版的NetworkMiner多出了如下功能：

图2
付费版的功能主要是向威胁情报领域更多信息的关联，同时提供更为精准的识别能力以及批量化处理能力。

NetworkMiner VS Wireshark

关于这两款工具最主要的区别如下：
1，NetworkMiner注重从网络流量中提取关键信息和文件，而Wireshark更注重于详细的协议分析。
NetworkMiner主要用取证，提取流量数据包中的关键信息，通常称之为artifact，例如主机识别、文件提取，图片提取，参数提取，凭据提取等。Wireshark用来捕获和分析网络流量的每个数据包，提供详细的协议信息、源/目标地址、端口等，支持网络协议众多，提供了强大的过滤功能。关于wireshark的更多介绍，请关注专栏，wireshark从入门到精通。
2，NetworkMiner主要用于调查取证，Wireshark适用于各种网络分析和故障排除场景。
NetworkMiner的主要用途是帮助网络安全运营人员，安全应急响应人员，安全取证人员进行网络取证，通过分析网络流量来发现潜在的威胁、检测恶意文件等。而Wireshark通常用于网络协议分析、网络故障排除、网络安全审计等方面。它是一种通用的网络分析工具，适用于多种场景。

NetworkMiner使用举例

下面将对NetworkMiner的主要功能通过具体的数据包做一下介绍。

协议分析

NetworkMiner出发点是网络取证，因此针对的协议多是网络攻防过程中高频出现的协议，如下是其支持的协议种类：

DHCP,DNS,FTP,HTTP,IRC,IEC 60870-5-104,IMAP,Kerberos v5,Modbus TCP,NetBios Name Service,NetBios Datagram Service,NetBios Session Service,OpenFlow,Oscar,Oscar File Transfer,POP3,RTP,SMB,SMB2,SMTP,SNMP,Socks,SSH,SSL,Syslog,Tabular Data Stream,TFTP,TPKT,UPnP,SIP,Spotify Server Protocol,VXLAN

NetworkMiner虽然没有wireshark支持丰富，但是上述这些协议都是在传统的IT环境中和网络攻击密切相关的协议，因此在安全领域非常的重要，对于网络安全研究人员，网络安全运营人员，网络安全应急响应人员想要详细了解上述协议，请关注我的专栏《网络攻防协议实战分析
》，见这里。

文件内容提取

NetworkMiner最重要的功能是提取流量中的artifact，其中文件是最为重要的artifact。目前NetworkMiner支持从如下的协议中提取文件：

FTP, TFTP, HTTP, HTTP/2, SMB, SMB2, SMTP, POP3, IMAP ,LPR 

而wirehark目前只支持HTTP，TFTP，SMB，FTP等的文件提取，当然wireshark支持扩展的lua插件提取文件，需要自己编写程序实现，详见这里。
除此之外NetworkMiner还支持从加密的协议中提取证书文件，支持的协议如下：

 HTTPS, SMTPS, IMAPS, POP3S, FTPS 

整体来说提供的文件提取协议种类比wireshark丰富，同时侧重于攻击常见的文件传输行为，如图3所示：

图3
图3是一次实时捕获数据包的示例，可以看到提取的文件类型包括图片png和JPG，文本json文件、证书文件等，涉及http和TLS两种协议。

主机信息识别

NetworkMiner从主机的视角出发，针对主机层面的各种信息进行了聚合，例如主机的操作系统，主机名称，主机的服务器banner，ja3等信息，讲这些信息作为网络安全调查分析过程中重要的artifacts，NetworkMiner都将其聚合在主机目录之下，这有助于用户跟踪和分析网络活动，如下图4：

图4
图4识别出主机是一个android系统，并能根据DHCP的供应商够定位出手机的品牌，这些信息在取证的时候是存在一定价值的，wireshark是默认诶呦这方面能力的。

图5
图5 识别出主机是一个Windows系统，并提供了网卡品牌，主机名称，浏览器UA的名称，JA3等诸多信息。如果主机是一个linux主机，则还有能提供Linux上服务器的banner信息的。

那么networkminer是如何识别主机的操作系统信息，网卡信息，以及判定ja3等信息是否存在问题的，在NetworkMiner的安装目录的Fingerprints目录中存在tcp.xmld，dhcp.xml，etter.finger.os以及p0f相关的文件,查看这些文件发现都是操作系统指纹信息映射表，因此其基本原理也是根据TCP，SMB，DHCP流量中的指纹信息进行比对。
网卡名称的映射关系主要在oui.txt，根据MAC地址的前24位能够识别出对应的厂商。
NetworkMiner集成了abuse.ch中的ja3和ja3s的指纹信息来判断TLS链接是否是已知的威胁，详见ja3_fingerprints.csv，sslblacklist.csv等文件。值得注意的是，要想跟踪最新的威胁，需要到abuse的官网去更新最新的ja3s等内容。同时付费版本也提供了跟多扩展情报的能力，关于有哪些威胁情报可以使用，将会在专栏进行介绍《安全运营之网络攻击研判分析》，这里。

由于上述的配置文件都是明文进行存储，因此给用户一定的灵活度，可以添加用户自定义的指纹信息，来满足调查取证过程中的需求。

用户凭据识别

用户的凭据包括常见的用户名和密码，例如HTTP协议，FTP协议，POP3，SMTP协议都会传输用户名和密码，用户名是一项非常重要的信息，因为通过用户名可以知道是哪个用户的流量。想要知道哪些协议会在流量中传输用户明和密码，详见弱密码分析，这里。但是有的协议只传输用户名，例如SMB，RDP，MySQL，PGSQL，详见爆破流量分析，详见这里。关于用户凭据的提取示例如下图6，7，8：

图6
图6中提取了FTP协议的用户名和密码，HTTP协议的auth字段以及cookie字段，由于密码是敏感信息，因此我这里隐藏了密码。

图7
图7中提取了POP3，RDP，SQL的用户名等信息。

图8
图8提取了IMAP，IRC，kerberos的用户名信息。
在实际的应急响应和取证过程中，用户名能够提供非常有用的线索。

关键字搜索

NetworkMiner是基于取证场景出发的，因此提供强大的关键字搜索功能，这点比wireshark做的要好，用户可以通过自定义自己的关键字，来将匹配的数据包显示出来，如下图9：

图9
图9可以看出通过导入admin,anonymous等关键字的字典能够将匹配的数据包序号和payload进行显示，有利于快速的分析。

参数分析

从DFIR的角度来看，比较关注网络数据中的aritfacts，NetworkMiner认为，网络中各种参数的参数信息也是一种artifact，因此对这些元素进行了单独的提取，方便分析之用，如下图10，11：

图10

图11
可以看到图10中在参数分析栏中通过搜索server 关键字，可以快速的获取所有通信的服务器的server类型，图11通过搜索native os，可以知道通信的操作系统类型，这些功能在分期取证的过程中中非常的实用。当然，如果你想要了解为何能够在网络中提取到这些数据，详见专栏《网络攻防协议实战分析》，那里会有更为详尽的介绍。

DNS分析功能

从取证角度看DNS的展示应该如下图所示:

图12
可以看到该工具将DNS所有的记录按行显示，非常利于分析，同时通过关键字的功能还很容易过滤需要的域名。除此之外该工具对alex top 100万的域名进行了碰撞，用来辅助分析师的判断。只是该功能是付费功能，付费的功能还包括和DNS等危险情报碰撞，见上图2。由于该工具开源，也可以通过修改源码，导入alex前100万域名以及威胁情报判断即可。当然域名的分析属于威胁情报的范畴，仅仅判断其rank还是不够的，关于域名等IOC更多分析，详见这里。

在线和离线分析

工具支持实时监视网络流量，也可以对已捕获的PCAP文件进行离线分析。不仅如此该工具还支持从命名管道中读取数据，为用户提供更灵活的使用方式，这点不在赘述。

总结

总结该工具，该工具的主要特点是从安全分析取证视角出发，将网络流量中各种利于分析的artifacts提取单独显示，并关联相关的情报数据，帮助调查人员分析网络通信，发现潜在的威胁、异常通信、检测恶意文件，为取证调查提供有力支持，非常的有价值。当然其威胁情报是付费的，后续将会介绍如何将威胁情报的能力集成到wireshark中，方便分析师的分析，请关注专栏安全运营之网络攻击研判分析。