20个最好用的在线侦查工具和数据收集工具
如何同时在一百多个社交媒体中查找用户名;如何检测您的账户是否曾经遭到入侵;如何获取世界上任何人的更多有价值信息;如何追踪您需要匹配的任何目标的足迹;如何对远程目标进行快速彻底侦察……
当您开始进行调查时,您将面临的第一个阶段就是针对目标的数据侦察和收集。完成有关目标的信息汇总后,您将获得所有必需的信息,如 IP 地址,域名,服务器,技术等等,以便您最终进行安全研究、渗透测试、开源调查和社交工程攻击测试。
获取这些有价值信息的最佳工具是什么?您是否希望跟踪人员和公司的数据、域名、IP、服务器和运行的软件?
本文将向您展示一些最佳的 Recon 和 Intel 信息收集工具。
在开始之前的重要提示:请记住,如未经事先授权,切勿在外部网络/系统上使用这些工具。这里介绍了这些工具,目的是在信息收集的第一阶段帮助 IT 安全研究人员和私人/公共信息安全调查员,这是网络安全调查中最重要的部分之一。
- OSINT Framework
虽然 OSINT Framework 不是在您的服务器上运行的工具,但它是通过查询网络上公开提供的免费搜索引擎、资源和工具来获取有价值信息的一种非常有用的方法。它专注于为 OSINT 数据源提供最佳链接。
虽然这个 Web 应用程序最初是专注于 IT 安全性而创建的,但随着时间的推移,它现在也可以从其他行业获得其他类型的信息。它用于查询信息的大多数网站都是免费的,但有些网站可能需要支付较低的费用。
- CheckUserNames
CheckUserNames 是一个在线工具,可以帮助您在 170 多个社交网络中查找用户名。如果您正在运行调查以确定在不同社交网络上使用相同用户名的目标,则此功能尤其有用。
它还可以用于检查品牌公司名,而不仅仅是个人。
- HaveIbeenPwned
HaveIbeenPwned 可以帮助您检查您的帐户过去是否遭到入侵。该网站由 Troy Hunt 开发,Troy Hunt 是该市场最受尊敬的 IT 安全专业人士之一,多年来一直提供准确的报告。
如果您怀疑自己的帐户遭到入侵,或者想要验证外部帐户的第三方妥协,这是一个完美的工具。它可以追踪来自 Gmail,Hotmail,雅虎帐户,以及 LastFM,Kickstarter,WordPress.com,Linkedin 和许多其他热门网站来源的网络攻击。
- BeenVerified
BeenVerified 是另一种类似的工具,当您需要在公共互联网记录上搜索目标人时使用它。当您进行 IT 安全调查并且目标是未知人员时,获取世界上任何人的更多有价值信息可能非常有用。
完成后,将显示结果页面,其中包含与该姓名匹配的所有人员,以及他们的详细信息,地理位置,电话号码等。一旦找到,您就可以构建自己的报告。
关于 BeenVerified 的惊人之处在于它还包括有关犯罪记录和官方政府信息的数据。
BeenVerified 的背景报告可能包括来自多个数据库的记录,破产记录、职业历史、社交媒体配置文件、甚至在线照片的信息!
- Censys
Censys 是一个很棒的搜索引擎,用于获取有关连接到互联网的任何设备的最新和最准确的信息,它可以是服务器或域名。
您将能够找到有关在任何服务器上运行的 80 和 443 端口的完整地理位置和详细技术信息,以及目标网站的 HTTP / S 正文内容和 GET 响应,Chrome TLS 握手,完整的 SSL 证书链信息以及 WHOIS 信息。
- BuiltWith
BuiltWith 是一种很酷的方式,可以检测互联网上任何网站使用的技术。
它包括有关使用的完整详细信息,如 WordPress,Joomla,Drupal 等,以及全面深入的 Javascript 和 CSS 库,如 jquery,bootstrap / foundation,external fonts,Web 服务器类型(Nginx,Apache,IIS 等),SSL 提供商以及使用的网络托管服务。
BuiltWith 还可以让您找到目前最流行的技术,或者哪些技术正在趋势化。
毫无疑问,它是一个非常好的工具,可以收集有关任何网站的所有可能的技术细节。
- Google Dorks
在调查目标人或公司时,许多 IT 安全新手都忘记了使用传统搜索引擎进行侦察和收集的重要性。在这种情况下,Google Dorks 可以成为您最好的朋友。他们自2002年以来一直在那里,可以帮助你进行在线侦察。
Google Dorks 只是向 Google 查询某些可能对您的安全调查有用的信息的方法。
搜索引擎会索引有关互联网上几乎所有内容的大量信息,包括个人、公司及其数据。
Filetype:您可以使用此 dork 查找任何文件类型。
Ext:可以帮助您查找具有特定扩展名的文件(例如.txt,.log等)。
Intext:有助于搜索任何页面内的特定文本。
Intitle:它将搜索页面标题内的任何特定单词。
Inurl:将在任何网站的 URL 内寻找提到的单词。
更多:《高级运算符辅助开源调查:巧用搜索引擎挖掘情报》
日志文件原则上不应该被搜索引擎索引,但是,依旧可以,并且您可以从这些 Google Dorks 获取更多有价值的信息,如下所示:
现在让我们关注最受尊敬的 InfoSec 专业人员使用的其他更实用的工具:
- Maltego
我们介绍过它,而且不止一次,不管是在社交工程攻击技术演示上,还是 OSINT,很多时候都需要它。这家伙是个神奇的工具,可以追踪您需要匹配的任何目标的足迹。这个软件由 Paterva 开发,它是 Kali Linux 发行版的一部分。
Maltego 这个软件包含的最好的东西之一是他们称之为 ‘transforms’ 的。在某些情况下,转换是免费提供的,而在其他情况下,您只能找到商业版本。它们将帮助您运行与外部应用程序不同类型的测试和数据集成。
要使用 Maltego,您需要在其网站上开设一个免费帐户,之后,您可以启动新计算机或从现有计算机上运行目标转换。一旦您选择了转换,Maltego 应用程序将开始运行 Maltego 服务器的所有转换。
最后,Maltego 将向您显示指定目标的结果,如 IP,域名,AS 号码等等。
- Recon-Ng
Recon-ng 已经内置在 Kali Linux 发行版中,是另一个用于对远程目标进行快速彻底侦察的强大工具。
这个网络侦察框架是用 Python 编写的,包括许多模块,便利功能和交互式帮助,以指导您如何正确使用它。
简单的基于命令的界面允许您运行常见操作,如与数据库交互,运行 Web 请求,管理 API 密钥或标准化输出内容。
获取有关任何目标的信息非常简单,可以在安装后几秒钟内完成。它包括有趣的模块,如google_site_web 和 bing_domain_web,可用于查找有关目标域名的有价值信息。
- theHarvester
theHarvester 是获取有关任何公司/网站的任何子域名、虚拟主机、开放端口、和电子邮件地址的有价值信息的另一个替代方案。
当您处于针对您自己的本地网络或第三方授权网络的渗透测试的第一步时,它尤其有用。与以前的工具相同,Harvester 包含在 Kali Linux 发行版中。
theHarvester 使用许多资源来获取 PGP 密钥服务器之类的数据,Bing,百度,雅虎和谷歌搜索引擎等数据,以及 Linkedin,Twitter 和 Google Plus 等社交网络数据。
它还可以用于启动主动渗透测试,如基于字典攻击,DNS 反向查找和使用字典暴力枚举的 DNS TLD 扩展的 DNS 破解。
- Shodan
这个我们也介绍过。Shodan 是一个网络安全监控和搜索引擎,专注于深网和物联网。它是由 John Matherly 于 2009 年创建的,用于跟踪任何网络中可公开访问的计算机。
它通常被称为“黑客搜索引擎”,因为它可以让您找到并探索连接到网络的不同类型的设备,如服务器,路由器,网络摄像头等。
Shodan 非常像 Google,但它不会向您展示精美的图像和丰富的内容/信息网站,而是向您展示与 SSH,FTP,SNMP,Telnet,RTSP,IMAP 等 IT 安全研究人员的兴趣更相关的内容,结果将按国家/地区,操作系统,网络和端口排序。
Shodan 用户不仅能够访问服务器、网络摄像头和路由器,它可以用于扫描几乎任何连接到互联网的东西,包括但不限于交通信号灯系统,家庭供暖系统,水上乐园控制面板,水厂,核电站等等。
- Jigsaw
Jigsaw 用于收集有关任何公司员工的信息。该工具完全适用于像谷歌,LinkedIn,微软那种公司。
唯一的缺点是这些查询是针对位于 jigsaw.com 的 Jigsaw 数据库启动的,因此,我们完全依赖于它们允许我们在数据库中探索的信息。您将能够找到有关大公司的信息,但如果您正在探索一个不那么著名的创业公司,可能它就没那么好用了。
- SpiderFoot
如果你想要自动化 OSINT 并且在侦察、威胁情报和周界监控方面有快速的结果,SpiderFoot 是最好的侦察工具之一。
它是由 Steve Micallef 撰写的,他在构建这个应用程序并为 Splunk 编写 SecurityTrails Addon 方面做得非常出色。
此侦察工具可以帮助您启动超过100个公共数据源的查询,以收集有关通用名,域名,电子邮件地址和 IP 地址的情报。
使用 Sipiderfoot 非常简单,只需指定目标,选择要运行的模块,Spiderfoot 将为您从模块中收集所有 intel 数据。
- Creepy
Creepy 是一个为信息安全专业人士提供的地理位置 OSINT 工具。它通过查询 Twitter,Flickr,Facebook 等社交网络平台,提供从任何个人获取完整地理定位数据的能力。
如果有人将图像上传到任何激活了地理位置功能的社交网络,那么您将能够看到此人所处的完整活动状态。
您可以根据确切的位置,甚至按日期进行过滤。之后,您可以以 CSV 或 KML 格式导出结果。
- Nmap
Nmap 是最受欢迎和最广泛使用的安全审计工具之一,其名称的意思是“网络映射器”。是一个免费的开源实用程序,用于跨本地和远程主机进行安全审核和网络探索。
一些主要功能包括:
主机检测:Nmap 能够识别任何网络中具有某些端口打开的主机,或者能够发送对 ICMP 和 TCP 数据包的响应的主机。
IP 和 DNS 信息检测:包括设备类型,Mac 地址甚至反向 DNS 名称。
端口检测:Nmap 可以检测目标网络上打开的任何端口,并让您知道其上可能正在运行的服务。
操作系统检测:获取所有连接主机的完整操作系统版本检测和硬件规格。
版本检测:Nmap 还可以获取应用程序名称和版本号。
16. WebShag
WebShag 是一个很棒的服务器审计工具,用于扫描 HTTP 和 HTTPS 协议。与其他工具相同,它是 Kali Linux 的一部分,可以帮助您进行 IT 安全研究和渗透测试。
您将能够启动简单的扫描,或使用高级方法(如通过代理或 HTTP 身份验证)。
用 Python 编写,它可以是审计系统时最好的盟友之一。
主要功能包括:
端口扫描
网址扫描
文件模糊查找
网站抓取
为了避免被远程服务器安全系统阻止,它通过每个 HTTP 代理服务器启动随机请求来使用智能 IDS 规避系统,因此您可以继续审核服务器而不会被禁止。
- OpenVAS
OpenVAS(开放式漏洞评估系统)是一个安全框架,包括针对信息安全专业人员的特定服务和工具。
这是一个开源漏洞扫描程序和安全管理器,是在著名的 Nessus 从开源转换为私有之后构建的。然后,Nessus 漏洞扫描程序的原始开发人员决定分割原始项目并创建 OpenVAS。
虽然它比旧的 Nessus 设置起来有点麻烦,但在使用它来分析远程主机的安全性时却非常有效。
OpenVAS 中包含的主要工具是 OpenVAS Scanner,这是一种高效的代理,可以在目标计算机上执行所有网络漏洞测试。
另一方面,另一个主要组件称为 OpenVAS Manager,它基本上是漏洞管理解决方案,允许您将扫描数据存储到 SQLite 数据库中,因此您可以以一种简单易用的方式搜索、过滤和排序扫描结果。
- Fierce
Fierce 是一种用 PERL 编写的 IP 和 DNS 侦察工具,很著名,帮助 IT 专业人员找到与域名相关的目标 IP。
它最初是由 RSnake 和旧http://ha.ckers.org/的其他成员一起编写的。它主要用于本地和远程企业网络。
一旦定义了目标网络,它将针对所选域启动多次扫描,然后它将尝试查找配置错误的网络和易受攻击的点,这些点可能泄露私人的和有价值的数据。
结果将在几分钟内准备就绪。
- Unicornscan
Unicornscan 是用于安全研究的顶级收集工具之一。它还有一个内置的关联引擎,旨在同时实现高效、灵活和可扩展的能力。
主要功能包括:
完整的 TCP / IP 设备/网络扫描。
异步无状态 TCP 扫描(包括所有 TCP 标志变体)。
异步 TCP 标志检测。
UDP 协议扫描。
A / P OS识别。
应用和组件检测。
支持 SQL 关系输出。
20. Foca
FOCA (Fingerprinting Organizations with Collected Archives) 是 ElevenPaths 编写的工具,可用于扫描、分析、提取和分类来自远程 Web 服务器及其隐藏的信息。
Foca 能够分析和收集来自 MS Office 套件,OpenOffice,PDF 以及 Adobe InDesign 和 SVG 和 GIF 文件的有价值数据。此安全工具还可以与 Google,Bing 和 DuckDuckGo 搜索引擎一起积极地从这些文件中收集其他数据。获得完整文件列表后,它会开始提取信息,以尝试从文件中识别更有价值的数据。