如果你擅长搜索,你能找到一切:没有谷歌的强大搜索世界
本手册是 OSINT 工具包,请将其用于正义的目的
这是高信息技术和社交网络的数字化的时代。
有人喜欢它,有人不喜欢,有人试图隐藏真实身份信息,不会出现在任何社交网络中、删除所有密码和注册。想要做到这点正在变得越来越难。
然而,事实上,您可以使用 OSINT 技术找到有关每个用户的任何信息,这一事实首先得到了20世纪50年代美国间谍机构的公开证实。
今天的互联网速度更快了、更容易获得想要的东西。正如您所知,你可以找到几乎一切 —— 只要您擅长搜索。
但最重要的问题是,它还给我们带来了什么 —— 好处还是麻烦?
毕竟,事实证明,我们没有多少选择的权利,也没有机会在网络中被忽视。甚至一个孩子都可以应对“电话号码搜索”这样的简单任务。
每年 OSINT 技术的可能性都会快速增长、并变得真正无限!
⚠️想想普通用户在互联网上都干了什么。你就能知道 OSINT 可以多强大。
以下是 Domo Data Never Sleeps 5.0 的统计数据,仅仅每分钟 —— 请注意是每分钟:
– Snapchat 发布 527,760 张照片;
– 超过 120 位专业人士加入领英;
– YouTube 用户正在观看 4,146,600 个视频;
– 向 Twitter 发送了 456,000 条推文;
– Instagram 上有 46,740 张新照片出现 ……
是每分钟。而且仅仅是社交媒体。
然后还有电子邮件、在线支付、数百个热门应用程序、云存储、工作站点和服务等等,这使得开源调查可以在搜索和处理任何信息方面拥有无限的可能性。
但是,人们尚未完全考虑搜索引擎的吸引力 —— 全球每天50亿的最新数据!
⚠️ 普通的网络搜索和 OSINT 技术之间的主要区别在于方法的深度、以及各种方法和算法的可用性。
这些方法和算法可以帮助我们实现任何任务:检测网络上用户的数字足迹、进行深度调查、追踪其数字关系链……
可以根据搜索任务和您拥有的初始数据使用它们。
1.确定您拥有的源信息(照片、姓名、电子邮件地址、电话号码等);
2.确定您想要了解的最终目标;
3.借助某些服务收集网络信息;
4.分析和反向查找收到的信息;
5.使用新接收的数据返回搜索;
6.确认假设、或获得新假设。
OSINT 技术与互联网上的简单搜索有何不同?
💡不同在于:普通的搜索将在 OSINT 功能刚刚开始的地方结束。
对于 OSINT 技术,没有统一的方法和模式化的调查算法,每个案例都是独特的,需要一个单独的方法。也就是说需要您的经验+创造力。
这不是能够通过讲座传授的。
💡 您需要不断参考成功的演示案例、积极研究新工具的使用技巧、以及最重要的是,不断尝试挑战自己。
在这里看到工具箱《超级情报收集工具库:开源验证和调查工具及使用方法》;在我们的 OSINT 栏目看到很多操作案例演示《OSINT》—— 不断更新中。
get到思考方式很重要,而不是工具,思考方式能帮助您知道什么时候使用什么工具是最好的。
本文只介绍搜索引擎。也就是贯穿 OSINT 的一条主线。
搜索引擎不一定是谷歌,虽然谷歌的确很强大,但需要根据您的调查目标,选取最适合的搜索引擎 —— 尤其是,⚠️如果您的调查内容非常敏感,您肯定不会希望在调查结论实现变革目标之前被当局抓到。
也就是说,隐蔽性是您首先应该考虑的内容。
本手册将把隐私放在第一个。
面向隐私的搜索引擎
什么是“面向隐私”:意思是它们不会出卖你,不会记录你的动作,也没有什么可以提供给警察和间谍的。至少是这样承诺的。
DuckDuckGo:在线调查人的常用,在Tor浏览器搜索。
Startpage:从 Google 获取结果但是不跟踪其用户。
Peekier:面向隐私的搜索引擎,使用自己的搜索算法获取结果。
Qwant:总部设在法国的家伙。
Oscobo:总部设在英国家伙。
Swisscows:瑞士的隐私安全 WEB 搜索。
Privatelee:私密搜索网络和图像。
Gigablast:开源的搜索引擎。
Gibiru:未经审查的匿名搜索引擎。
元搜索引擎
什么是元搜索引擎:元搜索引擎又称集合型搜索引擎,将多个单一搜索引擎集成在一起,提供统一的检索界面,将用户的检索提问同时提交给多个独立的搜索引擎,同时检索多个数据库;并根据多个独立搜索引擎的检索结果进行二次加工,如对检索结果去重复、排序等。
Excite
Search
MetaGer
Zapmeta
etools: 汇总主要国际搜索引擎的结果,不收集不共享其用户的个人信息,保护用户隐私。此搜索引擎非常快,并显示每个搜索查询的摘要 —— 在右侧 —— 详细说明其结果的来源。
All the interne: 查询主要搜索引擎,包括亚马逊和eBay等购物网站。
izito: 汇总来自多个来源(Yahoo,Bing,Wikipedia,YouTube 和其他网点)的数据,以生成包括图像、视频、新闻和文章在内的最佳结果。
Metacrawler: 来自 Google 和 Yahoo 的汇总结果。
My all search: 通过 Bing、DuckDuckGo、AOL Search、Ask、Oscobo、Mojeek、ZapMeta、MetaCrawler 汇总结果。
Carrot2: 开源;聚合结果来自 GoogleAPI、Bing API、eTools Meta Search、Lucene、SOLR 等。
elocalfinder: 从 Google、Yahoo!、Ask 和 Bing 获取结果。
Opentext: 元搜索引擎基于 Google、Yahoo!、Ask、Bing、Wikipedia 和 Open Directory。
All-in-One
Searx
FTP搜索引擎
什么是FTP搜索引擎:是指专门用于搜索网络上匿名 FTP 服务器上各类文件的搜索引擎。FTP 搜索引擎相对 WWW 搜索引擎来说,并不提供摘要,一般仅提供文件的名称、类型、大小、URL 等信息。
Global file search
Archie
File watcher
Mamont
NAPALM FTP Indexer
文件搜索引擎
此工具使用可以轻松搜索各种非 HTML(标准网页)文件格式。某些文件通常用于不同目的,您需要事先知道您要找的是什么格式。
Faganfinder
ShareDir
图片搜索引擎
社交媒体网站共享的图片:
Lakako
Flickr
Flicker map:
My Pics map: 在 Google 地图上查看 Flickr 照片。
idGettr: 查找 Flicker ID账号,也可搜群组。
Flickr Hive Mind: 用于 Flickr 摄影数据库的数据挖掘工具。
Instagram
Websta: 高级搜索 Instagram 网站。
Stalkture: Instagram 的在线Web查看器。
Mininsta: 高级搜索 Instagram。
Pinterest
在专门的网站和新闻媒体上出现的图像:
Gettyimages: 包含来自新闻、娱乐、时尚、体育和档案的图像。
Reuters pictures
News press
Associated Press images portal
PA images
European pressphoto agency
Canadian Press images archive
反向图像搜索(除了谷歌之外还有):
Karmadecay
TinEye
REVERSE IMAGE SEARCH
Imagebrief
Cam finds App: 这是适用于 Android 和 Apple 设备的应用程序。它使用视觉搜索技术识别上传的图片,并提供相关图像和大量网络搜索的即时结果。
Image Identification Project
物联网(IoT)设备搜索引擎
Shodan: 它是该功能领域的鼻祖。至今都是非常好用的。
ZoomEye
123cam
Airport webcams
Insecam
Lookr
Earthcam
Openstreetcam
Opentopia
Pictimo
Reolink — list of unsecured cameras
The webcam network
Thingful
Thingiverse
Webcam.nl (NL)
Webcams.travel
Worldcam
censys
⚠️搜索漏洞利用:
sploitus
Google Hacking Database (GHDB)
exploit-db
新闻/报纸搜索引擎
1stHeadlines: 突发新闻
Google News Archive
Google Newspaper Archive
News Now
Newspaper Archives: 报纸档案 1607–2017年。
All you can read
Newspapers Search
Findmypast: 美国和世界历史报纸档案(中国、丹麦、法国、德国、牙买加、和南非也可在该集合中搜索)。
Daily Earth
Search U.S. Newspaper Directory, 1690-Present
Newspaper Map
World News
The paperboy
Newsography: 国际关系和武装冲突全球新闻聚合器和历史数据库。
Online Newspapers: 全球在线报纸目录。
YouGotTheNews: 搜索数以千计的国家、企业和本地新闻来源。
Library of Congress Newspapers directory & 100 Years Ago Today: 使用美国国会图书馆的这两个链接搜索美国报纸,1690年至今。
利基搜索引擎
Secret Search Engine Labs: 向您展示主流搜索巨头经常忽略的的搜索结果。
AllAreaCodes: 电话和区号搜索
查专利的搜索引擎
Google Advanced Patent Search Engine
European Patent Office
Israel Patent Office Database
Norwegian Industrial Property Office
Swedish Patent and Registration Office
Switzerland
Taiwan Intellectual Property Office
Japan Patent Office
World Intellectual Property Organization (WIPO)
Korean Intellectual Property Rights Information Service (KIPRIS)
State Intellectual Property Office (SIPO) of the People’s Republic of China
Australia Patent Search
Canadian Intellectual Property Office
Danish Patent and Trademark Office
Finnish Patent and Registration Office
France Patent Search
Germany Patent Office
UK Patent Search Engine
India Patent Office
stopfakes: 美国商务部国际贸易管理局(ITA)负责管理 STOPfakes.gov,以协助美国企业在全球市场上的所谓知识产权。
FreePatentsOnline: 专利元数据搜索引擎。
Patent Lens
Directory of Intellectual Property Offices Worldwide
灰色文献搜索引擎
什么是灰色文献:是指介于正式发行的白色文献、和不公开出版并具有隐密性的黑色文献之间的文献,即 虽已出版但难以使用一般方式获得。
目前对灰色文献的定义多取自1997年举行的“第三次国际灰色文献会议”中所提出的:不经营利出版者控制的,而由各级政府、学术单位、工商业界所产制的各类印刷与电子形式的资料。
想搜索重要的东西使用以下搜索引擎:
Academia
Academic index
Academic torrents
American Doctoral Dissertations
ArchiveGrid
Google scholar
Bielefeld academic search engine
Archive portal Europe
Social Science Research Network
National library of Australia
ScienceDirect
PQDT Open
The national archive of the United Kingdom
Oxford academic
Page Press
CERN Document Server
High wire
Grey guide
Beyond citation
Crossref
透明度革命网站
WikiLeaks
Cryptome
GlobaLeaks: 开源自由软件,旨在实现安全和匿名的揭露。
BalkanLeaks: 这是 Wikileaks 最成功的复制品。我们介绍过它,详见《与中国何其相似,巴尔干解密喜忧参半》
Al Jazeera’s Investigative Unit: 这是阿拉伯国家的透明度革命。
—— 社交媒体情报 ——
《什么是社交媒体情报?你的推特如何成为抓捕你的理由?》这里面有介绍。这种东西不仅警察和间谍能用,也是 OSINT 的重要工具。
以下推荐的都是工具,只要您能正确使用,它们很有效,⚠️但也很危险。请不要恶意使用(当然,恶意者长期研究这些,他们对此非常熟悉)
⚠️本手册介绍它们是为了隐私保护者,如果您不希望被 doxing 和 trolling,不希望因网上言论而入狱,请根据我们的《大清洗》指南中介绍的思路,搜索自己,并移除有可能会令您陷入危险的信息。
Facebook 的:
(由于 Facebook 图谱搜索功能关闭,故至少四个最好用的搜索引擎失效。在这里看到原因《Facebook 正在令真相挖掘事业陷入困境》)
Lookup ID: 查找 Facebook个人 ID /群组 ID /页面 ID。
FindMyFbid: 查找 Facebook 个人数字ID。
Facebook Search Tool: 在Facebook上进行高级搜索。
LikeAlyzer: 分析和监控 Facebook 页面。
Face Live: Facebook 直播视频搜索。
Wallflux: 提供 RSS feeds, Facebook 群组和页面中最近帖子的更新。
Facebook People/Pages/Places name directory
Information for Law Enforcement/Authorities when seeking information from Facebook
Who posted what?: Facebook 关键字搜索生成器。它搜索 Facebook 帖子并可以将结果限制在特定日期。
ExtractFace: 自动从 Facebook 个人资料中提取数据。
Twitter 的:
Twitter search home
Twitter advanced search page
Twitter Deck
All My Tweets: 查看任何 Twitter 帐户发布的所有公开推文。
Trendsmap: 展示世界各地的 Twitter上最受欢迎的趋势、主题标签和关键字。
Foller: 分析 Twitter 帐户(个人资料公开信息、推文和粉丝数量、主题、标签、提及等等)。
First Tweet: 查找任何搜索关键字或链接的第一条推文。
Social bearing: 分析 Twitter 帐户。
Twitter Email Test
Twicsy
Follower wonk
Sleeping Time: 预测 Twitter 上任何人几点睡觉(这也有用?是的,比如钓鱼攻击,选取目标对象精力不足的时段下手胜算更大/ 或者研究目标人使用的时区结合其他线索以估计其地理位置)。
Simple Twitter Profile Analyzer (Python script).
Tag board: 在 Twitter、Facebook 上搜索主题标签。
TINFOLEAK
TET: 检查输入的电子邮件地址是否用于 Twitter 帐户。
Spoonbill: 监控您在 Twitter 上关注的人员的个人资料变化。
Export Tweet: 这是一个非常先进的 Twitter 分析服务,您可以下载生成的报告以供离线使用。要解锁完整功能,您需要付费。
LinkedIn 的:
Recently Updated Profiles
LinkedIn Contact Extractor
LinkedIn Résumés
LinkedIn People Finder (International)
Instagram 的:
INK361
iconosquare
picodash: 一个强大的搜索引擎,可以探索 Instagram 和 Twitter 的照片、视频、用户和位置。
ToFo
Reddit 的:
metareddit: 搜索 subreddits.
Mostly Harmless: 查找您当前正在查看的页面,看看它是否曾经提交过 reddit。
redditarchive
Reddit Enhancement Suite: Google Chrome加载项。
reddit investigator: 调查 Reddit 用户。
reddit metrics: 用于跟踪 reddits 用户统计信息、并发现 reddit 上发展最快的社区。
atomiks: 分析 Reddit 用户。
SnoopSnoo: 深入了解任何 reddit 用户的活动。
Reddit Comment Search: 搜索特定 reddit 用户的评论。
社交媒体心理分析工具
我们做过这样的演示,《情感分析:如何在社交网络上抓取并分析大众对某些话题的情绪?》以及《对特朗普推文的情感分析: Python 🐍》
以下是一些自动化的工具(在分析群体和群体事件时比较有用)当然,如果您觉得自动化工具不够深刻,请使用上述两个演示中介绍的方法自定义工具。
Tone Analyzer: 这是一项在线服务,提供免费的语言分析,以检测人类的情感 —— 如快乐、恐惧、悲伤、愤怒、自信、和试探性的口吻 —— 在文本中找到 —— 如推文、电子邮件和 Facebook 消息。
Watson Tone Analyzer: 这是由 IBM 创建的基于云的服务器,它分析在线内容(例如 Facebook 帖子、评论和推文)中的情绪和口吻,以预测作者的情绪状态。此服务可以在不同的场景中使用。
Facebook and Twitter Prediction: 预测一个人的心理状况 —— 该服务可以分析您的 Facebook 和 Twitter 帖子,以洞察您的个性 —— 心理弱点,可用来针对性营销⚠️或钓鱼。您还可以在该网站中插入任何文本,以预测其作者的心理状况。
Fake Sport: 该网站分析亚马逊、Yelp、TripAdvisor 和 Apple App 商店用户的评论,以检查这些评论的可信度。
Review Meta: 调查亚马逊上的用户评论,以检查哪一个可能是假的或误导性的。
TweetGenie: 这是一个荷兰的项目,通过推特用户名预测目标的年龄和性别。
找人
一般的人物搜索
Truth finder: TruthFinder 拥有庞大的社交媒体资料库存,地址历史记录、联系信息、公共记录(国家和地区数据源)以及其他商业资源数据库,除了城市/州之外,您还可以使用目标的名字进行搜索,找到目标的居住地或以前生活过的地方。
411: 搜索美国境内的人,搜索参数包括全名、位置、反向电话查询、电子邮件和业务。
Pipl
Spokeo
TruePeopleSearch
US Search
Peek You
Zaba Search: 使用姓名或电话号码在美国寻找任何人。
White Pages: 使用姓名、电话号码、公司或地址搜索美国境内的人。
Been Verified: 使用姓名、电话号码、公司或地址搜索美国境内的人。
Address Search: 和上面一样,仅限美国。
Lullar: 使用目标的电子邮件地址或名字和姓氏或用户名,搜索社交媒体网站。
Yasni
My Life
Snoop Station: 使用全名和位置搜索人。
Advanced Background Check
Family Tree Now
Radaris
Profile Engine
Info Space
Cubib: 免费搜索数百万在线数据记录。汇总数据来自人员搜索、营销数据、财产记录、车辆记录、法院记录、专利、商业登记、域名注册、和白宫访问记录等。
Fast People Search
Speedy hunt
That’s Them
Webmii
How many of me
Genealogy
Sorted By Name: 搜家谱……
用户名检查
Check user name: 检查160个社交网络上特定用户名的使用情况,如果他/她在多个平台上使用相同的用户名,很容易找到(⚠️这就是为什么警告敏感账户一定要独立,使用完全不同的照片、简介、名字和注册邮箱)
Namechk: 检查指定的用户名是否用于主要域名和社交媒体网站。
Namecheckr: 检查多个网络上的域名和社交用户名的可用性。
User Search: 扫描45个流行的社交媒体网站。
https://twitter.com/DonEvansWm/status/1149161869522829312
电邮搜寻
电邮验证服务。此服务检查一个电子邮件地址是否存在,并提供有关它的其他详细技术信息。
《如果做一个与自己身份完全无关的电邮地址》
Email Dossier: 提供有关电子邮件的详细技术验证报告。
Emailhippo
Verifalia
Hunter
Email Checker: 验证电子邮件地址是否真实。
Mail Tester
Byte Plant Email Validator
Email Format
Email Permutator+
Emails4Corporations.com
Scam Dex
Email Header Analysis 获取从电子邮件标头中提取的详细技术信息,其中包括发件人 IP 地址、发件人 ISP 以及地理信息。
电话号码搜索
在这里看到演示《如果只知道一个电话号码,你能挖出多少有效信息?》
Z lookup: 国际反向电话查询,包括手机。
Reverse Phone Lookup
Inter800
Twilio
Spy Dialer
Who calld
Info Bel
Fone Finder
True Caller
Free Carrier Lookup
Phone Lookup