社会工程学 – 网络信息情报工具汇总

18 min


社会工程学 – 网络信息情报工具汇总

名单有点长,附有一些简短的指南,更详细地突出了这些工具的用法。

大多数工具名字就是它们的用途。

 地理空间数据信息

验证信息真伪、跟踪事件发展

  1. Bing Maps:Microsoft 卫星和地图服务。拥有比谷歌更新更快分辨率更高的图像;缺点是检查图像的日期比较难;
  2. converting coordinates:这是一个转换地理坐标的工具;
  3. Copernicus:欧洲航天局的网站以及哥白尼六哨兵卫星的图像。比 Landsat 的分辨率更高。请参阅网站 GISGeography 上有关如何下载和免费图像的说明;
  4. Descartes Labs:一种商业服务,每天从公共和商业图像提供商处收集数据,对记者的调查来说有很好的帮助;
  5. DigitalGlobe:卫星图像供应商。通过 catalogus 预览,非常容易使用的搜索工具;
  6. DualMaps:将 Google 的路线图、鸟瞰图和街景视图结合在一个嵌入式工具中。探照灯一般
  7. EarthExplorer:来自美国地质局。主要提供美国图像。提供对 Landsat 卫星数据以及 NASA 土地数据产品和服务的访问。 USGS 全球可视化查看器(GloVis)提供遥感数据。USGS 档案包含完整且维护良好的 NASA Landsat 数据集。
  8. EOS Landviewer:EOS Landviewer 提供最多 10 张图片的免费服务。更多图像和分析以折扣价提供给记者。联系方式:Artem Seredyuk [email protected]。 EOS 正在开发一项暂时被称为 EOS Media 的服务,该服务将提供免费图像和主要自然灾害分析。
  9. ESA Earth Online:整合欧洲航天局关于温度、农业和冰盖等主题的地球观测数据。
  10. find2places:允许在给定半径内以精确的距离查询两个特定位置的 Google Maps API。用于地理定位照片和视频。这是个脚本,用户界面还不那么好看。关联我们的文章《用于信息验证的基本地理定位工具
  11. Geograph:地理配准图像。
  12. GeoNames:位置名称数据库。多语种的,以及各种不同的拼写。
  13. GeoVisual Search:搜索引擎,允许用户直观地查询图像以获得类似的地理特征。这个笛卡尔实验室的平台建立在 Landsat、国家农业图像计划(NAIP)和 PlanetScope 的卫星图像基础上。这里读到关于如何使用它的说明。
  14. Google Earth Pro:添加 Bing 地图卫星图像图层。优点是有历史图像。
  15. Google Earth Engine:开放式卫星图像和分析框架。实际上,从 NASA,NOAA,USGS 等收集的任何卫星图像都是可用的。可能略有些粗糙,不是高分辨率的商业图像。用 Javascript 学习曲线。
  16. Google Maps:StreetView、美国欧洲许多大城市都可见,以 3D 为蓝本。缺点是没有历史卫星图像,但许多地方都有历史街景图像
  17. HERE WeGo:对于中东事件调查来说,它有比谷歌最近的卫星图像。
  18. Mapchecking:计算所选 Google 地图区域中的 人数。单击地图以添加点并绘制区域。集会、群体事件、或者救灾…… 等等,都适用。
  19. Mapillary:众包街道照片。是对 Google Streetview 的有用补充。不过对于中东地区来说不好用,在叙利亚、伊拉克等国家几乎找不到。
  20. NASA EarthData:WorldView 允许从 NASA 可视化近实时的图像。优势很多,各种卫星和航拍图像;广泛的搜索标准;以及其他地图和可视化工具,例如用于火灾事件调查的 FIRMS,等等。可访问十几个 NASA 数据中心和相关的卫星数据产品。美国宇航局地球观测:大气、陆地、海洋、能源、环境等 50 多个数据集。
  21. Old Maps Online:通过世界各地的众多数据库查找旧地图。易于使用,与 DigitalGlobe 目录类似的浏览。
  22. OpenStreetCam:正如其名。
  23. OpenStreetMap:正如其名。
  24. Radiant Earth:非营利组织,帮助全球发展社区发现、探索和分析卫星、无人机和航空图像档案
  25. Resource Watch:一个仍处于测试阶段的非营利平台,提供有关地球资源和公民状态的数百个数据集。由世界资源研究所和其他组织赞助。资源监视数据是免费的,用户可以下载数据。
  26. Sentinel Hub Playground:Sentinel 2 / Landsat 图像的用户友好平台。每 5–10 天更新一次新图像,能够探索各种 GIS 变量,例如 NDVI 或 NDWO。 EO 浏览器有助于延时审查。缺点是一般分辨率低至 10m /px。
  27. TerraServer:卫星图像供应商。最高分辨率(0.3m)。预览高分辨率卫星图像要付费。
  28. Wikimapia:与地理位置相关的众包信息。可以在 Google / Bing / OSM 之间切换。大量的 UCG 信息。可能有点滞后,需要在视图搜索后刷新页面。
  29. Animaps:创建自定义动画地图。优点是有可用于调查的时间线记录,不过维护的不大好。
  30. Echosec:基于地理的搜索。比如来自社交媒体的信息 Twitter,VKontakte,Foursquare 的查证。缺点是不能查 Facebook、正版 Instagram。
  31. Liveuamap:冲突新闻的互动实时地图。现有各种国家:阿富汗,伊拉克,叙利亚,美国,乌克兰,委内瑞拉等,别的工具挖不到的国家这里可以。
  32. Photo-Map.RU:可以查证带有地理标记的 VKontakte 帖子。和 SnRadar 作用一样。
  33. Twitter:在搜索框中插入 地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km (only works with km, so 500m = 0.5km) 大部分时间能找到你想要的东西。缺点是,定位容易造假,需要结合其他信息以验证。
  34. WarWire:基于地理定位的搜索。验证来自社交媒体如 Twitter, VKontakte, Instagram 的帖子
  35. < /ol>

    图像、视频和元数据 

    眼见不一定为实。信息被造假了吗?真相是什么?

    1. Amnesty YouTube Dataviewer:反转图像(以及视频)搜索,找到精确的上传时间。缺点是搜索包含多个静止图像,而不是每个帧(因此可能有些东西被略掉了)
    2. Exiftool:读取和操作大量文件类型的 元数据。注意:没有 GUI。优点是 Floss、Cross 平台,非常容易集成在脚本中。目前只能用于 GNU / Linux。
    3. Foca:提取元数据用的。基于 Windows,2017 年开源。缺点是没有本机 linux 支持(需要在 linux 中安装 wine)
    4. FotoForensics:一个图像取证工具。基于 web, 使用简单。缺点是只能公共访问。
    5. GooFile:也是提取元数据的工具,也很方便使用。缺点是在 Kali 以外不能很好地工作。
    6. Image Forensics:基于 Web 的图像取证工具。可以轻松识别伪造或篡改的图像。也是只能公共访问。
    7. InVID:这是一个验证插件,以帮助记者验证图像和视频。上下文数据、元数据、反向搜索(谷歌,Yandex)、图像取证等。
    8. Irfanview:提取元数据的工具。基于 Windows。缺点是不支持 Linux。
    9. Jeffrey’s Image Metadata Viewer:在线提取元数据的工具。只需要 Web 浏览器就可以。但也是只能公共访问。
    10. Reveal Image Verification Assistant:提供八个过滤器来检测静止图像的变化。基于 Web 的图像工具。也可在 InVID 验证插件中使用。
    11. reverse image search:在互联网上找到类似的图像。非常容易使用。推荐插件:RevEye
    12. SpiderPig:提取元数据。命令行界面和脚本很棒。但是使用需要一点技术知识
    13. Splunk:也是提取元数据。可以报告等级分析和演示。缺点是设置和部署不太简单。

    社交媒体平台

    社交媒体是挖掘真相的金矿。对于不同平台来说工具不同,要找到趁手的挖掘工具需要点研究。

    1、对于 Facebook

    2、Instagram

    3、LinkedIn

    4、Reddit

    • F5Bot:当 Reddit 上提到某个关键字时,向您发送电子邮件。

    5、Snapchat

    • Snap Map:可搜索的地理标记 Snap 地图。

    6、Tumblr

    • Tumblr Originals:查找每个 Tumblr 的原始帖子,从而排除 reblogs。

    7、Twitter

    • InVID verification plugin:InVID 插件按时间间隔提供 Twitter 高级搜索。允许在没有 API 和时间限制的情况下记录过去的用例。允许在 突发新闻后搜索用户定义的时间范围内的内容。在 Twitter 高级搜索中自动执行日历日期和 Unix 时间戳之间的转换。
    • 在这里看到视频 Fake video news debunker by InVID:
    • Onemilliontweetmap:推文地图每个地点最长 6 个小时,关键字搜索选项。
    • TreeverseChrome 扩展程序,可视化 Twitter 对话。
    • Tweetreach:找到推文的范围。提供高级搜索运算符,与 Google 高级搜索相同。关于谷歌的运算符我们将来会有专门的文章详细介绍!
    • Twitter advanced search:查找日期、关键字等等。
    • Twitter geobased search:地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km
    • Twlets:在 Excel 工作表中下载任何人的推文,关注者、及点赞的内容。使用方便快捷,还有一个 Chrome 扩展程序。最多可获得 3,200 条推文,关注者和点赞。
    • quarter tweets:基于地理位置的 Twitter 搜索

    8、YouTube

    交通运输数据

    你知道这意味着什么。它们非常有用。当社交网络上人们将名人、政客、军队等相关出行和调遣的消息发布并传播时,你可以查证那些东西究竟是真是假,并且能比其他人更切实地做到对重要信息的跟踪

    1、航空

    • AirNav RadarBox:跟踪航班,包括私人的和军用的喷气式飞机。一个 Windows PC 软件和硬件包,允许在模拟雷达屏幕上看到适当装备的飞机。小型接收器通过 USB 连接到 PC,使用提供的小型天线检测飞机。通过解码来自飞机的 ADS-B 传输,这些飞机以类似于空中交通管制所使用的显示器显示在计算机上。航班号,飞机类型,高度,航向,速度每秒都可见并更新。
    • ADS-B Exchange Global Radar:跟踪航班,包括一些军用飞机。你懂的。
    • FlightAware:世界上最大的航班跟踪网站。一家总部位于德克萨斯州休斯顿的全球航空软件和数据服务公司。 该公司运营着一个网站和移动应用程序,可以在美国,加拿大,澳大利亚和新西兰提供私人和商用飞机的免费航班跟踪。
    • FlightRadar24:这个是最常用的。跟踪(民用)航班。付费版可以返回 12 个月的档案
    • PlaneFinder:基于英国的实时航班跟踪服务,能够显示有关航班开销以及全球航班的数据。用户可获得的数据包括:航班号,飞机移动速度,旅行高度和目的地。该服务的几种变体可用作移动应用程序,包括免费,高级 3D 和增强现实版本。 Web 浏览器可以访问航班跟踪地图和数据库。

    2、海运

    • MarineTraffic:一个开放的,以社区为基础的项目,提供有关船舶运动的实时信息以及船舶在港口和港口的当前位置。船舶信息数据库包括,例如,船舶建造地点和船舶尺寸,总吨位和国际海事组织编号的详细信息。用户可以提交其他用户可以评价的船只照片。 基本的 MarineTraffic 服务可免费使用;更多高级功能可供支付。

    3、铁路

    • Trains:欧洲各国铁路网络的完整互动地图。想想 “一带一路”……

    4、其他

    • WikiRoutes:公共交通数据库。wiki 应用 — — 世界公共交通数据库由人们根据维基媒体的原则编辑。添加您所在城市的路线,该路线会立即显示在网站和移动应用中。

     日期和时间

    科学方法,判断信息真伪

    1. SunCalc:在给定的一天里在给定的位置显示阳光的移动。细橙色曲线是当前的太阳轨迹,周围的黄色区域是一年中太阳轨迹的变化。点越靠近中心,地平线上方的太阳越高。上面时间滑块上的颜色显示白天的阳光覆盖范围。根据一段视频或多张声称连续的照片,推断发布者的声称是否真实。
    2. Wolfram|Alpha:由 Wolfram Research 公司推出的一款在线自动问答系统。其特色是可以直接向用户返回答案,而不是像传统搜索引擎一样提供一系列可能含有用户所需答案的相关网页。基于 Wolfram 早期旗舰产品 Mathematica,一款囊括了计算机代数、符号和数值计算、可视化和统计功能的计算平台和工具包开发的。其数据来源包括学术网站和出版物、商业网站和公司、科学机构等等,例如中央情报局出版物《世界概况》、康奈尔大学图书馆出版物《All About Birds》、《Chambers Biographical Dictionary》、道琼斯公司、Catalogue of Life、 CrunchBase、百思买 、美国联邦航空管理局、美国地质调查局等…… 你知道它有多强大。

    网络情报分析 

    网络战

    0-22
    DNS 解析

    1. Passive DNS:是 DNS 历史信息的一个截片,是 DNS 数据的一种应用方式,简单的 Passive DNS 的例子如下图所示,是域名和 IP 的映射表。Passive DNS 能够回答的问题包括,域名指向哪些地址,域名服务器管理过哪些域名等等。恶意域名和合法域名的 DNS 行为有着很大的差异,而这种差异能通过 Passive DNS 数据体现出来。恶意域名的特点有很多,如 DNS 记录 TTL 值偏小、IP 池更新快、IP 网段丰富等等。 目前的使用 Passive DNS 比较优秀的工作有 EXPOSURE、Notos 和 FluxBuster 等等。
    2. Censys.io:完整的互联网连接设备知识!Censys 会持续监控 Internet 上每个可访问的服务器和设备,以便您可以实时搜索和分析它们,了解你的网络攻击面,发现新的威胁并评估其全球影响。通过数据驱动安全。Censys 跟 Shodan 和中国的 ZoomEye 类似,可以搜索世界范围内的联网设备。Shodan 和 ZoomEye 是个人用的比较多的两款。Censys 与 Shodan 相比是一款免费搜索引擎,当然也有一定的限制(速度和搜索结果),而新改版后的 ZoomEye 对中国的搜索结果做了 “处理”,几乎没有什么价值了。
    3. DNS History:就是它的名字,收集历史 DNS 信息。免费,简单易用。有时可用性有限。
    4. DNS cyrillic check:检查恶意域名或西里尔域名是否已注册。免费,简单易用。
    5. DNS Trails 世界上最大的历史 DNS 数据存储库。该站点包含对大约 3 万亿条 DNS 记录,30 亿条 WHOIS 记录和 4.18 亿个主机名的数据库的访问权限。所有这些都是自 2008 年中期以来每天收集的。可能会为您返回最多的数据。免费,简单易用。
    6. Geo IP Tool:这是给你自己的。检查您自己的 IP,方便检查您的 VPN 是否正常工作 。
    7. Shodan物联网搜索引擎!可以找到大量错误配置的网络连接设备。有些人还将其描述为服务横幅的搜索引擎,服务横幅是服务器发送回客户端的元数据。这可以是关于服务器软件的信息,该服务支持的选项,欢迎消息或客户端在与服务器交互之前可以找到的其他内容。
    8. SpyOnWeb:用于通过其跟踪代码检索网站。一个不断抓取网站追踪代码,名称服务器和其他信息的网站,所以它能帮助显示网站之间的连接。他们的 API 有许多定价层,从免费开始一直到每月 69.95 美元。
    9. Whois:用于域名搜索和信息,whois.netwhois.icann.org

    人物信息情报

    1. Peekyou,peekyou.com
    2. Pipl,世界上最强大的人物搜索引擎,找到电子邮件地址,社交媒体用户名或电话号码背后的人pipl.com
    3. Yasni,yasni.com
    4. Zaba Search,仅限美国,zabasearch.compublicrecords.searchsystems.net cemetery.canadagenweb.org/search.htmlopencorporates.com
    5. IXMaps, IXMaps
    6. Network-Tools
    7. Open Site Explorer
    8. Robtex
    9. Search IRC
    10. Shodan Computer Search
    11. Utrace
    12. ViewDNS

    历史、证据数据

    查看历史存档,保留证据!

    1. Archive.is:存档任何网页。一个私人资助的数字时间胶囊网站。会根据版权所有者的合乎数字千年版权法案(DMCA)的撤除请求移除已归档的页面。每次请求都会捕捉网页的文字内容,加载不含活动元素或脚本的 Web 2.0 网站或由 JavaScript 产生的图片与框架内容。 截图是 1024×768 像素,没有弹出窗口。 archive.is 还支持了 Memento Project 的 API,并且开发了 Firefox 浏览器与 Chrome 浏览器的插件。
    2. DMCA:搜索删除通知。
    3. Gruber:Slideshare 下载器。太多介绍了不赘述。
    4. Historic Breach Database List:看一眼这个链接就明白了。
    5. Wayback Machine:档案网站。从 Wayback Machine 下载整个网站。「网际网路档案馆」(Internet Archive)旗下的一项网页保存计划,事实上它也正在纪录每分每秒不断改变的网路生态。每周透过网路爬虫(Crawler)抓取超过十亿个网页内容!运用大量伺服器、频宽来提供服务并极力节省资料大小,因此可以在网站上找到非常古老的网页备份。Wayback Machine 亦提供线上「网页备份」功能,只要输入要备份的网页网址,就能将它撷取下来,产生一个独立且永久保存的网址,未来还能在 Wayback Machine 以时光机功能来随时回顾不同时间点自动抓取备份的网页内容。
    6. Wayback Machine for Github:查找和搜索何时以及谁做了什么!简单易用。

    其他数据利用

    1. BlockExplore:跟踪比特币线索或跟随比特币账户。
    2. Check:协作事实核查。核查任何事件的真伪!在这里看到更多资源。
    3. Document Redaction:用于在查看之前删除 Pdfs 中可能有害的内容,例如追溯。
    4. Google Search Operators:例如搜索特定文件类型(例如 PDF)或特定网站。我们后面将有文章详细介绍具体用法!
    5. Hunch.ly:自动收集所有访问过的网站!专为在线调查而设计的唯一网络捕获工具。Hunchly 自动收集、记录和注释您访问的每个网页。非常强大的调查工具,要付费哦。
    6. Insecam 网络直播 IP 摄像机目录!你懂的。世界上最大的在线监控安全摄像机目录。选择一个国家观看实时街道,交通,停车场,办公室,公路,海滩,地球在线网络摄像头。现在,您可以搜索世界各地的实时网络摄像头。你可以在这里找到 Axis,松下,Linksys,索尼,TPLink,Foscam 和许多其他网络摄像机在线没有密码。建议使用 Mozilla Firefox 浏览器观看网络摄像机。( 为了保护个人隐私,Insecam 采取了以下行动:– 只有过滤的相机现在可用。这样 Insecam 上的摄像机都不会侵犯任何人的私生活。– 任何私人或不道德的相机将被立即删除电子邮件投诉。打开一个直接链接,以帮助促进迅速删除相机。– 如果您不想通过电子邮件与我们联系,您仍然可以从 Insecam 中删除您的相机。你唯一需要做的是设置你的相机的密码。– 您可以添加您的相机到目录。只有在管理员批准后才能使用。摄像机的坐标是近似的。它们指向 ISP 地址,而不是摄像机的物理地址。此信息仅精确到几百英里。提供的坐标仅用于定位相机所在的城市,但不是准确的位置或地址。)
    7. LittleSis:一个免费的数据库,了解在商业和政府层面的人际关系。一个草根监督网络,连接世界上最强大的人和组织之间的点。调查任人唯亲,利益冲突和系统腐败的独特资源!通过跟踪政治家、商业领袖、游说者、金融家及其附属机构的关键关系,为有影响力的社交网络带来透明度。所有这些信息都是公开的,但是很分散,调查者很难找到。这个站点将它们集中在一个地方。数据来自政府文件、新闻文章和其他信誉良好的来源。一些数据集会自动更新;其余部分由用户社区填写。
    8. Lumen:收集和分析法律投诉和删除在线资料的请求,帮助互联网用户了解他们的权利并理解法律。这些数据使用户能够研究法律威胁的普遍性,并让互联网用户看到内容删除的来源。
    9. Maltego :交互式数据挖掘工具,用于呈现链接分析的有向图。用于在线调查,以查找来自互联网上各种来源的信息之间的关系。非常强大!比起其它的情报收集工具,Maltego 显得格外不同并且功能强大,因为它不仅可以自动收集到所需信息,而且可以将收集的信息可视化,用一种格外美观的方式将结果呈现给使用者。你可以看到许多有用的信息,比如 DNS 信息,邮件服务器,IP,用户,电子邮箱 ID,网络等。
    10. Montage:用于协同工作。让您能够将注意力集中在分析而不是数据收集上。
    11. Malicious URL Tester:测试未知的 URL。为了安全。
    12. OpenCorporates:世界各地的公司数据库。里面包含了 1.38 亿家企业和 1.76 亿员工的信息,而且还在不断更新。
    13. Tor Site Searcher:通过 clearnet 搜索隐藏的 tor 网站。你懂的。
    14. TimelineJS by Knight Lab:制作事件的互动时间表。透过工作表 (google document spreadsheet),直觉的栏位设计,在填完资料后即可透过 TimelineJS 的网路介面输出时间表。具备整合网路资源及网路多媒体及的特性,非常适合网站提供动态网页时间表与使用者互动,虽然制作过程中,时间表网站的操作介面没有中文,但是时间表的相关讯息支援中文内容,而设定中文语系的参数后,时间表本身也会呈现中文的日期
    15. Visual timeline creator:点击链接,一看就明白!
    16. Unknown Hash ID:在调查时,如果你遇到哈希但不知道它是什么(为保证进一步调查)这个工具帮你确定类型。
    17. Zoopla:使用英国领先的资源搜索房产。浏览房屋和公寓出售和出租的情况,并找到任何地区的房地产经纪人。 中国人正在全球买房,尤其是富人(你知道中国富人的钱是怎么来的)所以…… 它非常有用。

     关于战争 

    1. 冲突武器研究所开放的名为 “Itrace” 的指南,以地图格式图形化地展示了各种弹药和武器的大量信息,这里:itrace.conflictarm.com

     数据可视化 

    1. DataBasic.io:适用于初学者的 Web 工具,介绍使用数据的概念。这些简单的工具使您可以轻松地以有趣的方式处理数据,因此您可以学习如何找到要讲述的精彩故事。页面很萌哈。
    2. DataWrapper:易于使用的图表和绘图工具。
    3. Google Fusion Tables:数据融合表是 Google 提供的用于数据管理的网络服务。 Fusion 表格可用于收集,可视化和共享数据表格。数据存储在多个互联网用户可以查看和下载的表格中。
    4. RAWGraphs:免费的 webtool 可以快速可视化您的数据。基于 D3.js 的开源工具,不用代码,只需要导入数据,设置一些条件就可快速生成。而且可以导出 svg 格式的图片,也就是说用 RAWGraphs 生成的图片后期可以轻松地用 AI 或者 PPT 来进一步对其进行编辑。
    5. Open Desktop Semantic Search:能很好地搜索非结构化数据。
    6. TrustServista:在线新闻验证和可视化工具!

    更多

    1. https://socialbearing.com/ :很多 Twitter 统计数据,非常有用;
    2. Namechk.com:非常适合使用用户名识别在线帐户。只需插入用户名,此工具即可识别所有使用该名称的用户的位置。

    好啦,你的锦囊就在这里!如果一名声称专业的调查记者、追求正义的公民、社交工程师、捍卫真相的民间组织,不能熟练使用上述工具中的 50%,说明他们完全不 “专业”。

    结束被欺骗蒙蔽的厄运,扭转信息封锁造成的无知,知情权是基本公民权,希望更多有志之士加入一起来捍卫这一民主自由。

    如果您有更多的工具推荐,欢迎在留言中交流!本列表将不断得到补充;如果您是开发者,欢迎援引本指南的思路,开发出更多更适合中国公民社会使用的调查工具。我们将很高兴协助您推荐这些作品。


Like it? Share with your friends!

0
DUN

Choose A Format
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Video
Youtube and Vimeo Embeds