web渗透网站目录爬虫工具, *** 爬虫可以爬取网站的哪些内容

作者:hacker | 分类:入侵行业 | 浏览:104 | 日期:2022年07月15日

如何进行Web渗透测试

什么是渗透测试？

渗透测试，是渗透测试工程师完全模拟黑客可能使用web渗透网站目录爬虫工具的攻击技术和漏洞发现技术，对目标 *** 、主机、应用的安全作深入的探测，发现系统最脆弱的环节。

如何进行Web渗透测试？

完整web渗透测试框架当需要测试的web应用数以千计，就有必要建立一套完整的安全测试框架，流程的更高目标是要保证交付给客户的安全测试服务质量。

1、立项：项目建立，时间安排，人力分配，目标制定，厂商接口人确定；

系统分析威胁分析：针对具体的web应用，分析系统架构、使用的组件、对外提供的接口等，以STRIDE为威胁模型进行对应的安全威胁分析，输出安全威胁分析表，重点关注top3威胁；

制定测试用例：根据威胁分析的结果制定对应的测试用例，测试用例按照模板输出，具备可执行性；

测试执行漏洞挖掘：测试用例执行发散测试，挖掘对应的安全问题or漏洞；

问题修复回归测试：指导客户应用开发方修复安全问题or漏洞，并进行回归测试，确保安全问题or漏洞得到修复，并且没有引入新的安全问题；

项目总结评审：项目过程总结，输出文档评审，相关文档归档。

2、Web应用的渗透测试流程

主要分为3个阶段，分别是：信息收集→漏洞发现→漏洞利用，下面仔细分析一下各个阶段流程：

一、信息收集

在信息收集阶段，我们需要尽量多的收集关于目标web应用的各种信息，比如：脚本语言的类型、服务器的类型、目录的结构、使用的开源软件、数据库类型、所有链接页面，用到的框架等

脚本语言的类型：常见的脚本语言的类型包括：php、asp、aspx、jsp等

测试 *** ：

1 爬取网站所有链接，查看后缀

2 直接访问一个不存在页面后面加不同的后缀测试

3 查看robots.txt，查看后缀

服务器的类型：常见的web服务器包括：apache、tomcat、IIS、ngnix等

测试 *** ：

1 查看header，判断服务器类型

2 根据报错信息判断

3 根据默认页面判断

目录的结构：了解更多的目录，可能发现更多的弱点，如：目录浏览、代码泄漏等。

测试 ***

1 使用字典枚举目录

2 使用爬虫爬取整个网站，或者使用google等搜索引擎获取

3 查看robots.txt是否泄漏

使用的开源软件：我们如果知道了目标使用的开源软件，我们可以查找相关的软件的漏洞直接对网站进行测试。

测试 ***

指纹识别（ *** 上有很多开源的指纹识别工具）

数据库类型：对于不同的数据库有不同的测试 *** 。

测试 ***

1 使应用程序报错，查看报错信息

2 扫描服务器的数据库端口（没做NAT且防火墙不过滤时有效）

所有链接页面：这个跟前面的获取目录结构类似，但是这个不只是获取网站的所有功能页面，有时候还可以获取到管理员备份的源码。

测试 ***

1 使用字典枚举页面

2 使用爬虫爬取整个网站，或者使用google等搜索引擎获取

3 查看robots.txt是否泄漏

用到的框架：很多网站都利用开源的框架来快速开发网站，所以收集网站的框架信息也是非常关键的。

测试 ***

指纹识别（ *** 上有很多开源的指纹识别工具）

二、漏洞发现

在这个阶段我们在做测试的时候要对症下药，不能盲目的去扫描，首先要确定目标应用是否使用的是公开的开源软件，开源框架等、然后在做深一度的漏洞扫描。

关于开源软件的漏洞发现

开源的软件：常见的开源软件有wordpress、phpbb、dedecms等

开源的框架：常见的开源框架有Struts2、 Spring MVC、ThinkPHP等

中间件服务器：常见的中间件服务器有jboss、tomcat、Weblogic等

数据库服务：常见的数据库服务mssql、mysql、oracle、redis、sybase、MongoDB、DB2等

对于开源软件的测试 ***

1 通过指纹识别软件判断开源软件的版本信息，针对不同的版本信息去开放的漏洞数据库查找相应版本的漏洞进行测试

2 对于默认的后台登录页、数据库服务端口认证等入口可以进行简单的暴力破解、默认口令尝试等操作

3 使用开源的漏洞发现工具对其进行漏洞扫描，如：WPScan

关于自主开发的应用

手动测试：这个阶段，我们需要手工测试所有与用户交互的功能，比如：留言、登入、下单、退出、退货、付款等操作

软件扫描：使用免费的软件扫描，如：appscan、wvs、netsparker，burp等

可能存在的漏洞

Owasp关键点

代码安全之上传文件

代码安全之文件包含

代码安全之SSRF

逻辑漏洞之密码重置

逻辑漏洞之支付漏洞

逻辑漏洞之越权访问

平台安全之中间件安全

三、漏洞利用

针对不同的弱点有不同的漏洞利用方式，需要的知识点也比较多。一般这个阶段包括两种方式，一种是手工测试，一种是工具测试

手工测试

手工测试是通过客户端或服务器访问目标服务，手工向目标程序发送特殊的数据，包括有效的和无效的输入，观察目标的状态、对各种输入的反应，根据结果来发现问题的漏洞检测技术。手工测试不需要额外的辅助工具，可由测试者独立完成，实现起来比较简单。但这种 *** 高度依赖于测试者，需要测试者对目标比较了解。手工测试可用于Web应用程序、浏览器及其web渗透网站目录爬虫工具他需要用户交互的程序。

这种方式对于有特殊过滤等操作，或者 *** 上没有成型的利用工具的时候可以使用。

工具测试

*** 上有很多好用的免费利用工具，比如针对sql注入的sqlmap、针对软件漏洞的matesploit等。

爬虫工具是什么

*** 爬虫（又被称为网页蜘蛛web渗透网站目录爬虫工具， *** 机器人web渗透网站目录爬虫工具，在FOAF社区中间，更经常web渗透网站目录爬虫工具的称为网页追逐者），是一种按照一定web渗透网站目录爬虫工具的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。中文名 *** 爬虫外文名 web crawler 别称 *** 蜘蛛目的按要求获取万维网信息产生背景随着 *** 的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如web渗透网站目录爬虫工具： (1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的 *** 覆盖率，有限的搜索引擎服务器资源与无限的 *** 数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和 *** 技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。