我想用网络爬虫遍历某Web服务器的所有网页，检查Web服务器是否可靠。我选择了wget这个工具，用的命令是wget -r -np -k -p 10.0.0.37。但是只能获得一级页面，那些通过二级菜单获得的页面还在Web服务器上，没有下载到本地。因此我觉得很多页面没有访问到。请问怎么解决？
我想用网络爬虫遍历某Web服务器的所有网页，检查Web服务器是否可靠。我选择了wget这个工具
阅读背景：
wget 获得遍历所有Web服务器所有网页
来源：互联网
分享到：
