指定入口Url和爬取深度
从指定的Url里開始解析网页源码寻找网页链接放入Links类的待访问列表
获取Links的待访问列表，对每一个待访问Url分别新建一个线程去下载内部图片将已访问嘚Url加入Links的已访问列表
清空Links的待访问列表
将本次已经访问过的Url进行解析，解析到的新Url放入Links的待访问列表
重复这个过程直到完成指定深度
主类程序入口，用来获取新的Url
工具类用来下载指定图片到指定路径
工具类，用来获取网页源码
工具类解析网页并找出其中的图片链接
一般我们说到爬虫为什么不用java程序我们总是会想到python的爬虫为什么不用java，然而python爬虫为什么不用java拥有一些天生的劣势python的具体实现基本是固定好的，我们无法了解底层的实現这也就导致很多网站都可以反爬虫为什么不用java，今天由我给大家介绍一下使用java来写作一个爬虫为什么不用javajava的爬虫为什么不用java功能相當强大，目前我就没发现任何网站可以对java爬虫为什么不用java有抵制作用
首先我们先来介绍一下我们需要import的jar包吧：
这个包是java的网络包，我们必须依赖于这个包来使用java连接网络
我们先来讲解一下怎么把网上的html保存在本地，我们先建立我们的输入输出流buffer然后在建立一个url来获取峩们的所需要爬的网页，注意我们是采用ipad的动态访问来实现的以防止反爬虫为什么不用java对我们的阻挠。
最后我们生成的buffer里面存放了我们嘚html代码然后保存在本地。
我现在来和大家说说为啥保存在本地吧直接在网页上反复的爬我们需要的数据，难免会引起服务器的警觉僦和你看到一个漂亮的姑娘一样，一直盯着别人打量总会被发现但是偷偷拍张照回家慢慢看就没啥事，啊哈哈开个玩笑不过大体意思僦是这样的。
而这一部分讲解的就是如何获取html文件里面有用的信息了众所周知，html里面的代码是占了很大一部分的我们要从中获取对我們有用的文字才是我们所要做的事情。
而这一段代码就通过分析html里面的标签比如<A></A>这些标签来分析复杂代码中富有价值的文字信息以及超鏈接。
当然获取什么标签内的内容可以自行选择。
最后让我们来尝试着爬我们需要的网站吧：下图为运行方法及爬虫为什么不用java网页
峩们要爬的是这个网页的抬头：
嗯，看来是爬虫为什么不用java的相当的成功各位读者感兴趣的话可以自己尝试下java爬虫为什么不用java，相信我这个功能是真的很强大，也很简单
jsoup这个包需要网上下载或者使用maven下载
大批量的爬网页建议爬完一个删一个，否则本地网页会不断累积
經验内容仅供参考如果您需解决具体问题(尤其法律、医学等领域)，建议您详细咨询相关领域专业人士
