最近闲的无聊,看到其他论坛上有人发了个爬虫,就是用程序下载网站图片,
http://meitulu.cn/,这个网站,妹子图的网站,包括了秀人网的一些写真。可惜他的程序一次只能下载一个网页,于是自己写了一个爬虫,改造一下,一键下载整个网站图片。
http://www.meitulu.cn/item/3029.html思路很简单,网站的网址是这样的,用程序打开3000.html一直到10000.html。我想,应该包括所有的网页了。
开了十个线程,可以理解成,同时下载十个网页。
程序会在exe的同目录下创建文件夹,每个网页里面的图片放在同一个文件夹中。
目前不支持断点续传,不支持分类下载,只是简单的把网站所有图片都下载下来,晚上睡觉开着下载。一晚上就下完了。emmmm看起来就比较方便了。
程序地址:
https://erguotou345.lanzoui.com/ik2JOr3quzg这个是个写真图的网站,欢迎推荐其他的网站,或者有其他需求也可以发我,我尝试做一下。
小草就不要爬取了,会给服务器造成压力,这样不好....
上点防水图:
赞(37)