自动抓取代理IP并智能更换IP爬yande.re原图的爬虫(15禁)

cuibaowenown2

参考http://bbs.fishc.com/thread-58406-1-1.html上面的正则表达式
在我自己写的爬虫http://bbs.fishc.com/thread-61650-1-1.html基础上稍作修改即成
顺便一提，这位哥们儿下的图不是原图，具体自己看网页源代码，在哥们儿搜索到的(?<=<span class="plid">#pl )https://yande.re/post/show/\d+(?=</span>)此段正则表达式后面的链接才是真正的原图！目前我下到的原图最大的是17.6MB下面代码:

游客，如果您要查看本帖隐藏内容请回复

,pic_url):      #检测是否是正确的html格式
                yield pic_url
        time.sleep(5)
        page += 1

save_path = 'D:\\图片\\马克思主义'

def download():
    count = 1
    global data,headers
    for pic_url in get_pic(1):         #get_pic(1)表示从第1页开始下载
        file_name = os.path.split(pic_url)[zxsq-anti-bbcode-1]
        if not os.path.isdir(save_path):    #目录不存在就创建
            os.makedirs(save_path)
        with open('%s\\%s' % (save_path , file_name) , 'wb') as f:
            req = urllib.request.Request(pic_url,data,headers)
            response = get_response(req)
            if response == None:
                continue
            f.write(response.read())
            print('本次成功下载第%d个图片! %s' % (count , pic_url))
            count += 1

if __name__ == '__main__':
    get_proxy()
    create_localhost()
    download()



[/hide]

苏冷雄

{:1_1:}

liangbo

学习学习

无所谓无的

这么多爬虫哦·！！！~

pylinux

{:1_1:}

起风的季节

:sad

墨痕YHZ

Fwfhn

看看

波风雨泽

这么吊

波风雨泽

运行出错

cuibaowenown2

波风雨泽 发表于 2015-6-5 19:56
运行出错

网站是不喜欢爬虫的，所以错误难免，你重新来一次，记得调整初始下载页数

qingchen

支持楼主！

jesy

来看下啊...................................

spockzhang

学习学习

spockzhang

学习学习

a649583061

看看你

whz1017972240

{:1_1:}

狩猎女神

hhhhhh

1qsx

看看看看

小军军

理IP并智能更换IP爬yande.re原图的爬