论坛 › Python交流 › 自动抓取代理IP并智能更换IP爬yande.re原图的爬虫(15禁)

cuibaowenown2 发表于 2015-6-3 03:37:52

自动抓取代理IP并智能更换IP爬yande.re原图的爬虫(15禁)

参考http://bbs.fishc.com/thread-58406-1-1.html上面的正则表达式
在我自己写的爬虫http://bbs.fishc.com/thread-61650-1-1.html基础上稍作修改即成
顺便一提，这位哥们儿下的图不是原图，具体自己看网页源代码，在哥们儿搜索到的(?<=<span class="plid">#pl )https://yande.re/post/show/\d+(?=</span>)此段正则表达式后面的链接才是真正的原图！目前我下到的原图最大的是17.6MB{:7_144:}下面代码:



**** Hidden Message *****

,pic_url):      #检测是否是正确的html格式
                yield pic_url
      time.sleep(5)
      page += 1

save_path = 'D:\\图片\\马克思主义'

def download():
    count = 1
    global data,headers
    for pic_url in get_pic(1):         #get_pic(1)表示从第1页开始下载
      file_name = os.path.split(pic_url)
      if not os.path.isdir(save_path):    #目录不存在就创建
            os.makedirs(save_path)
      with open('%s\\%s' % (save_path , file_name) , 'wb') as f:
            req = urllib.request.Request(pic_url,data,headers)
            response = get_response(req)
            if response == None:
                continue
            f.write(response.read())
            print('本次成功下载第%d个图片! %s' % (count , pic_url))
            count += 1

if __name__ == '__main__':
    get_proxy()
    create_localhost()
    download()

苏冷雄 发表于 2015-6-3 09:45:37

{:1_1:}

liangbo 发表于 2015-6-3 10:08:15

学习学习

无所谓无的 发表于 2015-6-3 12:28:15

这么多爬虫哦·！！！~

pylinux 发表于 2015-6-3 16:10:13

{:1_1:}

起风的季节 发表于 2015-6-4 00:29:14

:sad

墨痕YHZ 发表于 2015-6-4 10:19:27

{:9_241:}

Fwfhn 发表于 2015-6-4 12:44:06

看看

波风雨泽 发表于 2015-6-5 19:28:38

这么吊

波风雨泽 发表于 2015-6-5 19:56:28

运行出错

cuibaowenown2 发表于 2015-6-5 20:45:44

波风雨泽 发表于 2015-6-5 19:56
运行出错

网站是不喜欢爬虫的，所以错误难免，你重新来一次，记得调整初始下载页数

qingchen 发表于 2015-6-6 10:36:41

支持楼主！

jesy 发表于 2015-6-6 11:34:19

来看下啊...................................

spockzhang 发表于 2015-6-6 12:24:09

学习学习

spockzhang 发表于 2015-6-6 12:50:36

学习学习

a649583061 发表于 2015-6-6 23:47:39

看看你

whz1017972240 发表于 2015-6-7 09:28:43

{:1_1:}

狩猎女神 发表于 2015-6-7 13:58:37

hhhhhh

1qsx 发表于 2015-6-7 16:29:12

看看看看

小军军 发表于 2015-6-7 19:46:49

理IP并智能更换IP爬yande.re原图的爬

查看完整版本: 自动抓取代理IP并智能更换IP爬yande.re原图的爬虫(15禁)