我龙哟 发表于 2020-4-3 17:00:55

大哥们帮忙看看呀，爬取妹子图出现未知bug

本帖最后由 我龙哟 于 2020-4-3 17:06 编辑

使用requests和bs4爬取meizitu
运行结果：将近一半图片未下载成功
再次运行：未下载成功的图片也有可能下载成功
网络连接无问题，直接浏览器访问图片源地址可以访问
求救……
import requests
import os
from bs4 import BeautifulSoup
import re

def openurl(url):
    try:
      headers = {'Host':'www.meizitu.com','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}
      res = requests.get(url,headers=headers)
      res.raise_for_status()
      return res
    except:
      pass

def findimgurl(url):
    res = openurl(url)#print(res.text[:100])
    soup = BeautifulSoup(res.text,"html.parser")
    data = soup.find_all(name='div',attrs={'class':"pic"})
    data2 = []
    for each in data:
      data2.append(each.find_all(name='a',attrs={'target':"_blank"}))
    imgurl = []#print(len(data2))
    for each2 in data2:
      a = re.search(r'src.+jpg',str(each2))#print(a.group(0))
      imgurl.append(a.group(0))
    return imgurl#print(imgurl)

def save(url):
    #print(url)
    try:
      path = url.split('/')[-4]+url.split('/')[-3]+url.split('/')[-2]+url.split('/')[-1]         
      if not os.path.exists(path):
            print(path)
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}
            img = requests.get(url,headers=headers,timeout=30)
            print('状态码为'+str(img.status_code)+'，准备下载...')   
            with open(path,"wb") as f:
                f.write(img.content)
                f.close()
                print("保存成功\n")
      else:
            print(path)
            print("文件已存在\n")
    except:
      print("保存出现异常\n")
   
def main():
    i = input('下载页数：')
    floder = 'meizitu_limg'#设置图片存储文件夹
    if not os.path.exists(floder):
      os.mkdir(floder)
      print('\n文件夹'+ floder +'创建完成 ...\n')
    os.chdir(floder)
    for x in range(1,int(i)+1):
      print('\n第'+ str(x) +'页，准备就绪，开始下载 ...\n\n')
      root = '第'+ str(x) +'页'
      if not os.path.exists(root):
            os.mkdir(root)
            print('\n文件夹'+ root +'创建完成 ...\n')
      os.chdir(root)
      url = 'https://www.meizitu.com/a/list_1_'+str(x)+'.html'#第一页https://www.meizitu.com/a/list_1_1.html
      imgurl = findimgurl(url)#print(imgurl)
      print('第'+ str(x) +'页，共查询到'+str(len(imgurl))+'张图片，正在下载中 ...\n\n')
      for eachurl in imgurl:
            save(eachurl)
      print('\n第'+ str(x) +'页图片全部下载完成喽 lalala\n\n')
      os.chdir('..')
      
if __name__ == "__main__":
    main()


球球大哥们了，帮忙看看
个人感觉不是timeout的问题，30秒够久了

下面是三种情况输出界面：

2016a0742limg.jpg
状态码为200，准备下载...
保存成功

2016a0741limg.jpg
保存出现异常

2016a0740limg.jpg
文件已存在

老八秘制 发表于 2020-4-3 17:53:14

本帖最后由 老八秘制 于 2020-4-4 07:48 编辑

看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

dlnb526 发表于 2020-4-3 18:25:20

因为有部分图片能爬成功，初步推测是因为服务器限制频率
你试试time sleep()设一个图片爬取的间隔时间

乘号 发表于 2020-4-3 20:45:14

老八秘制 发表于 2020-4-3 17:53
看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

链接真隐蔽

Stubborn 发表于 2020-4-3 22:54:36

目前妹子图的反扒，包括，请求头的来源Refer参数，IP请求速度。就这俩，报错你别全try了，你知道是因为什么原因才好排查

老八秘制 发表于 2020-4-4 07:48:12

乘号 发表于 2020-4-3 20:45
链接真隐蔽

蓝的不明显么，那我改一下吧

Pythonnewers 发表于 2020-4-4 10:23:28

老八秘制 发表于 2020-4-3 17:53
看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

我缺的是技术吗，不是网站
页: [1]
查看完整版本: 大哥们帮忙看看呀，爬取妹子图出现未知bug