用python爬图片时候遇到的一些问题（附代码可测试）

opm

我是一个刚刚接触python一个月不到的菜鸟，在B站看小甲鱼的视频，学到了很多，但是老是会遇到一些问题，怎么也想不明白，需要人点透一下，所以来论坛发帖求助，希望大家多多指教，一起进步。

前些天写了一个爬图片的爬虫，但是遇见2个问题，想了很久也想不明白。
1. 图片基本上能抓，但是总是会混入很多“加载中”的灰色图片，在反馈的信息中又得知是已读取出来的图片地址，浏览器访问地址可以正常打开和访问，为什么python下载之后却变成了加载中的小灰图。
搜索了一些资料，表示这关系到JS动态，需要考虑到Jason的相关情况，但是我就卡在这个点上，不明白应该怎么去处理。
因为我的理解：访问的Status Code: 200，这不是代表网速很好访问很快吗？为什么python访问却还是加载不出来呢？还需要用到js？而且一些图的大小只有几十KB，但是依然抓到的是加载图，其他有几百KB的却能够正常抓取。

2.我的正则表达式是http\S.*jpg——意思是下要http开头jpg结尾，中间可以是任意字符但是不要空格的url地址，但是图片抓到109张的时候，总是会抓到一些中间带空格的，然后程序就会报错，我不太明白这里是为什么。

希望路过的大神们帮我解答一下

1. import urllib.request   #引入网站请求模块 request
   
2. import os               #引入文件管理模块
   
3. import random
   
4. import re
   
5. 
   
6. houzhui = random.randint(10000,100000)
   
7. wenjianjia = '爬虫'+str(houzhui)
   
8. print('新建了一个文件夹，名字是：'+wenjianjia)
   
9. def download_mm(folder = wenjianjia):
   
10.         os.mkdir(folder)  #创建文件夹
    
11.         os.chdir(folder)
    
12. 
    
13. if __name__== '__main__':
    
14.     download_mm()
    
15. 
    
16. def url_open(url):      #自定义一个方法url_open()
    
17.     req = urllib.request.Request(url)       #方法为请求一个url链接将他赋值给rep
    
18.     req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36")
    
19.                         #给rep加上一个浏览器header伪装成人为访问
    
20.     response=urllib.request.urlopen(url)
    
21.                         #将这个网站基本页面抓取
    
22.     html=response.read()
    
23.                         #从文件指针所在的位置，读到文件结尾
    
24.     print('================')          #打印出网址
    
25.     print('读取到的网址是：'+url)
    
26.     print('================')
    
27.     return html
    
28. 
    
29. 
    
30.    
    
31. def find_imgs(url):     #定义了一个方法
    
32.     html=url_open(url).decode("utf-8")    # 将网页打开变成utf-8编码并赋值给html
    
33.     img_addrs=[]        #定义img_addrs是一个列表
    
34.     text=str(html)
    
35.     m=re.findall("http\S.*jpg",text)
    
36.     img_addrs=m
    
37.     return img_addrs
    
38. 
    
39. print('请输入你要爬图的网页')
    
40. temp=input()
    
41. if temp=="":
    
42.     temp='http://www.budejie.com/'
    
43. url=str(temp)
    
44. 
    
45. img_addrs=find_imgs(url)
    
46. total = len(img_addrs)
    
47. 
    
48. print('当前网址是：'+url)
    
49. print('当前图片总数一共是： '+str(total)+' 张')
    
50. print(img_addrs)
    
51. print('===========')
    
52. print('  分割线 ')
    
53. print('===========')
    
54. 
    
55. num1 = 0
    
56. for x in img_addrs:
    
57.     page_url = str(x)  #得到要爬取的页面的链接
    
58.     print('获得的图片网址是：'+page_url)
    
59.     num1 = num1+1            #记录这里的步骤，顺便给图片命名
    
60.     filename = 'catch' + str(num1)+'.jpg'
    
61.     img = url_open(page_url)
    
62.     with open(filename,"wb")as f:
    
63.         print('正在爬取图片，当前爬取第'+str(num1)+'张...')
    
64. 
    
65.         f.write(img)
    
66.         print('爬取成功！')
    
67. 
    
68. 
    

复制代码

opm

希望有大神路过可以顺手帮我解答一下，感激不尽！

geen

今天我也遇到了类似的问题，返回的状态码是200，但是内容为空。