爬虫下载下来的图片怎么变成二维码，但是链接可以用浏览器查看。用python下载就成了

caiheng2019

这是代码

1. import urllib.request
   
2. import re
   
3. import os
   
4. import random
   
5. import time[img][/img]
   
6. 
   
7. #url='http://www.umei.cc/meinvtupian/meinvxiezhen/198202.htm'
   
8. headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
   
9. ,'referer':'https://www.mm131.net/xinggan/2330_3.html','accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'
   
10. ,'authority':'www.mm131.net','path':'/xinggan/2330_4.html','accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'}
    
11. #url='http://www.umei.cc/meinvtupian/meinvxiezhen/198202_3.htm'[float=left][/float]
    
12. #for i in rang(2,10)
    
13. os.chdir('img')
    
14. 
    
15. for i in range(2,4):
    
16.         number=i
    
17.         url='https://www.mm131.net/xinggan/2330_'+str(number)+'.html'
    
18.         html=urllib.request.Request(url,None,headers)
    
19.         #html.add_header('user-agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','referer','https://www.mm131.net/xinggan/2330_3.html')
    
20.         img_html=urllib.request.urlopen(html).read().decode(encoding='UTF-8',errors='ignore')
    
21.         
    
22.         p=r'src="(https://img1.mm131.me/pic/2330/.*\.jpg)'
    
23.         img_html1=re.findall(p,img_html)
    
24.         print(img_html1)
    
25.         for each in img_html1:
    
26.                 print(each)
    
27.                 file_name=each.split('/')[-1]
    
28.                 urllib.request.urlretrieve(each.replace(' ','%20'),file_name)

复制代码

下载的图片     图片添加不了     是不是被反扒机制弄了，用python下载的图片都是一张二维码

害怕型全嘲豪

<a href='198202_2.htm'><img alt="可爱美丽俏佳人丰满白嫩卧室小清新唯美写真" alt="" src="http://i1.whymtj.com/uploads/tu/201907/9999/da86dadc50.jpg" /></a></p>
你要拿这个里面的 src

害怕型全嘲豪

而且图片保存 ， 要用二进制写入

caiheng2019

害怕型全嘲豪 发表于 2019-8-1 10:04
而且图片保存 ， 要用二进制写入

我想在就试试

caiheng2019

害怕型全嘲豪 发表于 2019-8-1 10:04
而且图片保存 ， 要用二进制写入

大哥    用urllib.request.urlretrieve()这个函数怎么用二进制写入额  不懂

害怕型全嘲豪

caiheng2019 发表于 2019-8-3 15:52
大哥    用urllib.request.urlretrieve()这个函数怎么用二进制写入额  不懂

不推荐用urllib模块 , 推荐使用requests 模块 , requests的话 , res = requests.get()  res.connect 就是二进制内容
写入的话 可以用 with open(xxx.jpg,"wb") as f 的方式写入

傻纸

这个问题就厉害了，有些网站有一个防盗链的，在headers里面用到一个 Referer，告诉服务器从哪个链接过来的，所以在代码上加上Referer就可以了。。我这边只是测试过加Referer和不加

1. import urllib.request
   
2. import re
   
3. import random
   
4. import time
   
5. import sys
   
6. import os
   
7. 
   
8. 
   
9. headers={
   
10.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    
11.     'Referer':'https://www.mm131.net/xinggan/',
    
12.     }
    
13. 
    
14. os.makedirs("./img/")
    
15. os.chdir("./img")
    
16. 
    
17. for i in range(2,10):
    
18.     number=i
    
19.     url='https://www.mm131.net/xinggan/5074_'+str(number)+'.html'
    
20.     html=urllib.request.Request(url=url,headers=headers)
    
21.     img_html=urllib.request.urlopen(html).read().decode('gbk')
    
22.     #print(img_html)
    
23.     p=r'src="(https://img1.mm131.me/pic/5074/.*\.jpg)'
    
24.     img_html1=re.findall(p,img_html)
    
25.     for each in img_html1:
    
26.         print(each)
    
27.         '''
    
28.         file_name=each.split('/')[-1]
    
29.         urllib.request.urlretrieve(each,file_name)
    
30.         '''
    
31.         file_name=each.split('/')[-1]
    
32.         req=urllib.request.Request(url=each,headers=headers)
    
33. 
    
34.         response=urllib.request.urlopen(req)
    
35.         
    
36.         img1=response.read()
    
37.         with open(file_name,"wb") as f:
    
38.             f.write(img1)
    
39.         

复制代码

这个代码测试是对的