[已解决]问个爬虫问题

basketmn

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. url='https://www.qiushibaike.com/video/'
   
5. headers={'User-Agent':
   
6.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'
   
7. }
   
8. response=requests.get(url=url,headers=headers)
   
9. result=etree.HTML(response.text)
   
10. #tupian=re.findall(r'<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',response.text,re.S)
    
11. tupian=result.xpath('//video[@controls="controls"]/source/@src')
    
12. print(tupian)
    
13. for img_tupian in tupian:
    
14.         video_url='https:'+img_tupian
    
15.         shipin=requests.get(url=video_url,headers=headers)
    
16.         print(shipin)
    
17.         with open('.\','wb') as f:
    
18.                 f.write(shipin.content)
    

复制代码

各位大佬，这个被反爬了，返回response [200]，怎么解决

最佳答案

月排行榜 / 总排行榜

2012277033

2021-8-9 14:18:52

没被反扒啊，response[200]，表示请求正常，200是状态码，你这个代码就是open那里有点问题，可以改成

1. with open('./'+img_tupian.split('/')[-1],'wb')

复制代码

跳转到最佳答案楼层

2012277033

没被反扒啊，response[200]，表示请求正常，200是状态码，你这个代码就是open那里有点问题，可以改成

1. with open('./'+img_tupian.split('/')[-1],'wb')

复制代码

basketmn

2012277033 发表于 2021-8-9 14:18
没被反扒啊，response[200]，表示请求正常，200是状态码，你这个代码就是open那里有点问题，可以改成

路径没学好啊，要把文件存储再好好看看。
我改了一下还是没东西啊！

basketmn

2012277033 发表于 2021-8-9 14:18
没被反扒啊，response[200]，表示请求正常，200是状态码，你这个代码就是open那里有点问题，可以改成

谢谢大佬！好了

2012277033

basketmn 发表于 2021-8-9 14:31
路径没学好啊，要把文件存储再好好看看。
我改了一下还是没东西啊！

我这边跑下来正常的，看下你的文件夹是否有写入权限吧

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. url='https://www.qiushibaike.com/video/'
   
5. headers={'User-Agent':
   
6.         'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'
   
7. }
   
8. response=requests.get(url=url,headers=headers)
   
9. result=etree.HTML(response.text)
   
10. #tupian=re.findall(r'<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',response.text,re.S)
    
11. tupian=result.xpath('//video[@controls="controls"]/source/@src')
    
12. print(tupian)
    
13. for img_tupian in tupian:
    
14.         video_url='https:'+img_tupian
    
15.         shipin=requests.get(url=video_url,headers=headers)
    
16.         print(shipin)
    
17.         with open('./'+img_tupian.split('/')[-1],'wb') as f:
    
18.                 f.write(shipin.content)
    

复制代码

大马强

你代码没问题，保存路径原因

1. url = 'https://www.qiushibaike.com/video/'
   
2. headers = {'User-Agent':
   
3.            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'
   
4.            }
   
5. response = requests.get(url=url, headers=headers)
   
6. result = etree.HTML(response.text)
   
7. #tupian=re.findall(r'<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',response.text,re.S)
   
8. tupian = result.xpath('//video[@controls="controls"]/source/@src')
   
9. print(tupian)
   
10. for img_tupian in tupian:
    
11.     video_url = 'https:'+img_tupian
    
12.     shipin = requests.get(url=video_url, headers=headers)
    
13.     file_name = img_tupian.split("/")[-1]
    
14.     with open(f"./video/{file_name}", 'wb') as f:
    
15.         f.write(shipin.content)
    
16.         print(f"{file_name} 下载完毕！")
    

复制代码

大马强

                               
登录/注册后可看大图