淘宝爬取问题

fytfytf

1. import requests
   
2. import re
   
3. 
   
4. def open_url(keyword):
   
5.     item={'q':keyword,'sort':'sale-desc'}
   
6.     url='https://s.taobao.com/search'
   
7.     head={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
   
8.     'referer':'https://s.taobao.com/search?q=%E8%8B%B9%E6%9E%9C&sort=sale-desc'}
   
9.     res=requests.get(url,params=item)
   
10.     return res
    
11. def main():
    
12.     keyword=input('请输入搜索关键词')
    
13.     res=open_url(keyword)
    
14.     with open('taobao.txt','w',encoding='utf-8') as f:
    
15.         f.write(res.text)
    
16.    
    
17. if __name__=='__main__':
    
18.     main()
    

复制代码

想从淘宝爬数据，但是不管输入什么爬到的都是同一堆数据，是要把登录数据也输进去吗，求解

v.ki

显然淘宝加入了反爬措施，你的请求被拦截了

fytfytf

v.ki 发表于 2020-7-25 17:14
显然淘宝加入了反爬措施，你的请求被拦截了

有解决的办法吗

温木zou

在python交流这个版块搜淘宝  有人发了爬淘宝的代码的帖子 你可以去参考下