[已解决]爬虫求助

天圆突破

写爬虫第一次遇到这种情况

1. class DIN:
   
2.     def __init__(self):
   
3.         self.url = 'https://www.din.de/en'
   
4.         self.session = requests.Session()
   
5.         self.headers = {
   
6.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6756.400 QQBrowser/10.3.2473.400',
   
7.             'Host': 'www.din.de',
   
8.         }
   
9.         self.get_url()
   
10. 
    
11.     def get_url(self):
    
12.         with self.session.get(url=self.url, headers=self.headers) as response:
    
13.             soup = BeautifulSoup(response.text, 'lxml')
    
14.         print(soup)
    
15. 
    
16. if __name__ == '__main__':
    
17.     DIN()

复制代码

body是空的，head里面出现【<noscript>Please enable JavaScript to view the page content.<br/>Your support ID is:  9356778754779032908.</noscript>】
但是我抓包并没有发现重定向，并且response是一次返回。难不成整个页面都是用js渲染出来的么？
想了解一下原理，求爬虫大佬帮忙指点一下

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-11-5 17:09:28

怎么说好呢？？  
首先，你并没有获取到真正的网页源代码的原因是。  
当你请求这个网页的时候，它会向你发送一个曲奇（英文，直接发英文会被审核）  
然后再把你重定向到真正的网页。  
注意，这个网页的曲奇是会你的操作变化而变化的
会不断地ajxa后端来更换曲奇。
可以说，反爬措施很强
建议直接用seleium吧
用requests也可以，但是很麻烦。要不断的请求ajxa请求后端来获取曲奇

总的来说，你请求的header不完整

至于你为什么抓包的时候没有发现重定向是因为你的浏览器含有这个网站的曲奇，导致你看不到重定向。  

你可以新建一个隐身窗口，按下F12，然后打开这个网页就可以发现重定向了（网速要慢一点，恰好我在下载东西。才发现的）

跳转到最佳答案楼层

wongyusing

怎么说好呢？？  
首先，你并没有获取到真正的网页源代码的原因是。  
当你请求这个网页的时候，它会向你发送一个曲奇（英文，直接发英文会被审核）  
然后再把你重定向到真正的网页。  
注意，这个网页的曲奇是会你的操作变化而变化的
会不断地ajxa后端来更换曲奇。
可以说，反爬措施很强
建议直接用seleium吧
用requests也可以，但是很麻烦。要不断的请求ajxa请求后端来获取曲奇

总的来说，你请求的header不完整

至于你为什么抓包的时候没有发现重定向是因为你的浏览器含有这个网站的曲奇，导致你看不到重定向。  

你可以新建一个隐身窗口，按下F12，然后打开这个网页就可以发现重定向了（网速要慢一点，恰好我在下载东西。才发现的）

塔利班

感觉是，等大佬解答

天圆突破

1. from selenium import webdriver
   
2. import time
   
3. 
   
4. class DIN:
   
5.     def __init__(self):
   
6.         driver = webdriver.Chrome()
   
7.         driver.get('https://www.din.de/en')
   
8. 
   
9.         elem = driver.page_source
   
10.         time.sleep(20)
    
11.         print(elem)
    
12. 
    
13. if __name__ == '__main__':
    
14.     DIN()

复制代码

好吧，看来确实是JS渲染的整个页面……感觉好可怜，这个网站估计被爬虫整疯了，这么低的渲染效率，看来是完全不在乎用户体验了。
但是这个网站的JS代码完全看不懂啊，而且selenium效率低到令人发指
有什么办法能提高selenium的效率吗？

塔利班

无头禁图片

幽梦三影

天圆突破 发表于 2018-11-5 17:42
好吧，看来确实是JS渲染的整个页面……感觉好可怜，这个网站估计被爬虫整疯了，这么低的渲染效率，看来 ...

scrapy-splash了解一下

考拉熊

过来顶一下

第五

路过