[已解决]【爬虫】网页的文本被隐藏了？如何爬取？

脑子

爬取的网站：url=http://www.news.cn/politics/

我想爬取其中一部分的新闻：


审查元素：


然后我用以下代码简单爬了一下，获取了html保存在TXT中：

1. #!/usr/bin/env python
   
2. #--*-- coding: utf-8--*--
   
3. import urllib2
   
4. import urllib
   
5. 
   
6. url='http://www.news.cn/politics/'
   
7. req=urllib2.Request(url)
   
8. req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')
   
9. page=urllib2.urlopen(req)
   
10. html=page.read().decode('utf-8')
    
11. f=open('a.txt','wb')
    
12. f.write(html.encode('utf-8'))

复制代码

我发现txt中获取的html并没有我要爬取的部分。


请问我该怎样才能爬取到我需要的这部分内容？

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-2-17 03:00:34

通过selenium模拟浏览器爬取

跳转到最佳答案楼层

°蓝鲤歌蓝

通过selenium模拟浏览器爬取

sunlight070

用selenium自动化模拟浏览器爬取是一个办法，第二个是可以试试用
正则表达式（匹配不到再试试xpath）匹配一下，看能不能找到所需的内容