[已解决]呼叫各位大佬，爬虫，一个网站有一条信息解析不出来

丢丢yhj

http://s.hc360.com/?w=%BB%A5%C1% ... D%AD%CA%A1&af=3
这个是慧聪网的 在解析href中发现这篇的最后一条链接解析不出来
//qs315net.b2b.hc360.com/shop/show.html
我目前用了parser lxml xml 都是缺少这一条的信息 但是在网站上又可以看到
用抓包软件看了，这个网址中没有出现异步加载了

最佳答案

月排行榜 / 总排行榜

新手·ing

2017-10-1 16:48:29

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
   
5. soup = bs(doc, 'html.parser')
   
6. for link in soup.find_all('a'):
   
7.     print(link.get('href'))
   

复制代码

跳转到最佳答案楼层

新手·ing

我倒是弄出来了
就是有点多

新手·ing

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
   
5. soup = bs(doc, 'html.parser')
   
6. for link in soup.find_all('a'):
   
7.     print(link.get('href'))
   

复制代码

丢丢yhj

新手·ing 发表于 2017-10-1 16:48

脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发现又不差了....

新手·ing

丢丢yhj 发表于 2017-10-1 16:56
脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发 ...

脑袋疼