[已解决]呼叫各位大佬，爬虫，一个网站有一条信息解析不出来

丢丢yhj

http://s.hc360.com/?w=%BB%A5%C1% ... D%AD%CA%A1&af=3
这个是慧聪网的 在解析href中发现这篇的最后一条链接解析不出来
//qs315net.b2b.hc360.com/shop/show.html
我目前用了parser lxml xml 都是缺少这一条的信息 但是在网站上又可以看到
用抓包软件看了，这个网址中没有出现异步加载了

最佳答案

月排行榜 / 总排行榜

新手·ing

2017-10-1 16:48:29

import requests
from bs4 import BeautifulSoup as bs

doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
soup = bs(doc, 'html.parser')
for link in soup.find_all('a'):
    print(link.get('href'))

跳转到最佳答案楼层

新手·ing

我倒是弄出来了
就是有点多

新手·ing

import requests
from bs4 import BeautifulSoup as bs

doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
soup = bs(doc, 'html.parser')
for link in soup.find_all('a'):
    print(link.get('href'))

丢丢yhj

新手·ing 发表于 2017-10-1 16:48

脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发现又不差了....

新手·ing

丢丢yhj 发表于 2017-10-1 16:56
脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发 ...

脑袋疼