[已解决]python爬取网页时报对象没有属性但是网页中有此元素

moyk

1.网站：http://cp.zgzcw.com/lottery/jchtplayvsForJsp.action?lotteryId=48&type=jcmini&issue=2019-03-06
2.代码：
import re
import bs4
import requests
#读取网页
http="http://cp.zgzcw.com/lottery/jchtplayvsForJsp.action?lotteryId=48&type=jcmini&issue=2019-03-06"
visit = requests.get(http)
parser = bs4.BeautifulSoup(visit.text, "html.parser")
#主队Home team

def Visiting_team():
targets = parser.find_all("td",class_="wh-6 t-l")
for each in targets:
print(each.a.text)
return

#输出
Visiting_team()

最佳答案

月排行榜 / 总排行榜

1239890175

2019-4-8 14:19:58

1. import re
   
2. import bs4
   
3. import requests
   
4. 
   
5. 
   
6. def Visiting_team(parser):
   
7.         targets = parser.find_all("td", attrs={'class':"wh-6 t-l"})
   
8.         for each in targets:
   
9.                 print(each.a.text)
   
10. 
    
11.         #读取网页
    
12. http="http://cp.zgzcw.com/lottery/jchtplayvsForJsp.action?lotteryId=48&type=jcmini&issue=2019-03-06"
    
13. visit = requests.get(http)
    
14. parser = bs4.BeautifulSoup(visit.text, "lxml")
    
15. #主队Home team
    
16. 
    
17. 
    
18. #输出
    
19. Visiting_team(parser)

复制代码

主要的问题

跳转到最佳答案楼层

wongyusing

这是js渲染出来的元素，用不了bs4

mongoole

看看网页源代码里面有没有

moyk

mongoole 发表于 2019-4-3 19:04
看看网页源代码里面有没有

网页源代码里有，但是代码里爬不出来

moyk

wongyusing 发表于 2019-4-3 18:39
这是js渲染出来的元素，用不了bs4

请大神指导下，我该怎么写啊

efeng8411676

我也在爬类似的数据，同问

moyk

efeng8411676 发表于 2019-4-8 11:56
我也在爬类似的数据，同问

幸会幸会

1239890175

1. import re
   
2. import bs4
   
3. import requests
   
4. 
   
5. 
   
6. def Visiting_team(parser):
   
7.         targets = parser.find_all("td", attrs={'class':"wh-6 t-l"})
   
8.         for each in targets:
   
9.                 print(each.a.text)
   
10. 
    
11.         #读取网页
    
12. http="http://cp.zgzcw.com/lottery/jchtplayvsForJsp.action?lotteryId=48&type=jcmini&issue=2019-03-06"
    
13. visit = requests.get(http)
    
14. parser = bs4.BeautifulSoup(visit.text, "lxml")
    
15. #主队Home team
    
16. 
    
17. 
    
18. #输出
    
19. Visiting_team(parser)

复制代码

主要的问题

mongoole

你需要的是图示的内容吧：
我对bs4不是太熟悉。。。这些数据可以用xpath拿出来的
希望对你有用。
部分代码：

1. #coding:utf-8
   
2. 
   
3. import requests
   
4. from lxml import etree
   
5. 
   
6. url = 'http://cp.zgzcw.com/lottery/jchtplayvsForJsp.action?lotteryId=48&type=jcmini&issue=2019-03-06'
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)'}
   
9. 
   
10. html = requests.get(url, headers=headers).text
    
11. selector = etree.HTML(html)
    
12. 
    
13. number = selector.xpath('//*[@id="hide_box_1"]/tbody/tr/td[1]/a/i/text()')
    
14. 
    
15. competition = selector.xpath('//*[@id="hide_box_1"]/tbody/tr/td[2]/span/text()')
    
16. 
    
17. score = selector.xpath('//*[@id="hide_box_1"]/tbody/tr/td[3]/span[1]/text()')
    
18. 
    
19. print(number,competition,score)

复制代码

wongyusing

moyk 发表于 2019-4-8 11:23
请大神指导下，我该怎么写啊

我看错了，擦。
你用bs4的select方法来select tbody标签就行了。
也可以用pandas直接获取

moyk

mongoole 发表于 2019-4-8 14:21
你需要的是图示的内容吧：
我对bs4不是太熟悉。。。这些数据可以用xpath拿出来的
希望对你有用。

非常感谢，但是我没学过这lxml解析数据

moyk

1239890175 发表于 2019-4-8 14:19
主要的问题

parser = bs4.BeautifulSoup(visit.text, "lxml") "lxml"是什么意思啊

1239890175

moyk 发表于 2019-4-8 16:09
parser = bs4.BeautifulSoup(visit.text, "lxml") "lxml"是什么意思啊

解析方式，详情直接百度