selenium中查找具体标签值的问题

江湖散人

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.firefox.options import Options
   
3. from selenium.webdriver.support.select import Select
   
4. from lxml import etree
   
5. import time
   
6. 
   
7. opt = Options()
   
8. opt.add_argument("--headless")
   
9. opt.add_argument("--disable-gpu")
   
10. 
    
11. web = Firefox(options=opt)
    
12. web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")
    
13. ele = web.find_element_by_xpath('//*[@id="OptionDate"]')
    
14. sel = Select(ele)
    
15. for i in range(len(sel.options)):
    
16.     op = sel.select_by_index(i)
    
17.     time.sleep(2)
    
18.     table = web.find_element_by_xpath('//*[@id="TableList"]/table')
    
19. 
    
20.     tree = etree.HTML(table.text)
    
21.     th = tree.xpath("//thead/text()")
    
22.     trs = tree.xpath("//tbody/tr")
    
23.     print(th)
    
24.     for tr in trs:
    
25.         td = tr.xpath("//td/text()")
    
26.         print(td)
    
27.         print("==========================================")
    
28. print("运行结束！")
    
29. web.close()

复制代码

这个程序是查找电影年度排行榜的，
要打印出每年电影排名的标头以及每个电影的排名，名称，类型等等。
但是我这个打印出来的都是空列表。
哪位前辈帮忙看一下啊，谢谢啊

suchocolate

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.firefox.options import Options
   
3. from selenium.webdriver.support.select import Select
   
4. from lxml import etree
   
5. import time
   
6. 
   
7. opt = Options()
   
8. opt.add_argument("--headless")
   
9. opt.add_argument("--disable-gpu")
   
10. web = Firefox(options=opt)
    
11. web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")
    
12. time.sleep(10)
    
13. trs = web.find_elements_by_xpath('//tr')
    
14. movies = dict()
    
15. for tr in trs[1:]:
    
16.     rank, name, info = tr.text.split('\n')
    
17.     m_type, box, ticket, people, country, time = info.split(' ')
    
18.     movies[rank] = [name, m_type, box, ticket, people, country, time]
    
19. print(movies)

复制代码

江湖散人

suchocolate 发表于 2021-9-2 11:00

谢谢你啊，不过可能是我没说清楚，我的意思是，在我得到table这个标签后，想把table里的东西拆分出来。
这个我不会操作。还请前辈多多指教！
还有就是得到的table.text我能打印出来，结果不是让我很满意，我想挑出几个我想要的信息打印。用lxml来解析，得出的都是空的，不知道是什么原因？

suchocolate

江湖散人 发表于 2021-9-2 13:40
谢谢你啊，不过可能是我没说清楚，我的意思是，在我得到table这个标签后，想把table里的东西拆分出来。
...

1. from selenium.webdriver import Firefox
   
2. from selenium.webdriver.firefox.options import Options
   
3. from selenium.webdriver.support.select import Select
   
4. from lxml import etree
   
5. import time
   
6. 
   
7. opt = Options()
   
8. opt.add_argument("--headless")
   
9. opt.add_argument("--disable-gpu")
   
10. web = Firefox(options=opt)
    
11. web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")
    
12. time.sleep(10)
    
13. trs = web.find_elements_by_xpath('//tr')
    
14. movies = dict()
    
15. # table = trs[0] # table是列名，其数目和数据行有差别，自己决定如何处理。
    
16. for tr in trs[1:]:
    
17.     txt = tr.get_attribute("outerHTML")  # element.text获取节点的文本不包含html tag，element.get_attribute("outerHTML")获取本节点和子节点码源，element.get_attribute("innerHTML")获取子节点码源。
    
18.     html = etree.HTML(txt)
    
19.     rank = html.xpath('//tr/td[1]/text()')[0]
    
20.     name = html.xpath('//tr/td[2]/a/p/text()')[0]
    
21.     m_type = html.xpath('//tr/td[3]/text()')[0]
    
22.     box = html.xpath('//tr/td[4]/text()')[0]
    
23.     ticket = html.xpath('//tr/td[5]/text()')[0]
    
24.     people = html.xpath('//tr/td[6]/text()')[0]
    
25.     country = html.xpath('//tr/td[7]/text()')[0]
    
26.     time = html.xpath('//tr/td[8]/text()')[0]
    
27.     movies[rank] = [name, m_type, box, ticket, people, country, time]
    
28. print(movies)
    
29. 
    

复制代码

个人觉得这个案例用lxml获取不高效，建议直接用我的第一种代码获取数据。