爬虫相关--不懂就问

嗷呜呜呜

想问下大家,在用selenium对动态页面进行爬取时,整个页面内容是放在子Frame里面的,页面打开子Frame爬到数据后,点击<下一页>的按钮也存放在子Frame里
如果想要爬取下一页的数据
①我需要在第一页先点击<下一页>按钮再返回父Frame然后在进行下一页的爬取;
②也就是我需要每爬一页都返回下一页的父Frame,再从下一页的父Frame中提取子Frame进行数据的提取;
③还是直接在子Frame点击<下一页>按钮之后等待页面自动跳转;
以网易云评论为例,下面代码只爬到第一页评论,已验证len(iframe)=1,
错误提示:iframe无法被点击,主要错误信息在open_page(url)函数中
想问下大家,如果下一页按钮也存放在子iframe中,怎么进行下一页评论内容的爬取

1. from lxml import etree
   
2. import time
   
3. import random
   
4. from selenium import webdriver
   
5. from selenium.webdriver.support.ui import WebDriverWait
   
6. from selenium.webdriver.common.by import By
   
7. from selenium.webdriver.support import expected_conditions as EC
   
8. # from selenium.common.exceptions import NoSuchElementException
   
9. 
   
10. 
    
11. #####driver.switch_to_default_content()每次切换iframe返回父iframe
    
12. 
    
13. all_contents = []
    
14. 
    
15. def open_page(url):#打开页面
    
16.     browser = webdriver.Chrome()
    
17.     browser.get(url)
    
18.     times = [0.8,1,1.2,1.3,1.5,0.9,0.5]
    
19.     # browser.switch_to.frame('g_iframe')
    
20.     for i in range(5):#五页数据
    
21.         browser.switch_to.frame('g_iframe')#按照iframe中id的值来确定选取的iframe
    
22.         text = browser.page_source
    
23.         html = etree.HTML(text)
    
24.         parse_page(html)
    
25.         time.sleep(random.choice(times))
    
26.         # browser.switch_to.parent_frame()
    
27.         # time.sleep(0.5)
    
28.         button = browser.find_element_by_xpath("//div[@class='m-cmmt']/div[last()]/div/a[last()]")
    
29.         time.sleep(random.choice(times))
    
30.         button.click()
    
31.         wait = WebDriverWait(browser,10).until(EC.presence_of_all_elements_located((By.ID,"g_iframe")))
    
32. 
    
33. def parse_page(html):#爬取详情
    
34.     divs = html.xpath("//div[@class='cmmts j-flag']/div")
    
35.     names = []
    
36.     contents = []
    
37.     response_names = []
    
38.     response_contents = []
    
39.     for div in divs:
    
40.         name = div.xpath(".//div[@class='cnt f-brk']/a/text()")[0]
    
41.         names.append(name)
    
42.         content = div.xpath(".//div[@class='cnt f-brk']/text()")
    
43.         content = "".join(content)
    
44.         content = content.replace("\xa0", "").strip()
    
45.         contents.append(content[1:])
    
46.         response_name = div.xpath(".//div[@class='que f-brk f-pr s-fc3']/a[@class='s-fc7']/text()")
    
47.         if response_name == []:
    
48.             response_name.append("无回复者")
    
49.         response_name = "".join(response_name)
    
50.         response_content = div.xpath(".//div[@class='que f-brk f-pr s-fc3']/text()")
    
51.         if response_content == []:
    
52.             response_content.append("无回复内容")
    
53.             response_content = "".join(response_content)
    
54.         else:
    
55.             response_content = "".join(response_content)
    
56.             response_content = response_content[1:]
    
57.         response_contents.append(response_content)
    
58.         response_names.append(response_name)
    
59.     all_content = list(zip(names,contents,response_names,response_contents))
    
60.     for each_content in all_content:
    
61.         names, contents, response_names, response_contents=each_content
    
62.         contentses = {
    
63.             "用户名":names,
    
64.             "评论内容":contents,
    
65.             "被回复用户":response_names,
    
66.             "被回复评论":response_contents
    
67.         }
    
68.         all_contents.append(contentses)
    
69.     for each in all_contents:
    
70.         print(each, end="\n")
    
71. 
    
72. def main():
    
73.     url = "https://music.163.com/#/playlist?id=2703033645"
    
74.     open_page(url)
    
75.     for each in all_contents:
    
76.         print(each,end = "\n")
    
77. 
    
78. if __name__ == '__main__':
    
79.     main()

复制代码

cwhsmile

目测是你睡眠时间设置的太短，网页还没有加载出来你就点击了操作，导致找不到相对应的元素，建议设置等待时间3秒以上。

上一句话是瞎蒙的，因为我并没有仔细看你的代码