爬虫selenium find问题

zkamsk

使用selenium抓取网页

1. items=doc('#J_goodsList .gl-warp .gl-item').items()
   
2.     for each in items:
   
3.         product={
   
4.             'title':each.find('.p-name em').text()
   
5.         }
   
6.         print(product)

复制代码

以上代码返回值一直是{'title': ''}为空，可是我把html复制成文件在idle中实验时可以正确返回，这是为什么？很苦恼啊


以下是整个程序的源代码

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support.ui import WebDriverWait
   
4. from selenium.webdriver.support import expected_conditions as EC
   
5. from selenium.common.exceptions import TimeoutException
   
6. from pyquery import PyQuery as pq
   
7. browser=webdriver.Chrome()
   
8. wait=WebDriverWait(browser, 20)
   
9. def search():
   
10.     browser.get('https://www.jd.com/')
    
11.     try:
    
12.         input = wait.until(
    
13.             EC.presence_of_element_located((By.CSS_SELECTOR, "#key"))
    
14.         )
    
15.         submit=wait.until(
    
16.             EC.element_to_be_clickable((By.CSS_SELECTOR, "#search > div > div.form > button"))
    
17.         )
    
18.         input.send_keys('美食')
    
19.         submit.click()
    
20.         total = wait.until(
    
21.             EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > em:nth-child(1) > b')))
    
22.         prase_page()
    
23.     except TimeoutException:
    
24.         search()
    
25. 
    
26. def next_page(page_number):
    
27.     next=wait.until(
    
28.         EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_topPage > a.fp-next"))
    
29.         )
    
30.     next.click()
    
31.     wait.until(EC.text_to_be_present_in_element(
    
32.         (By.CSS_SELECTOR, '#J_topPage > span > b'), str(page_number)))
    
33.     prase_page()
    
34. def prase_page():
    
35.     wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#J_goodsList .gl-warp .gl-item')))
    
36.     html=browser.page_source
    
37.     doc=pq(html)
    
38.     items=doc('#J_goodsList .gl-warp .gl-item').items()
    
39.     for each in items:
    
40.         product={
    
41.             'title':each.find('.p-name em').text()
    
42.         }
    
43.         print(product)
    
44. 
    
45. def next_2_page(page_number):
    
46.     try:
    
47.         input = wait.until(
    
48.             EC.presence_of_element_located((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > input"))
    
49.         )
    
50.         submit = wait.until(
    
51.             EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_bottomPage > span.p-skip > a"))
    
52.         )
    
53.         input.clear()
    
54.         input.send_keys(page_number)
    
55.         submit.click()
    
56.         wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.curr'),str(page_number)))
    
57.     except TimeoutException:
    
58.         return next_2_page(page_number)
    
59. def main():
    
60.     search()
    
61.     for each in range(2,5):
    
62.         next_page(each)
    
63. 
    
64. 
    
65. if __name__=='__main__':
    
66.     main()

复制代码

ba21

1.     for each in items:
   
2.         product={
   
3.             'title':each.find('.p-name em').text()
   
4.         }
   
5.         print(product['title'])

复制代码

zkamsk

ba21 发表于 2017-8-3 13:28

不是这个，是我用selenium的find定位p-name的子元素em，想要提取它标签的内容each.find('.p-name em').text()可是返回为空，但是当我把整个HTML保存成文件，在IDLE里面实验的时候each.find('.p-name em').text()是可以正确返回的，我不知道这是为什么

新手·ing

@32269100 数字哥懂这个

zkamsk

新手·ing 发表于 2017-8-3 14:28
@32269100 数字哥懂这个

怎么@他。。@32269100

新手·ing

zkamsk 发表于 2017-8-3 14:37
怎么@他。。@32269100

@32269100

小锟

我用火狐，运行了三次都可以

zkamsk

小锟 发表于 2017-8-3 18:48
我用火狐，运行了三次都可以

那我也换火狐试试

32269100

不好意思，看晚了，解决了吗？

zkamsk

32269100 发表于 2017-8-5 15:19
不好意思，看晚了，解决了吗？

解决了。谢谢