关于Python爬取网页的问题

诸葛·孔明

我之前做了一个爬取煎蛋网的爬虫（小甲鱼教程那个），但是一直不能爬取成功，我一行一行的代码测试，终于找到原因，我爬取下来的源代码与审核元素（或者是检查）的代码不一样，简单来说，我用的QQ浏览器，右键单击有个“检查”选项，我在里面找到了我想要的图片地址，而右键单击有个“检查源代码”选项，然后我发现我在源代码里面找不到那个图片的地址了（我直接爬取首页网址，爬取下来后不仅用find查找了，我还一行一行的查找，结果还是找不到），这两种代码不一样。。。。。这种情况下我要怎么爬取图片呢，源代码里根本就没有

诸葛·孔明

实际上我用小甲鱼的代码也爬取失败（当然，我把代理的一部分代码给删了，没有代理）

农企崛起

考虑js加载。先抓包看图片地址生成规律。实在不行就解析js吧

故梦L

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.support import expected_conditions as EC
   
4. from selenium.webdriver.support.wait import WebDriverWait
   
5. from selenium.common.exceptions import TimeoutException
   
6. import time
   
7. import requests
   
8. import os
   
9. 
   
10. '''屏蔽掉浏览器界面'''
    
11. URL = 'http://jandan.net/ooxx'
    
12. chrome_options = webdriver.ChromeOptions()
    
13. chrome_options.add_argument('--headless')
    
14. browser = webdriver.Chrome(chrome_options = chrome_options)
    
15. wait = WebDriverWait(browser, 10)
    
16. browser.get(URL)
    
17. 
    
18. 
    
19. def next_page():  # 点击下一页
    
20.     button = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'previous-comment-page')))
    
21.     return button
    
22. 
    
23. 
    
24. def cur_page():  # 获取当前页数
    
25.     page = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'current-comment-page')))
    
26.     return page.text
    
27. 
    
28. 
    
29. def parse_html(lyst):
    
30.     """
    
31.     :param img:单个图片链接
    
32.     :param lyst:存储图片链接
    
33.     """
    
34.     imgs_info = browser.find_elements_by_xpath('//*[@id="comments"]/ol/li//p/img')
    
35.     for img in imgs_info:
    
36.         img = img.get_attribute('src')
    
37.         if img[len(img) - 3:] == 'jpg':  # 剔除广告的'.gif'图片
    
38.             lyst.append(img)
    
39. 
    
40. 
    
41. def dowmloader(url):
    
42.     '''图片下载'''
    
43.     try:
    
44.         response = requests.get(url)
    
45.         if response.status_code == 200:
    
46.             return response.content
    
47.         return None
    
48.     except Exception:
    
49.         pass
    
50. 
    
51. 
    
52. def save_img(img_content, num):
    
53.     '''
    
54.     :param img_content:二进制数据
    
55.     :param num:图片保存的次序
    
56.     '''
    
57.     with open(str(num) + '.jpg', 'wb') as f:
    
58.         f.write(img_content)
    
59. 
    
60. 
    
61. def jandan_crawlers(lyst):
    
62.     '''
    
63.     :param FLAG:抓取网页页数
    
64.     '''
    
65.     try:
    
66.         current_page = cur_page()
    
67.         FLAG = int(current_page[1:len(current_page) - 1])
    
68.         while FLAG:
    
69.             print('正在抓取煎蛋网第%d页图片' % FLAG)
    
70.             parse_html(lyst)
    
71.             time.sleep(3)
    
72.             button = next_page()
    
73.             button.click()
    
74.             FLAG -= 1
    
75.             if FLAG == 1:
    
76.                 jandan_crawlers(lyst)
    
77.                 FLAG = False
    
78.         return lyst
    
79.     except TimeoutException:
    
80.         pass
    
81. 
    
82. 
    
83. if __name__ == '__main__':
    
84.     input = input('请输入保存路径:')  
    
85.     os.mkdir(input)
    
86.     os.chdir(input)  # 切换图片的保存路径
    
87.     lyst = []
    
88.     num = 1
    
89.     url_info = jandan_crawlers(lyst)
    
90.     for url in url_info:
    
91.         img_content = dowmloader(url)
    
92.         #print('正在保存图片：' + str(num) + '.jpg')
    
93.         save_img(img_content, num)
    
94.         num += 1
    
95.     print('煎蛋网图片抓取完成')
    
96.     browser.close()
    

复制代码