爬取百度图片里边姐姐的照片——坂井泉水

Chysial

这是直接使用的，还有只爬取地址存入数据库mongdb和PhantomJS版本，后边因为配置文件太多就不放出来了。
先上代码，再上成果！

1. rom selenium import webdriver
   
2. import time
   
3. import json
   
4. import re
   
5. import random
   
6. from selenium.webdriver.common.by import By
   
7. from selenium.webdriver.common.keys import Keys
   
8. from selenium.webdriver.support import expected_conditions as EC
   
9. from selenium.webdriver.support.wait import WebDriverWait
   
10. from selenium.common.exceptions import TimeoutException, NoSuchElementException
    
11. from pyquery import PyQuery as pq
    
12. import os,os.path
    
13. import urllib.request
    
14. 
    
15. #配置模拟器
    
16. chrome_driver = r'C:\Users\Chysial\AppData\Local\Google\Chrome\Application\chromedriver.exe'
    
17. browser = webdriver.Chrome(chrome_driver)
    
18. wait = WebDriverWait(browser,10)
    
19. browser.get('https://www.baidu.com/')
    
20. 
    
21. #cookie模拟登陆，get一般运行一次就行，我因为调试后边把它注释了
    
22. def get_cookies(browser):
    
23.     #cookies没有时限方法，一种方法直接在里面把expiry改成int，另一种就是输出时候改写然后写入文件不然就需要修改了
    
24.     time.sleep(50)
    
25.     with open('C:\\Users\\Chysial\\Desktop\\cookies.txt','w') as cookief:
    
26.         cookief.write(json.dumps(browser.get_cookies()))
    
27.     browser.close()
    
28. 
    
29. def open_chrome(browser):
    
30.     browser.delete_all_cookies()
    
31.     with open('C:\\Users\\Chysial\\Desktop\\cookies.txt') as cookief:
    
32.         cookieslist = json.load(cookief)
    
33.         for cookies in cookieslist:
    
34.             browser.add_cookie(cookies)
    
35. #从主页面baidu一步一步爬到图片里去
    
36. def search():
    
37.     try:
    
38.         input = wait.until(
    
39.             EC.presence_of_element_located((By.CSS_SELECTOR ,'#kw'))
    
40.         )
    
41.         submit = wait.until(
    
42.             EC.presence_of_element_located((By.CSS_SELECTOR ,'#su'))
    
43.         )
    
44.         input.send_keys("百度图片")
    
45.         submit.click()
    
46.         wait.until(
    
47.             EC.presence_of_element_located((By.CSS_SELECTOR, '#page > a.n'))
    
48.         )
    
49.         html = browser.page_source
    
50.         doc = pq(html)
    
51.         items = doc('#1 .t a')
    
52.         links = []
    
53.         for each in items.items():
    
54.             links.append(each.attr('href'))
    
55.         links[0]
    
56.         browser.get(links[0])
    
57.         input = wait.until(
    
58.             EC.presence_of_element_located((By.CSS_SELECTOR ,'#kw'))
    
59.         )
    
60.         input.send_keys("坂井泉水")
    
61.         input.send_keys(Keys.ENTER)
    
62.         wait.until(
    
63.             EC.presence_of_element_located((By.CSS_SELECTOR, '.imgpage .imglist .imgitem'))
    
64.         )
    
65.         
    
66.     except TimeoutException:
    
67.         print("youcuom")
    
68.     return get_products()
    
69. 
    
70. #获取姐姐图片的地址
    
71. def get_products():
    
72.         wait.until(
    
73.             EC.presence_of_element_located((By.CSS_SELECTOR, '.imgpage .imglist .imgitem'))
    
74.         )
    
75.         html = browser.page_source
    
76.         doc = pq(html)
    
77.         items = doc('.imgpage .imglist .imgitem').items()
    
78.         i = 0
    
79.         product = {}
    
80.         for each in items:
    
81.             i += 1
    
82.             product[ 'picture'+str(i)] = each.attr('data-objurl')
    
83.             if i==3:
    
84.                 break
    
85.         return product
    
86. 
    
87. #下载与保存
    
88. def download_picture(folder='坂井泉水姐姐'):
    
89.     os.chdir("C:\\Users\\Chysial\\Desktop")
    
90.     os.mkdir(folder)
    
91.     os.chdir(folder)
    
92.     each = search()
    
93.     for i in each:
    
94.         req = urllib.request.Request(each[i])
    
95.         response = urllib.request.urlopen(req)
    
96.         img = response.read()
    
97.         with open(i+'.jpg','wb') as f:
    
98.             f.write(img)
    
99.    
    
100.    
     
101. def main():
     
102.     # 运行一次就行了，我这里就不重复了get_cookies(browser)
     
103.     open_chrome(browser)
     
104.     browser.refresh()
     
105.     each = search()
     
106.     download_picture(folder='坂井泉水姐姐')
     
107. 
     
108.    
     
109. if __name__ == '__main__':
     
110.     main()

复制代码

Chysial

内存小，电脑 就先爬几个意思一下