爬取房天下装修图片保存本地

wcq15759797758

谢谢大捞们捧场

1. from time import sleep
   
2. import requests,json
   
3. from lxml import etree
   
4. import os
   
5. 
   
6. def processing(strs):
   
7.     s = ''  # 定义保存内容的字符串
   
8.     for n in strs:
   
9.         n = ''.join(n.split())  # 去除空字符
   
10.         s = s + n  # 拼接字符串
    
11.     return s      # 返回拼接后的字符串
    
12. 
    
13. def run(url):
    
14.     try:
    
15.         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36',
    
16.                 'HOST': 'home.fang.com'}
    
17.         response = requests.get(url=url,headers=headers)
    
18.         if response.status_code == 200:
    
19.             html = etree.HTML(response.text)
    
20.             div_list = html.xpath('//div[@class="photo_list"]/ul/li')
    
21.             for div in div_list:
    
22.                 item = {}
    
23.                 names = div.xpath('./ol/p/a/text()')
    
24.                 name = processing(names)
    
25.                 item['name'] = name
    
26.                 hrefs = div.xpath('./ol/p/a/@href')
    
27.                 href = 'https://home.fang.com' + processing(hrefs)
    
28.                 item['href'] = href
    
29.                 TP(img_url=href,headers=headers)
    
30.                 sleep(5)
    
31.     except:
    
32.         return None
    
33. 
    
34. def TP(img_url,headers):
    
35.     print('下载装修效果图中' + img_url)
    
36.     img_response = requests.get(url=img_url,headers=headers)
    
37.     img_html = etree.HTML(img_response.text)
    
38.     li_list = img_html.xpath('//div[@id="BoxUl"]/ul//li')
    
39.     for li in li_list:
    
40.         img_pngs = li.xpath('./span/img/@src|./span/img/@src2')
    
41.         img_png = processing(img_pngs)
    
42.         img_names = li.xpath('./input/@value')
    
43.         img_name = processing(img_names) + '.jpg'
    
44.         try:
    
45.             headers1 = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'}
    
46.             response_img = requests.get(url=img_png,headers=headers1)
    
47.             if not os.path.exists(img_name):
    
48.                 with open(img_name,'wb') as f:
    
49.                     f.write(response_img.content)
    
50.                     sleep(0.5)
    
51.         except requests.ConnectionError:
    
52.             print('保存失败！')
    
53. 
    
54. if __name__ == '__main__':
    
55.     for page in range(1,2):
    
56.         url = f'https://home.fang.com/album/s24/{page}/'
    
57.         print('正在分析:' + url)
    
58.         run(url=url)
    
59.         sleep(5)

复制代码

wcq15759797758

自己爬的时候 加了代理IP

超级玛尼哄

学习学习，顺便领个币

wp231957

静态爬大体上都一样，有空玩一玩动态爬，反反爬

鸬鹚鸟

6666

菜鸡10086

冲冲冲

hornwong

感谢分享！

wcq15759797758

wp231957 发表于 2021-7-29 06:45
静态爬大体上都一样，有空玩一玩动态爬，反反爬

好得

OD_lrean

学习还可以领币？？

枫叶向上_

学习！

懒狗李

fxj2002

sxztry

反反爬还在学习中

犬来猫荒

11

aironeng

学习一下