重拾爬虫-基础爬虫

snail:)

1. import requests
   
2. import re
   
3. from bs4 import BeautifulSoup as soup
   
4. import openpyxl
   
5. def request_url(url,headers):
   
6. 
   
7.     html = requests.get(url,headers=headers).text
   
8. 
   
9.     html = soup(html,'html.parser')
   
10. 
    
11.         return html
    
12.    
    
13. 
    
14. def get_data(html):
    
15.     data_all = html.find_all('div',class_= 'listX')
    
16.     list = []
    
17.     for each in data_all:
    
18.         list1 = []
    
19.         for i in each.find_all('p'):
    
20.             cop = i.text
    
21.             for n in cop.split(sep = '·'):
    
22.                 list1.append(n)
    
23.         list.append(list1)
    
24.         return list
    
25. 
    
26. def save_as_excel(data, name):
    
27.     wb = openpyxl.Workbook()
    
28.     ws = wb.active
    
29. 
    
30.     ws['A1'] = '户型'
    
31.     ws['B1'] = '面积'
    
32.     ws['C1'] = '朝向'
    
33.     ws['D1'] = '楼层'
    
34.     ws['E1'] = '装修'
    
35.     ws['F1'] = '地址'
    
36.     ws['G1'] = '关注人数'
    
37.     ws['H1'] = '近期带看'
    
38.     ws['I1'] = '发布时间'
    
39.     ws['J1'] = '总价'
    
40.     ws['K1'] = '单价'
    
41.        
    
42.     for each in data:
    
43.         ws.append(each)
    
44.     wb.save(name)
    
45. 
    
46. def main():
    
47.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
48.     url_1 = input('输入你要搜索的杭州区的名字请输入拼音（例如 西湖区：xihuqu）：')
    
49.         url_2 = input('选择你喜欢的房价的范围（例如：100~200）：')
    
50.         url_3 = input('选择你喜欢的房子的面积大小m2（例如：100~200）：')
    
51.         url_4 = input('选择你的户型（例如 n居室：n,6居室及以上输入9）：')
    
52.     url = 'https://hz.5i5j.com/ershoufang/' +url_1+ '/'+'b'+url_3.split('~')[0]+'e'+url_3.split('~')[1]+'h'+url_3.split('~')[1]+'l'+url_3.split('~')[0]+'/'
    
53.         html = request_url(url,headers)
    
54.         data = get_data(html)
    
55.         name = url_1 + url_2 +'平方'+url_3 + '万元' + url_4 + '居室'+'二手房信息.xlsx'
    
56.         save_as_excel(data, name)
    
57.         print('查询信息已保存！')
    
58. if __name__ == '__main__':
    
59.     main()
    
60.        
    
61.        
    
62.        

复制代码

snail:)

最后main()里面的代码缩进有点问题，复制过来就这样了，伸手党需要自己改改了哦