每日一爬（不定期更新，嘿嘿嘿~）练手系列

snail:)

爬取2017年房价排行榜数据：

1. import requests
   
2. import bs4
   
3. import re
   
4. import openpyxl
   
5. def open_url(url):
   
6.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
   
7.     html = requests.get(url,headers = headers)
   
8.     #print(html.encoding)   
   
9.     encoding = html.encoding
   
10.     return html
    
11. 
    
12. def get_data(html):
    
13.     soup = bs4.BeautifulSoup(html.text,'html.parser')
    
14.     #print(soup.find_all('li',class_=re.compile('^clearfix.+')))
    
15.     mylist = []
    
16.     for each in soup.find_all('li',class_=re.compile('^clearfix.+')):
    
17.         mylist.append(each.text.strip().split('\n'))
    
18.     new_mylist = []
    
19.     for each_list in mylist:
    
20.         each_list[0] = re.search(r'2017年(.+)房价',each_list[0]).group(1)
    
21.         new_mylist.append(each_list)
    
22.     return new_mylist
    
23. 
    
24. def save_as_excel(mylist):
    
25.     wb = openpyxl.Workbook()
    
26.     ws = wb.active
    
27. 
    
28.     ws['A1'] = '地区'
    
29.     ws['B1'] = '房价'
    
30.     ws['C1'] = '同比'
    
31. 
    
32.     for each in mylist:
    
33.         ws.append(each)
    
34. 
    
35.     wb.save('2017全国房价排行.xlsx')
    
36. 
    
37. def main():
    
38.     url = 'https://www.anjuke.com/fangjia/quanguo2017/'
    
39.     html = open_url(url)
    
40.     mylist = get_data(html)
    
41.     save_as_excel(mylist)
    
42. 
    
43. if __name__ == '__main__':
    
44.     main()
    

复制代码

小甲鱼

可以可以~~

qiuyouzhi

可不可以不用bs4？

snail:)

小甲鱼 发表于 2018-3-2 16:20
可以可以~~

谢谢坛主，继续努力

snail:)

qiuyouzhi 发表于 2018-3-2 20:13
可不可以不用bs4？

可以的，你直接用正则也行，bs4就是重新把网络的框架梳理出来，便于分析