鱼C论坛

 找回密码
 立即注册
查看: 1827|回复: 1

[原创] 每日一爬之爬取自定义车型和价位的汽车(好久没爬了哈哈哈~)

[复制链接]
发表于 2018-3-9 21:10:07 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import requests
  2. import bs4
  3. import re
  4. import openpyxl
  5. def open_url(url):

  6.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
  7.     html = requests.get(url,headers = headers)
  8.     '''
  9.     with open('car.txt','w',encoding = html.encoding)as f:
  10.         f.write(html.text)
  11.     '''
  12.     return [html,url]

  13. def find_data(html):
  14.     soup = bs4.BeautifulSoup(html.text,'html.parser')
  15.     bs4_data = soup.find_all('p',class_='price')
  16.     car_data_list = []
  17.    
  18.     for each in bs4_data:
  19.         car_data_list.append([re.search(r'(.+)报价',each.a['title'].strip()).group(1),re.search(r'(.+)万元',each.text.strip()).group(1)])
  20.         
  21.     return car_data_list
  22. def save_as_excel(data,name):
  23.     wb = openpyxl.Workbook()
  24.     ws = wb.active

  25.     ws['A1'] = '品牌'
  26.     ws['B1'] = '车价'
  27.     for each in data:
  28.         ws.append(each)
  29.     wb.save(name)
  30. def main():
  31.     car = {'2':'小型车','4':'中型车','6':'大型车'}
  32.     url_data1 = input('请输入车型[小型:2,中型:4,大型:6]:')
  33.     url_data2 = input('请输入价位(万元)[n_m]:')
  34.     first_url = 'http://db.auto.sina.com.cn'

  35.     url = first_url + '/list-' + url_data1 + '-0-' + url_data2 + '-0-0-0-0-0-9-0-1.html'
  36.     html = open_url(url)[0]
  37.    
  38.     name = car[url_data1] + url_data2 + '万元价位汇总.xlsx'
  39.     data = find_data(html)
  40.     save_as_excel(data,name)
  41.    
  42. if __name__ == '__main__':
  43.     main()
复制代码
QQ截图20180309210944.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-9-1 15:34:35 | 显示全部楼层
大佬你好,你这个写入xlsx没有数据是什么问题
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-6-8 12:03

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表