爬爬月饼销量，并数据可视化

1556134029

后端功能部分

1. from selenium import webdriver
   
2. import  time
   
3. import csv
   
4. '''搜索商品功能'''
   
5. def get_product(key):
   
6.     driver.find_element_by_css_selector('#key').send_keys(key)
   
7.     driver.find_element_by_css_selector('.button').click()
   
8.     #进入一个页面(加载耗时)
   
9.     driver.implicitly_wait(10)  #隐式等待
   
10.     driver.maximize_window()  # 浏览器最大化
    
11. 
    
12. '''模拟鼠标滚轮，加载数据'''
    
13. def drop_down():
    
14.     for x in range(1,11,2):
    
15.         time.sleep(0.5)
    
16.         j = x/10
    
17.         js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' %j
    
18.         driver.execute_script(js)
    
19. 
    
20. '''解析商品数据'''
    
21. def parse_product():
    
22.     lis = driver.find_elements_by_css_selector('.gl-item')
    
23. 
    
24.     for li in lis:
    
25.         try:
    
26.             name = li.find_element_by_css_selector('div.p-name a em').text  #商品名称
    
27.             price = li.find_element_by_css_selector('div.p-price strong i').text + '元' #商品价钱
    
28.             deal = li.find_element_by_css_selector('div.p-commit strong a').text  #评论数
    
29.             title = li.find_element_by_css_selector('span.J_im_icon a').text  #店铺名称
    
30.             print(name,price,deal,title)
    
31.             with open('data.csv',mode='a',encoding='utf-8',newline='') as f:
    
32.                 csv_write = csv.writer(f)
    
33.                 csv_write.writerow([name,price,deal,title])
    
34.         except Exception as e:
    
35.             print(e)
    
36. 
    
37. '''获取下一页内容'''
    
38. def get_next():
    
39.     driver.find_element_by_css_selector('#J_bottomPage > span.p-num > a.pn-next > em').click()
    
40.     driver.implicitly_wait(15)
    
41. 
    
42. 
    
43. 
    
44. 
    
45. 
    
46. keyword = input('请输入您想要的商品：')
    
47. driver = webdriver.Chrome()
    
48. driver.get('https://www.jd.com')
    
49. get_product(keyword)
    
50. for page in range(3):
    
51.     drop_down()
    
52.     parse_product()
    
53.     get_next()

复制代码

可视化部分(这部分用的是pyecharts，在官网上有模板，都是照着模板拔下来的，这块我也没学)

1. import re
   
2. import pandas as pd
   
3. import pyecharts.options as opts
   
4. from pyecharts.charts import Scatter
   
5. 
   
6. 
   
7. def func(x):
   
8.     if re.search('万', x):
   
9.         return float(x.replace('万', '')) * 10000
   
10.     else:
    
11.         return float(x)
    
12. 
    
13. 
    
14. data_df = pd.read_csv(r'data.csv', names=['名称', '价格', '销量', '店铺'])
    
15. 
    
16. data_df['价格'] = data_df['价格'].str.replace('元', '').astype('float')
    
17. data_df['销量'] = data_df['销量'].str.replace('+', '')
    
18. data_df['销量'] = data_df['销量'].apply(func)
    
19. 
    
20. x_data = list(data_df['价格'])
    
21. print(x_data)
    
22. y_data = list(data_df['销量'])
    
23. print(y_data)
    
24. (
    
25.     Scatter(init_opts=opts.InitOpts(width="1600px", height="1000px"))
    
26.         .add_xaxis(xaxis_data=x_data)
    
27.         .add_yaxis(
    
28.         series_name="销量",
    
29.         y_axis=y_data,
    
30.         symbol_size=20,
    
31.         label_opts=opts.LabelOpts(is_show=False),
    
32.     )
    
33.         .set_series_opts()
    
34.         .set_global_opts(
    
35.         xaxis_opts=opts.AxisOpts(
    
36.             name='价格',
    
37.             type_="value", splitline_opts=opts.SplitLineOpts(is_show=True)
    
38.         ),
    
39.         yaxis_opts=opts.AxisOpts(
    
40.             name='销量',
    
41.             type_="value",
    
42.             axistick_opts=opts.AxisTickOpts(is_show=True),
    
43.             splitline_opts=opts.SplitLineOpts(is_show=True),
    
44.         ),
    
45.         tooltip_opts=opts.TooltipOpts(is_show=False),
    
46.     )
    
47.         .render("月饼价格-销量散点图.html")
    
48. )
    
49. 
    
50. print('散点图制作完成, 请在当前目录下打开html文件')
    

复制代码

代码哪里不好的地方请大佬们指点

叙白

大佬

1556134029

叙白 发表于 2020-10-4 22:11
大佬

谢谢大佬来捧场

v.ki

向大佬学习

昨非

捧场

wzdr

好不好 ，我也看不懂 。

一抹心尘

这还要指点吗？这已经够秀了.

hornwong

感谢分享~

whinper

不完美小孩

1

心驰神往

膜拜

我是小蜜蜂

这些代码，我一个都不认识，膜拜