lslslsls12 发表于 2021-3-5 09:37:55

python爬取网站价格信息，并绘图。

1.python开发。

2.主要用到 ：爬取：requests、bs4,   绘图：matplotlib

3.程序逻辑：
                        背景：工作原因，需要网站查询当日生猪价格（对，就是你们吃的那个🐖。。。），并绘制表格，截图，发放到群中。
                       
                        1.登录网站，输入查询地区的关键字。可查询当日价格。
                       
                        2.获取该地区areaId，爬取新Url+areaID,获取年度数据。
                       
                        3.获取json数据。（去年一整年的数据，及今年数据）。
                       
                        4.保存一份json。（以后没准能用上。）

                        5.直接用matplotlib绘制曲线图。

                        6.美化下图片（添加一些标注，水印，调整下字体颜色等等）

                        7.保存图片。



查看网站源代码发现：数据存储在https://... ... goodsId=1&queryPriceVo.areaId=' + areaId + '&queryPriceVo.whatTime=365'中。
                        其中goodsId=1代表商品信息（1=生猪价格，2=玉米价格，3=豆粕价格）
                                areaId = 地区ID
                              whatTime = 查询数据的周期（time=1 当天价格；time=7 一周内价格走势; time=30月度走势； time=365 一年内价格）


                                组合网址后登录。


                                在response中看到了想要的数据。
                                保存到json文件中后。就可以开始绘制。


                                运行效果（添加了很多提示信息。方便封装成exe文件后他人使用。）


                                绘制完成的图片



心得：
        1.有需求去做会有很大的动力。
        2.从完成第一个小功能开始：比如先获取地区ID，再获得Json数据
        3.matplotlib初步接触，查询了好多网上的案例（还是要多多利用搜索功能）
        4.去年夏天加入小甲鱼大家庭学习Python，代码写的比较啰嗦，还有很长路要走，大家多多指正，提出批评。{:10_279:}
        5.第一次发帖。违规见谅。。。。

py文件下载。

小伤口 发表于 2021-3-10 10:19:08

厉害{:5_106:}
放在python交流板块的作品展示
看到的人会多一些
（猜猜俺给你评分了没）{:10_256:}

lslslsls12 发表于 2021-3-16 10:50:43

小伤口 发表于 2021-3-10 10:19
厉害
放在python交流板块的作品展示
看到的人会多一些


{:10_266:} 第一次发。。。感谢
页: [1]
查看完整版本: python爬取网站价格信息，并绘图。