python爬取网站价格信息，并绘图。

lslslsls12 · 发表于 2021-3-5 09:37:55

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

1.python开发。

2.主要用到：爬取：requests、bs4, 绘图：matplotlib

3.程序逻辑：
背景：工作原因，需要网站查询当日生猪价格（对，就是你们吃的那个🐖。。。），并绘制表格，截图，发放到群中。

1.登录网站，输入查询地区的关键字。可查询当日价格。

2.获取该地区areaId，爬取新Url+areaID,获取年度数据。

3.获取json数据。（去年一整年的数据，及今年数据）。

4.保存一份json。（以后没准能用上。）

5.直接用matplotlib绘制曲线图。

6.美化下图片（添加一些标注，水印，调整下字体颜色等等）

7.保存图片。

网页源码找到数据信息

查看网站源代码发现：数据存储在 https://... ... goodsId=1&queryPriceVo.areaId=' + areaId + '&queryPriceVo.whatTime=365' 中。
其中goodsId=1代表商品信息（1=生猪价格，2=玉米价格，3=豆粕价格）
areaId = 地区ID
whatTime = 查询数据的周期（time=1 当天价格；time=7 一周内价格走势; time=30 月度走势； time=365 一年内价格）

组合网址后登录。

在response中看到了想要的数据。
保存到json文件中后。就可以开始绘制。

运行效果（添加了很多提示信息。方便封装成exe文件后他人使用。）

绘制完成的图片

心得：
1.有需求去做会有很大的动力。
2.从完成第一个小功能开始：比如先获取地区ID，再获得Json数据
3.matplotlib初步接触，查询了好多网上的案例（还是要多多利用搜索功能）
4.去年夏天加入小甲鱼大家庭学习Python，代码写的比较啰嗦，还有很长路要走，大家多多指正，提出批评。

5.第一次发帖。违规见谅。。。。

py文件下载。

年度数据对比查询绘图.zip (2.6 KB, 下载次数: 11)

小伤口 · 发表于 2021-3-10 10:19:08

厉害

放在python交流板块的作品展示
看到的人会多一些
（猜猜俺给你评分了没）

lslslsls12 · 发表于 2021-3-16 10:50:43

小伤口发表于 2021-3-10 10:19
厉害
放在python交流板块的作品展示
看到的人会多一些

第一次发。。。感谢

账号		自动登录	找回密码
密码			立即注册

[作品展示] python爬取网站价格信息，并绘图。

马上注册，结交更多好友，享用更多功能^_^

评分