新手，爬虫入门作品展示，爬取国内标准、规范

snaker · 发表于 2019-1-28 08:54:14

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 snaker 于 2019-3-4 09:15 编辑

因为工作需要经常需要找一下国内标准、规范等，就写了一个查询国内标准、规范并打开浏览器下载的爬虫
需要用到的库有requests、webbrowser（调用浏览器进行下载）、lxml（xpath）

登录/注册后可看大图

源码如下：

游客，如果您要查看本帖隐藏内容请回复

PS：
1、这个网站比较蛋疼的是搜索到以后还需要两个页面才能找到下载地址；

2019年3月4日更新
1、由于之前写的为考虑模糊搜索，只能爬取一页数据，更新可以爬取多页数据；
2、之前写的爬虫直接爬取到下载链接后再输出显示--选择下载，而爬取到下载连接还需要打开两个页面才能得到，极大浪费资源。更新后选择需要下载的规范，再去爬取下载链接；
3、优化模糊搜索时多页数据会显示多页，输入&+数字进行跳转页面；
4、这个爬虫写完后发现，完全无用，直接打开网址----搜索-----下载就行了，但既然写了，就写个完整的，就当学习和巩固了；

登录/注册后可看大图

c调小白 · 发表于 2019-1-28 09:35:18

爬国家？

木_海_木 · 发表于 2019-1-28 10:27:39

牛逼

snaker · 发表于 2019-1-28 10:56:36

c调小白发表于 2019-1-28 09:35
爬国家？

其实是爬标准，规范

gobaketohome · 发表于 2019-1-29 20:59:18

原来是爬国标文件乍一看标题以为是写爬虫也有国标

szhai1969 · 发表于 2019-1-29 21:07:41

谢谢分享

szhai1969 · 发表于 2019-1-29 21:35:11

一直都不会选择器,都是用取文本中间..

..最近刚学python ,,正则表达式.什么选择器,完全懵逼

搜索 -> 遍历结果-> 取出来页面ID->输入序号 ->http://www.bzmfxz.com/Common/ShowDownloadUrl.aspx?urlid=0&id=页面ID->获取下载地址->不知道能用requests 下载不,返回字节集然后写到文件

感觉获取到搜索结果,然后对所有结果进行遍历过去下载,有点浪费资源了..

snaker · 发表于 2019-3-4 08:42:33

szhai1969 发表于 2019-1-29 21:35
一直都不会选择器,都是用取文本中间..
..最近刚学python ,,正则表达式.什么选择器,完全 ...

是浪费资源了，后续更新已经修改了
后来发现写这个爬虫完全无用，打开网址--搜索--下载，完全不需要爬虫，就当学习和巩固一下吧。

xz739 · 发表于 2019-7-31 14:05:34

感谢分享

henji · 发表于 2019-8-8 14:22:02

学习学习，正好工作中需要

whalewang · 发表于 2019-11-20 14:08:14

ShawHsing · 发表于 2019-11-26 17:17:09

正在做类似项目，正好参考。谢谢楼主。

forgivemewolf · 发表于 2019-12-12 17:54:06

看看

ywj206 · 发表于 2019-12-21 17:18:52

谢谢楼主

流羽星 · 发表于 2019-12-23 19:21:03

看看

人生_苦短 · 发表于 2019-12-23 21:00:28

这个用的到

WZ191153025 · 发表于 2020-6-9 09:04:17

爬的什么网站啊

xiaoxuan13 · 发表于 2020-6-10 21:57:39

henhao

wzqaxx · 发表于 2020-6-11 11:36:08

学习

hgw0019 · 发表于 2020-7-2 11:23:15

感谢分享！！！！！

账号		自动登录	找回密码
密码			立即注册

[技术交流] 新手，爬虫入门作品展示，爬取国内标准、规范

马上注册，结交更多好友，享用更多功能^_^