设为首页收藏本站

切换到窄版

鱼C论坛»论坛 › 编程语言专区 › Python交流 › 能分享一下网络爬虫的思路吗？

发新帖

查看: 2654|回复: 2

能分享一下网络爬虫的思路吗？

发表于 2015-2-26 09:45:00 From FishC Mobile | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

能分享一下网络爬虫的思路吗？

小甲鱼最新课程 -> https://ilovefishc.com

回复

使用道具举报

发表于 2015-2-26 10:13:42 | 显示全部楼层

没接触过，看功能的话，应该是一个递归过程，抓取网页中的感兴趣的兴趣，然后继续爬到到这个网页中的其他链接的网页重复以上过程

小甲鱼最新课程 -> https://ilovefishc.com

回复支持反对

使用道具举报

发表于 2015-2-26 10:46:16 | 显示全部楼层

本帖最后由 wing1995 于 2015-2-26 10:48 编辑

之前是因为帮别人下载数据才开始接触python的，现在已经写成功了，只不过还有线程问题没有解决，具体的思路就是，打开网页，在需要的信息那里进行审查元素查看数据是get还是post得来的，然后根据网页源代码利用正则表达式提取想要的内容，‘’‘这里推荐一个网站叫做30分钟入门正则表达式’‘’，然后创建文件，把数据write到文件中，最后完成任务。大概是这样的，当然，由于我这个数据下载使用了1个多小时才下载完，所以目前正在考虑线程方面的问题改善代码，，，，
突然感觉自己好啰嗦，，，，

小甲鱼最新课程 -> https://ilovefishc.com

回复支持反对

使用道具举报

发新帖

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-15 00:11

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表