一个简单的协程I/O爬虫

Stubborn · 发表于 2019-9-22 00:34:41

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 Stubborn 于 2019-9-22 16:07 编辑

这个是初步学习，至于在速度上是比线程，和普通的request比较是快还是慢，未测试，嗯嗯，接下来几篇就测试下把，为***网站默哀

游客，如果您要查看本帖隐藏内容请回复

kaohsing · 发表于 2019-9-22 07:23:20

学习一下

kaohsing · 发表于 2019-9-22 07:26:00

这不是协程吗？

Stubborn · 发表于 2019-9-23 19:43:00

本帖最后由 Stubborn 于 2019-9-23 19:45 编辑

kaohsing 发表于 2019-9-22 07:26
这不是协程吗？

更正，更正
补充下，这个爬虫，可以并发执行任务，这样改下

async def main():
    await asyncio.gather(
        start_get_url(0,5)，
        start_get_url(5,10)，
        start_get_url(10,15)，
        start_get_url(15,20)，
    )

对应的函数不分需要这样修改

async def start_get_url(left,right):
    """起始的网页响应"""
    for page in range(left,right):

夜的黑a · 发表于 2019-9-23 23:50:34

RE: 一个简单的协程I/O爬虫 [修改]

13226652434 · 发表于 2019-9-24 01:00:16

666666

员理管帅最 · 发表于 2019-9-24 12:20:23

mini王 · 发表于 2019-9-26 09:57:51

学习一下

Y0uWill_1Will · 发表于 2019-9-27 10:49:33

656156

祥云python · 发表于 2019-9-27 11:05:37

学习

tsj520 · 发表于 2019-9-27 11:10:28

caijilimou · 发表于 2019-9-27 12:04:16

奋斗者4 · 发表于 2019-9-27 14:19:26

学习中，谢谢

四点好 · 发表于 2019-11-23 23:07:04

先做记号，回头来看，协程我还是比较迷惘的一块，感觉Python后面要在速度上面上去，只能靠进程加携程

Stubborn · 发表于 2019-11-24 01:07:35

四点好发表于 2019-11-23 23:07
先做记号，回头来看，协程我还是比较迷惘的一块，感觉Python后面要在速度上面上去，只能靠进程加携程

这个是很简单的例子，asyncio aiohttp 前面是python对协程的支持，后面属于异步的网络框架，学习asyncio

四点好 · 发表于 2019-11-24 16:03:55

Stubborn 发表于 2019-11-24 01:07
这个是很简单的例子，asyncio aiohttp 前面是python对协程的支持，后面属于异步的网络框架，学习asyncio ...

最近花了好几天去了解异步的操作，感觉python的性能提升也只能靠异步了，而且现在来看，
谁的异步完善，谁就得到了天下。

kiyoshi · 发表于 2019-11-29 14:27:38

继续继续学习

czfasaoyou · 发表于 2019-12-30 10:52:03

学习中

_2_ · 发表于 2020-1-1 17:32:36

Stubborn 发表于 2019-9-23 19:43
更正，更正
补充下，这个爬虫，可以并发执行任务，这样改下

居然用到了异步协同函数的概念

流羽星 · 发表于 2020-1-1 18:07:36

学习下

账号		自动登录	找回密码
密码			立即注册

[作品展示] 一个简单的协程I/O爬虫

马上注册，结交更多好友，享用更多功能^_^

评分

本帖被以下淘专辑推荐: