论坛 › Python交流 › 一个简单的协程I/O爬虫

Stubborn 发表于 2019-9-22 00:34:41

一个简单的协程I/O爬虫

本帖最后由 Stubborn 于 2019-9-22 16:07 编辑

这个是初步学习，至于在速度上是比线程，和普通的request比较是快还是慢，未测试，嗯嗯，接下来几篇就测试下把，为***网站默哀

**** Hidden Message *****

kaohsing 发表于 2019-9-22 07:23:20

学习一下

kaohsing 发表于 2019-9-22 07:26:00

这不是协程吗？

Stubborn 发表于 2019-9-23 19:43:00

本帖最后由 Stubborn 于 2019-9-23 19:45 编辑

kaohsing 发表于 2019-9-22 07:26
这不是协程吗？

{:10_245:}更正，更正
补充下，这个爬虫，可以并发执行任务，这样改下
async def main():
    await asyncio.gather(
      start_get_url(0,5)，
        start_get_url(5,10)，
        start_get_url(10,15)，
        start_get_url(15,20)，
    )

对应的函数不分需要这样修改
async def start_get_url(left,right):
    """起始的网页响应"""
    for page in range(left,right):

夜的黑a 发表于 2019-9-23 23:50:34

RE: 一个简单的协程I/O爬虫 [修改]

13226652434 发表于 2019-9-24 01:00:16

666666

员理管帅最 发表于 2019-9-24 12:20:23

回复

mini王 发表于 2019-9-26 09:57:51

学习一下

Y0uWill_1Will 发表于 2019-9-27 10:49:33

656156

祥云python 发表于 2019-9-27 11:05:37

学习

tsj520 发表于 2019-9-27 11:10:28

1

caijilimou 发表于 2019-9-27 12:04:16

E

奋斗者4 发表于 2019-9-27 14:19:26

学习中，谢谢

四点好 发表于 2019-11-23 23:07:04

先做记号，回头来看，协程我还是比较迷惘的一块，感觉Python后面要在速度上面上去，只能靠进程加携程

Stubborn 发表于 2019-11-24 01:07:35

四点好 发表于 2019-11-23 23:07
先做记号，回头来看，协程我还是比较迷惘的一块，感觉Python后面要在速度上面上去，只能靠进程加携程

这个是很简单的例子，asyncio aiohttp 前面是python对协程的支持，后面属于异步的网络框架，学习asyncio {:10_256:}

四点好 发表于 2019-11-24 16:03:55

Stubborn 发表于 2019-11-24 01:07
这个是很简单的例子，asyncio aiohttp 前面是python对协程的支持，后面属于异步的网络框架，学习asyncio...

最近花了好几天去了解异步的操作，感觉python的性能提升也只能靠异步了，而且现在来看，
谁的异步完善，谁就得到了天下。

kiyoshi 发表于 2019-11-29 14:27:38

继续继续学习

czfasaoyou 发表于 2019-12-30 10:52:03

学习中

_2_ 发表于 2020-1-1 17:32:36

Stubborn 发表于 2019-9-23 19:43
更正，更正
补充下，这个爬虫，可以并发执行任务，这样改下



居然用到了异步协同函数的概念

流羽星 发表于 2020-1-1 18:07:36

学习下

查看完整版本: 一个简单的协程I/O爬虫