鱼C论坛

 找回密码
 立即注册
查看: 2054|回复: 4

如何制造多协程爬虫

[复制链接]
发表于 2020-8-28 13:14:17 | 显示全部楼层 |阅读模式
10鱼币
本帖最后由 风尘岁月 于 2020-8-28 13:16 编辑

最近学习了gevent
想做多协程
可是不知道咋做(做了很多次 都各种异常(其实我不知道咋搞))
代码如下:
  1. from parsel import Selector
  2. from random import randint
  3. from time import time
  4. import os,aiohttp,gevent


  5. headers = {
  6.     'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'

  7. }

  8. if not os.path.exists("image"):
  9.     os.mkdir("image")

  10. class Download(object):

  11.     def mk_url(self,startnum,endnum):
  12.         '''生成url'''
  13.         for _ in range(startnum,endnum+1):
  14.             base_url = 'https://anime-pictures.net/pictures/view_posts/{}?lang=en'.format(_)
  15.             task_list =[]
  16.             task_list.append(base_url)
  17.             return task_list

  18.     async def fetch_html(self,session, url):
  19.        '''请求网页数据'''
  20.        async with session.get(url) as response:
  21.            return await response.text()

  22.     async def fetch_img_data(self,session,url):
  23.         '''请求图片数据'''
  24.         async with session.get(url) as data:
  25.             return await data.read()

  26.     async def parser_data(self,session,html):
  27.         '''处理数据'''
  28.         selector = Selector(html)
  29.         result_list = selector.xpath('//span[@class="img_block_big"]')

  30.         for result in result_list:
  31.             image_url = result.xpath('./a/picture/source/img/@src').extract_first()
  32.             img_url = 'https:' + image_url  # 手动拼url
  33.             content = await self.fetch_img_data(session,img_url)

  34.             id = str(randint(0,99999999999999))
  35.             try:
  36.                 with open('image\\' + id + os.path.splitext(img_url)[1], mode='wb') as f:
  37.                     f.write(content)
  38.                     print('保存完成',id)
  39.             except Exception as e:
  40.                 print(e)

  41.     async def start_save(self,url):
  42.         async with aiohttp.ClientSession(headers=headers) as session:
  43.             html = await self.fetch_html(session, url=url)
  44.             await self.parser_data(session=session, html=html)

  45.     # base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'

  46.     async def download_pictures(self,startnum,endnum):
  47.         for _ in range(startnum,endnum+1):
  48.             url_list = self.mk_url(startnum,endnum)
  49.             for url in url_list:
  50.                 base_url = url
  51.                 await self.start_save(base_url)

  52. '''实例化'''
  53. if __name__ == '__main__':
  54.     print('任务启动中...')
  55.     download = Download()
  56.     s_time = time()
  57.     g1 = gevent.spawn(download.download_pictures,1,2000),
  58.     g2 = gevent.spawn(download.download_pictures, 2001, 4000),
  59.     # g3 = await gevent.spawn(download.download_pictures, 4001, 6000),
  60.     # g4 = await gevent.spawn(download.download_pictures, 6001, 8000),
  61.     gevent.joinall([g1,g2])

  62.     e_time = time()
  63.     print('用时:',e_time - s_time,'秒')


复制代码



改进出多协程就有重赏
谢谢各位鱼油


本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-9-19 07:30:18 | 显示全部楼层
本帖最后由 风尘岁月 于 2020-9-19 09:21 编辑
  1. from parsel import Selector
  2. from random import randint
  3. from time import time
  4. import os,aiohttp,asyncio


  5. headers = {
  6.     'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'

  7. }

  8. path = os.path.dirname(__file__)
  9. path = path + '/image'
  10. if not os.path.exists(path):
  11.     print('检测到没有容器')
  12.     os.mkdir(path)
  13.     print("生成完毕" + path)




  14. class Download(object):

  15.     def mk_url(self,startnum,endnum):
  16.         '''生成url'''
  17.         for _ in range(startnum,endnum+1):
  18.             base_url = 'https://anime-pictures.net/pictures/view_posts/{}?lang=en'.format(_)
  19.             task_list =[]
  20.             task_list.append(base_url)
  21.             return task_list

  22.     async def fetch_html(self,session, url):
  23.        '''请求网页数据'''
  24.        async with session.get(url) as response:
  25.            return await response.text()

  26.     async def fetch_img_data(self,session,url):
  27.         '''请求图片数据'''
  28.         async with session.get(url) as data:
  29.             return await data.read()

  30.     async def parser_data(self,session,html):
  31.         '''处理数据'''
  32.         selector = Selector(html)
  33.         result_list = selector.xpath('//span[@class="img_block_big"]')

  34.         for result in result_list:
  35.             image_url = result.xpath('./a/picture/source/img/@src').extract_first()
  36.             img_url = 'https:' + image_url  # 手动拼url
  37.             content = await self.fetch_img_data(session,img_url)

  38.             id = str(randint(0,99999999999999))
  39.             try:
  40.                 with open(path + '\\' + id + os.path.splitext(img_url)[1], mode='wb') as f:
  41.                     f.write(content)
  42.                     print('保存完成',id)
  43.             except Exception as e:
  44.                 print(e)

  45.     async def start_save(self,url):
  46.         async with aiohttp.ClientSession(headers=headers) as session:
  47.             html = await self.fetch_html(session, url=url)
  48.             await self.parser_data(session=session, html=html)

  49.     # base_url = 'https://anime-pictures.net/pictures/view_posts/0?lang=en'

  50.     async def download_pictures(self,startnum,endnum):
  51.         for page in range(startnum,endnum+1):
  52.             print("######正在下载第{}页数据######".format(page))
  53.             url_list = self.mk_url(startnum,endnum)
  54.             for url in url_list:
  55.                 base_url = url
  56.                 await self.start_save(base_url)

  57. '''实例化'''
  58. if __name__ == '__main__':
  59.     print('任务启动中...')
  60.     download = Download()
  61.     loop = asyncio.get_event_loop()
  62.     s_time = time()
  63.     tasks = [
  64.         asyncio.ensure_future(download.download_pictures(1,2000)),
  65.         asyncio.ensure_future(download.download_pictures(2001,4000)),
  66.         asyncio.ensure_future(download.download_pictures(4001, 6000))
  67.     ]
  68.     loop.run_until_complete(asyncio.gather(*tasks))
  69.     e_time = time()
  70.     print('用时:',e_time - s_time,'秒')


复制代码

评分

参与人数 1荣誉 +2 鱼币 +2 收起 理由
疾风怪盗 + 2 + 2 感谢楼主无私奉献!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-9-18 20:34:51 | 显示全部楼层
这么久过去了 难道就没有大佬能解答了吗
我都自己写好了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-9-18 20:38:45 | 显示全部楼层
风尘岁月 发表于 2020-9-18 20:34
这么久过去了 难道就没有大佬能解答了吗
我都自己写好了

没听过协程,只知道进程、线程
如果你自己写好了,就分享一下代码呗
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-9-19 07:27:59 | 显示全部楼层
疾风怪盗 发表于 2020-9-18 20:38
没听过协程,只知道进程、线程
如果你自己写好了,就分享一下代码呗

好吧
(╯▽╰)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 17:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表