Python初级爬虫（利用多任务协程爬取虎牙MM图片）

wy1018651314

1. # coding = utf-8
   
2. import re
   
3. import gevent
   
4. from gevent import monkey, pool
   
5. import time, random
   
6. import urllib.request
   
7. 
   
8. monkey.patch_all()
   
9. 
   
10. 
    
11. def downloader_img(img_url, img_name):
    
12.     """下载图片"""
    
13.     req = urllib.request.urlopen(img_url)
    
14.     img_content = req.read()
    
15.     # 下载图片保存
    
16.     with open(r"/home/python/Desktop/01_Python基础/day03/正则表达式/photo/mm%s" % img_name, "wb") as f:
    
17.         f.write(img_content)
    
18.         time.sleep(random.random())
    
19. 
    
20. 
    
21. def main():
    
22.     p1 = pool.Pool(10)  # 加入协程
    
23.     # 读取文件
    
24.     locals_addr = r"/home/python/Desktop/01_Python基础/day03/正则表达式/1.txt"
    
25.     url_txt = open(locals_addr, "r", encoding=" utf-8")
    
26.     url_content = url_txt.read()
    
27.     jpg_lists = re.findall(r"https://.*?\.jpg", url_content)  # 正则匹配网页的有效地址
    
28.     num = 0
    
29.     list1 = []  # 定义一个列表用来存网址
    
30.     # 遍历图片列表
    
31.     for j in jpg_lists:
    
32.         list1.append(gevent.spawn(downloader_img, j, "%d.jpg" % num))
    
33.         num += 1
    
34.     gevent.joinall(list1)
    
35. 
    
36. 
    
37. if __name__ == '__main__':
    
38.     main()
    
39. 
    

复制代码

# coding = utf-8
import re
import gevent
from gevent import monkey, pool
import time, random
import urllib.request

monkey.patch_all()


def downloader_img(img_url, img_name):
    """下载图片"""
    req = urllib.request.urlopen(img_url)
    img_content = req.read()
    # 下载图片保存
    with open(r"/home/python/Desktop/01_Python基础/day03/正则表达式/photo/mm%s" % img_name, "wb") as f:
        f.write(img_content)
        time.sleep(random.random())


def main():
    p1 = pool.Pool(10)  # 加入协程
    # 读取文件
    locals_addr = r"/home/python/Desktop/01_Python基础/day03/正则表达式/1.txt"
    url_txt = open(locals_addr, "r", encoding=" utf-8")
    url_content = url_txt.read()
    jpg_lists = re.findall(r"https://.*?\.jpg", url_content)  # 正则匹配网页的有效地址
    num = 0
    list1 = []  # 定义一个列表用来存网址
    # 遍历图片列表
    for j in jpg_lists:
        list1.append(gevent.spawn(downloader_img, j, "%d.jpg" % num))
        num += 1
    gevent.joinall(list1)


if __name__ == '__main__':
    main()
我们需要用一个txt文本保存网页源代码，然后读取里面的数据。

要学习

协程 一般不是用 这两个库吗？》
import aiohttp
import asyncio

怎么你的 只是多线程？