异步协程爬取彼岸图库的爬虫可以运行但是没图片被爬下来

麒麟永生

# coding=gbk
import aiohttp
from lxml import etree
import asyncio
import os
#使用异步协程的方式爬彼岸图库的图片
#在同目录下创建文件夹
if not os.path.exists('./bian'):
    os.mkdir('./bian')
#指定ua

#输入相关参数
yema = input('请输入要爬取的页码：')
leixiang = input('请输入详情页类型：（拼音方式）')
#url与名字存取列表
danye_url = []
shuju_ye_url = []
mz = []
#该函数完成对主页的爬取以及解析出单页的url
async def zhuye(yanma,leixiang):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.62 Safari/537.36"
    }
    url = 'http://pic.netbian.com/4k' + leixiang+'/index_'+yanma+'.html'
    async with aiohttp.ClientSession() as session:
        async with await session.get(url=url,headers=headers) as zongye:
            zongye_yuanma = await zongye.text()
            shili_1 = etree.HTML(zongye_yuanma)
            shuli = shili_1.xpath('//div[@id="main"]/div[3]/ul/li')
            for li in shuli:
                danyeurl = 'http://pic.netbian.com' + li.xpath('./a/@href')[0]
                danye_url.append(danyeurl)
                print(danyeurl)
#该函数完成对单页的请求与解析出高清图片的url与图片名字
async def danye(danye_url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.62 Safari/537.36"
    }
    for i in danye_url:
        async with aiohttp.ClientSession() as danyeqingqiu:
            async with await danyeqingqiu.get(url=i,headers=headers) as danye_qq:
                danye_sj = await danye_qq.text()
                shuju = etree.HTML(danye_sj)
                shuju_1 = 'http://pic.netbian.com' + shuju.xpath('//div[@class="photo_pic"]//img/@src')[0]
                shuju_ye_url.append(shuju_1)
                print(shuju_ye_url)
                mingzi = shuju.xpath('//div[@class="photo_pic"]//img/@alt')[0]
                mz = mz.encode('iso-8859-1').decode('gbk')
                mz.append(mingzi)
                print(mz)
#该函数完成对高清页的请求以及持久化储存
async def shuju(shuju_ye_url,mz):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.62 Safari/537.36"
    }
    for c in shuju_ye_url:
        async with aiohttp.ClientSession() as shujuye:
            async with await shujuye.get(url=c,headers=headers) as shuju_xz:
                shu = await shuju_xz.read()
                for m in mz:
                    name ='/bian'+ str(m) + '.jpg'
                    with open(name, 'wb') as op:
                        op.write(shu)
                    print(m + '打印成功')
#print(danye_url)
#print(shuju_ye_url)
#print(mz)

#创建TACK列表
tack = [asyncio.ensure_future(zhuye(yema,leixiang)),
        asyncio.ensure_future(danye(danye_url)),
        asyncio.ensure_future(shuju(shuju_ye_url,mz))]
#创建事件循环并将任务列表加入到事件循环中
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tack))

bonst

你可以debug一下，看看问题在哪里，这个是一个很好用的方法

YunGuo

改一下试试。

1. import aiohttp
   
2. from lxml import etree
   
3. import asyncio
   
4. import os
   
5. 
   
6. 
   
7. async def get_page(url, session):
   
8.     async with session.get(url, headers=header) as response:
   
9.         return await response.text(encoding='gbk')
   
10. 
    
11. 
    
12. async def get_img_list(page, type_):
    
13.     img_page_urls = []
    
14.     url = 'http://pic.netbian.com/4k' + type_ + '/index_'+ page + '.html'
    
15.     async with aiohttp.ClientSession() as session:
    
16.         html = await get_page(url, session)
    
17.         sel = etree.HTML(html)
    
18.         imgs = sel.xpath('//div[@id="main"]/div[3]/ul/li')
    
19.         for img in imgs:
    
20.             img_page_url = 'http://pic.netbian.com' + img.xpath('./a/@href')[0]
    
21.             img_page_urls.append(img_page_url)
    
22.     return img_page_urls
    
23. 
    
24. 
    
25. async def get_img(urls):
    
26.     img_infos = []
    
27.     for url in urls:
    
28.         async with aiohttp.ClientSession() as session:
    
29.             html = await get_page(url, session)
    
30.             sel = etree.HTML(html)
    
31.             img_info = {
    
32.                 'img_url': 'http://pic.netbian.com' + sel.xpath('//*[@id="img"]/img/@src')[0],
    
33.                 'title': sel.xpath('//*[@id="img"]/img/@alt')[0]
    
34.             }
    
35.             img_infos.append(img_info)
    
36.     return img_infos
    
37. 
    
38. 
    
39. async def save_img(infos):
    
40.     for info in infos:
    
41.         url = info.get('img_url')
    
42.         title = info.get('title')
    
43.         async with aiohttp.ClientSession() as session:
    
44.             async with session.get(url, headers=header) as response:
    
45.                 img = await response.read()
    
46.                 name = 'bian/' + str(title) + '.jpg'
    
47.                 with open(name, 'wb') as f:
    
48.                     f.write(img)
    
49. 
    
50. 
    
51. async def main():
    
52.     page = input('请输入要爬取的页码：')
    
53.     type_ = input('请输入详情页类型：（拼音方式）')
    
54.     track1 = asyncio.ensure_future(get_img_list(page, type_))
    
55.     urls = await asyncio.gather(track1)
    
56.     track2 = asyncio.ensure_future(get_img(urls[0]))
    
57.     infos = await asyncio.gather(track2)
    
58.     track3 = asyncio.ensure_future(save_img(infos[0]))
    
59.     await asyncio.gather(track3)
    
60. 
    
61. 
    
62. if __name__ == '__main__':
    
63.     if not os.path.exists('./bian'):
    
64.         os.mkdir('./bian')
    
65.     header = {
    
66.         "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
    
67.                       "(KHTML, like Gecko) Chrome/81.0.4044.62 Safari/537.36"
    
68.     }
    
69.     loop = asyncio.get_event_loop()
    
70.     loop.run_until_complete(main())
    

复制代码

麒麟永生

YunGuo 发表于 2020-12-22 00:57
改一下试试。

还是不行，一秒结束，什么都没趴下来