异步爬取小说信息

_谪仙

异步抓取
代码地址: https://github.com/Crowded-Conditions/Crawlers/tree/master/Novel-qidian

1. import aiohttp
   
2. import asyncio
   
3. from aiohttp.client_exceptions import ClientConnectorError, ClientError
   
4. from asyncio import TimeoutError
   
5. import aiofiles
   
6. from tqdm import tqdm
   
7. from re import compile, findall
   
8. from fake_useragent import UserAgent
   
9. import time
   
10. 
    
11. # 异步抓取起点中文网的小说信息
    
12. 
    
13. 
    
14. class Novels(object):
    
15.     def __init__(self):
    
16.         # 小说的初始界面， max_page = 4018
    
17.         self.inital_url = 'https://www.qidian.com/finish?page={}'
    
18.         self.browser = UserAgent()
    
19.         self.headers = {
    
20.             'Host': 'www.qidian.com',
    
21.             'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,en;q=0.7',
    
22.             'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    
23.             'User-Agent': self.browser.chrome,
    
24.         }
    
25. 
    
26.     async def crawl(self, url: str):
    
27.         conn = aiohttp.TCPConnector(limit=200)
    
28.         async with aiohttp.ClientSession(connector=conn) as session:
    
29.             try:
    
30.                 async with session.get(url, headers=self.headers, timeout=20) as response:
    
31.                     if response.status == 200:
    
32.                         return await response.text()
    
33.                     else:
    
34.                         raise ValueError(f'返回状态码错误<{response.status}>')
    
35.             except (ClientConnectorError, ClientError, TimeoutError) as error:
    
36.                 raise ConnectionError('连接失败')
    
37. 
    
38.     async def paser_html(self, page: int, pbar):
    
39.         try:
    
40.             content = await self.crawl(self.inital_url.format(page))
    
41.         except (ValueError, ConnectionError) as error:
    
42.             print(f'起点中文网: 抓取第{page}页失败<{error}>')
    
43.         else:
    
44.             pattern = compile('li.*?<h4><a href="(.*?)".*?>(.*?)<.*?class="name".*?>(.*?)<.*?/em>'
    
45.                             '<a.*?>(.*?)</a><i>.*?</i><a.*?>(.*?)<.*?</li>')
    
46.             for result in findall(pattern, content):
    
47.                 link, book, author, *style = result
    
48.                 info = f'书名: {book}\n作者: {author}\n类型{"-".join(style)}\n链接: {"https:" + link}\n'
    
49.                 async with aiofiles.open('起点中文网.', 'a+', encoding='utf-8') as fp:
    
50.                     await fp.write('*'*40 + '\n')
    
51.                     await fp.write(str(info))
    
52.             pbar.update(1)
    
53.         #await asyncio.sleep(2)
    
54. 
    
55.     def run(self, max_page: int=1, step: int=300):
    
56.         with tqdm(total=max_page, unit_scale=True, desc='起点中文网') as pbar:
    
57.             for count in range(1, max_page+1, step):
    
58.                 start = count
    
59.                 end = min(count + step, max_page)
    
60.                 tasks = [self.paser_html(num, pbar) for num in range(start, end)]
    
61.                 loop = asyncio.get_event_loop()
    
62.                 loop.run_until_complete(asyncio.wait(tasks))
    
63.             time.sleep(15)
    
64. 
    
65. 
    
66. if __name__ == '__main__':
    
67.     max_page = 4018
    
68.     start = Novels()
    
69.     start.run(max_page)
    

复制代码

Ps：该资源已删除

七夕七夕

谢谢分享

一世长安呢

666

纪伯懿

1

命运之缘

天秀

luoxian

999

hxgreat

666