协程获取网站标题

Thewhitecrow

1. #!/isr/bin/python3
   
2. #coding=utf-8
   
3. 
   
4. import sys
   
5. import argparse
   
6. import threading
   
7. import asyncio
   
8. import re
   
9. import chardet
   
10. import aiohttp
    
11. import ssl
    
12. import csv
    
13. import IPy
    
14. 
    
15. ssl._create_default_https_context = ssl._create_unverified_context
    
16. 
    
17. class WebTitle:
    
18. 
    
19.     def __init__(self, urls, coroutine_count=20):
    
20.         self.urls = list(set(urls))
    
21.         self.coroutine_count = coroutine_count
    
22.         self.result = {}
    
23. 
    
24.     def init_queue(self):
    
25.         queue = asyncio.Queue()
    
26.         for url in self.urls:
    
27.             queue.put_nowait(url)
    
28.         return queue
    
29. 
    
30.     def get_title_from_html(self, html):
    
31.         title = 'not content!'
    
32.         title_patten = r'<title>(\s*?.*?\s*?)</title>'
    
33.         result = re.findall(title_patten, html)
    
34.         if len(result) >= 1:
    
35.             title = result[0]
    
36.             title = title.strip()
    
37.         return title
    
38. 
    
39.     async def get_title(self, queue):
    
40.         while True:
    
41.             url = await queue.get()
    
42.             print('get title for {}'.format(url))
    
43.             try:
    
44.                 async with aiohttp.ClientSession() as session:
    
45.                     async with session.get(url, timeout=3, ssl=ssl.SSLContext()) as resp:
    
46.                         html = await resp.text()
    
47.                 title = self.get_title_from_html(html)
    
48.                 print('{}:{}'.format(url,title))
    
49.                 self.result[url] = title
    
50.             except Exception as e:
    
51.                 print('{} has error: {} '.format(url,str(e)))               
    
52.             queue.task_done()
    
53. 
    
54.     async def start_task(self):
    
55.         queue = self.init_queue()
    
56.         tasks = []
    
57.         for i in range(self.coroutine_count):
    
58.             task = asyncio.create_task(self.get_title(queue))
    
59.             tasks.append(task)
    
60. 
    
61.         await queue.join()
    
62. 
    
63.         for task in tasks:
    
64.             task.cancel()
    
65. 
    
66.         await asyncio.gather(*tasks, return_exceptions=True)
    
67. 
    
68. 
    
69.     def start(self):
    
70.         asyncio.run(self.start_task())
    
71. 
    
72.     def write_result(self, outfile):
    
73.         urls = self.result.keys()
    
74.         with open(outfile, 'w') as f:
    
75.             writer = csv.writer(f)
    
76.             writer.writerow(['url','title'])
    
77.             for url in urls:
    
78.                 title = self.result[url]
    
79.                 writer.writerow([url, title])
    
80.         with open(outfile + '_alive.txt', 'w') as f:
    
81.             for url in urls:
    
82.                 f.write(url + '\n')
    
83.         
    
84.         print('alive urls write to {}'.format(outfile + '_alive.txt'))
    
85.         print('title write to {}'.format(outfile))
    
86. 
    
87. def parse_args():
    
88.     parser = argparse.ArgumentParser(description='A tool that can get title for domains or urls')
    
89.     parser.add_argument('-d','--domain', metavar='domain.txt', dest='domain_file', type=str, help=u'domain to get title')
    
90.     parser.add_argument('-u','--url', metavar='url.txt', dest='url_file', type=str, help=u'urls to get title')
    
91.     parser.add_argument('-i','--ip', metavar='ip.txt', dest='ip_file', type=str, help=u'ips to get title')
    
92.     parser.add_argument('-t','--coroutine', metavar='20', dest='coroutine_count', type=int, default=20,help=u'coroutines to get title')
    
93.     parser.add_argument('-o','--outfile', metavar='result.txt', dest='outfile', type=str, default='result.csv',help=u'file to result')
    
94.     args = parser.parse_args()
    
95.     if args.url_file == None and args.domain_file == None and args.ip_file == None:
    
96.         parser.print_help()
    
97.         sys.exit()
    
98.     return args
    
99. 
    
100. 
     
101. def main():
     
102.     try:
     
103.         args = parse_args()
     
104.         urls = []
     
105. 
     
106.         if args.domain_file:
     
107.             with open(args.domain_file) as f:
     
108.                 domains = f.readlines()
     
109.             for domain in domains:
     
110.                 domain = domain.strip()
     
111.                 if domain != '':
     
112.                     urls.append('http://' + domain)
     
113.                     urls.append('https://' + domain)
     
114. 
     
115.         if args.url_file:
     
116.             with open(args.url_file) as f:
     
117.                 urls2 = f.readlines()
     
118.             for url in urls2:
     
119.                 url = url.strip()
     
120.                 if url != '':
     
121.                     urls.append(url)
     
122. 
     
123.         if args.ip_file:
     
124.             with open(args.ip_file) as f:
     
125.                 ips = f.readlines()
     
126.             for ip in ips:
     
127.                 ip = ip.strip()
     
128.                 if ip != '':
     
129.                     # cidr_ip = IPy.IP(ip)
     
130.                     cidr_ip = IPy.IP(ip, make_net=1)
     
131.                     for i in cidr_ip:
     
132.                         urls.append('http://' + str(i))
     
133.                         urls.append('https://' + str(i))
     
134. 
     
135.         web_title = WebTitle(urls, args.coroutine_count)
     
136.         web_title.start()
     
137.         web_title.write_result(args.outfile)
     
138.     except Exception as e:
     
139.         print(e)
     
140. 
     
141. def banner():
     
142.     print('''==================''')
     
143. 
     
144. 
     
145. if __name__ == '__main__':
     
146.     banner()
     
147.     main()
     
148. 
     

复制代码

Thewhitecrow

这个目的是用域名 网址 IP 任意一个信息，或者全部信息，获取网站标题，但现在只能实现IP爬取网站标题，域名 网址实现不了。建议在终端命令执行，安装aiohttp IPy chardet

Thewhitecrow

希望大哥们看看，这个域名和网址的功能获取网站标题，怎么修改