打印html

cyy6666

1. import urllib.request
   
2. import urllib.parse
   
3. import urllib.error
   
4. import json
   
5. import time
   
6. import random
   
7. import os
   
8. import re
   
9. import gzip
   
10. '''html中以"b’\x1f\x8b\x08"开头的 ，说明它是gzip压缩过的数据'''
    
11. '''不是所有网页都用utf-8'''
    
12. 
    
13. def url_open(url,data=None):
    
14.     head={}
    
15.     head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75'
    
16.     req=urllib.request.Request(url,data,head)
    
17.     response=urllib.request.urlopen(req)
    
18.     html=response.read()
    
19.     '''html=gzip.decompress(html)'''
    
20.     return html
    
21. 
    
22. '''收集ip'''
    
23. def get_ip():
    
24.     url=''
    
25.     html=url_open(url).decode('utf-8')
    
26.     p=r'(?:(?:25[0-5]|2[0-4]\d|[01]{0,1}\d{0,1}\d)\.){3}(?:25[0-5]|2[0-4]\d|[01]{0,1}\d{0,1}\d):[^@]{1,}'
    
27.     iplist=re.findall(p,html)
    
28.     return iplist
    
29. 
    
30. '''代理'''
    
31. def proxy_url_open(url,data=None):
    
32.     ip=get_ip()
    
33.     while True:
    
34.         try:
    
35.             proxy_support=urllib.request.ProxyHandler({'http':random.choice(ip)})
    
36.             '''创建opener'''
    
37.             opener=urllib.request.build_opener(proxy_support)
    
38.             '''隐藏'''
    
39.             opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36 Edg/87.0.664.75')]
    
40.             '''安装opener'''
    
41.             response=opener.open(url,data)
    
42.         except:
    
43.             pass
    
44.         else:
    
45.             break
    
46.     html=response.read()
    
47.     '''html=gzip.decompress(html)'''
    
48.     return html
    
49. 
    
50. '''打印网页'''
    
51. def print_(url,proxy=0):
    
52.     if proxy==0:
    
53.         html=url_open(url).decode('utf-8')
    
54.     else:
    
55.         html=proxy_url_open(url).decode('utf-8')
    
56.     print(html)
    
57. 
    
58. if __name__=='__main__':
    
59.     while True:
    
60.         url=input('请输入网站(按0退出):')
    
61.         if url=='0':
    
62.             break
    
63.         proxy=input('是否使用代理(0不使用,1使用):')
    
64.         proxy=int(proxy)
    
65.         print_(url,proxy)

复制代码

出现错误，可能是html文件需要解压，也可能是编码格式错误
新人，请大佬指教