第 53 讲 论一只爬虫的自我修养

黄金猫

1. 测试题:
   
2. 0.
   
3. url是统一资源定位符,uniform resource locator
   
4. URI标志互联网资源,URL标志互联网资源的地址,URL是URI的子类.
   
5. 1.
   
6. 自动获取网页信息的程序
   
7. 
   
8. 2.
   
9. 设计的算法真正爬去和用户搜索相关度高的
   
10. 不要重复爬取URL,否则会无线递归.
    
11. 3.
    
12. (静态)
    
13. 1.header反爬
    
14. 
    
15. 2.用户行为反爬:
    
16.   1. 用代理ip
    
17.   2. 降低请求频率
    
18. 
    
19. (动态)
    
20. 3.用户页面的加载方式反爬
    
21. 动态页面反爬
    
22. 
    
23. (进一步)
    
24.   1. cookie反爬
    
25.   2. 验证码反爬
    
26.   3. Noscript
    
27. 
    
28. 网站根目录建立robots.txt,里面表明内容,说明这些地方不想被爬取.对非法爬虫无效.
    
29. 
    
30. 4.
    
31. 类类型
    
32. HTTTPResponse的实例对象
    
33. 
    
34. 5.
    
35. urllib.error.HTTPError: HTTP Error 502: Bad Gateway
    
36. 
    
37. 6.
    
38. utf-8 审查元素
    
39. 
    
40. 7.
    
41. unicode
    
42. 
    
43. 动动手:
    
44. 0.
    
45. urllib.error.HTTPError: HTTP Error 502: Bad Gateway
    
46. 
    
47. 1.
    
48. import urllib.request as r
    
49. 
    
50. url = 'http://www.' + input('请输入URL:')
    
51. 
    
52. def findcharset(url):
    
53.     response = r.urlopen(url)
    
54.     html = (response.read()).decode()
    
55.     start = html.find('<meta charset="')
    
56.     end = start
    
57.     while html[end] != '>':
    
58.         end +=1
    
59.     return html[start+15:end-1]
    
60. 
    
61. print('该网页使用的编码是:',findcharset(url))
    
62.             
    
63. 2.
    
64. import urllib.request as r
    
65. 
    
66. def get_html(url):
    
67.     response = r.urlopen(url)
    
68.     html = response.read()
    
69. ##    html = html.decode()
    
70.     return html
    
71. 
    
72. ##print(get_html('http://www.baidu.com'))
    
73. 
    
74. def save2file(name,url,file_path = '/Users/yufan/Documents/python编程/52/52dds2/'):
    
75.     file_path += name
    
76.     with open(file_path,'wb') as f:
    
77.         f.write(get_html(url))
    
78. 
    
79.    
    
80. with open('/Users/yufan/Documents/python编程/52/52dds2/urls.txt') as f:
    
81.     txtsort = 1
    
82.     for each in f:
    
83.         name = 'url_%d.txt' % txtsort
    
84.         save2file(name,each)
    
85.         txtsort += 1
    
86. 
    

复制代码