python 055 爬虫之隐藏和代理

风不会停息

1. 服务器通过发送的 HTTP 头中的 User-Agent 来进行识别浏览器与非浏览器，服务器还以 User-Agent 来区分各个浏览器。

2. 在用python写爬虫时， 在需要的时候可以通过设置User-Agent伪装成浏览器访问， 有两种方法：
        1. urllib.request.Request(url, data, headers)， 通过传入headers参数来设置User-Agent， headers为一个字典， 可以设置为：

1. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'

复制代码

        2. 利用add_header() 方法往 Request 对象添加 headers， 例如：

1. req = urllib.request.Request(url, data)
   
2.                 req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36')

复制代码

3. 代理： python使用代理访问服务器主要有一下3个步骤：
        1.创建一个代理处理器ProxyHandler：
        proxy_support = urllib.request.ProxyHandler()，ProxyHandler是一个类，其参数是一个字典：{ '类型':'代理ip:端口号'}
        什么是Handler？Handler也叫作处理器，每个handlers知道如何通过特定协议打开URLs，或者如何处理URL打开时的各个方面，例如HTTP重定向或者HTTP cookies。

        2.定制、创建一个opener：
        opener = urllib.request.build_opener(proxy_support)
        什么是opener？python在打开一个url链接时，就会使用opener。其实，urllib.request.urlopen()函数实际上是使用的是默认的opener，只不过在这里我们需要定制一个opener来指定handler。

        3a.安装opener
        urllib.request.install_opener(opener)
        install_opener 用来创建（全局）默认opener，这个表示调用urlopen将使用你安装的opener。

        3b.调用opener
        opener.open(url)
        该方法可以像urlopen函数那样直接用来获取urls：通常不必调用install_opener，除了为了方便。

1. import urllib.request
   
2. import random
   
3. 
   
4. url = "https://www.ip.cn/"
   
5. 
   
6. iplist = ['121.43.170.207:3128']
   
7. 
   
8. proxy_support = urllib.request.ProxyHandler({'http' : random.choice(iplist)})
   
9. 
   
10. opener = urllib.request.build_opener(proxy_support)
    
11. opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36')]  #伪装成浏览器访问
    
12. 
    
13. urllib.request.install_opener(opener)
    
14. 
    
15. response = urllib.request.urlopen(url)
    
16. 
    
17. html = response.read().decode('utf-8')
    
18. 
    
19. print(html)
    

复制代码

4. Beautiful Soup 4 模块中文文档： https://www.crummy.com/software/ ... c.zh/index.html#id9

5. 正则表达式介绍和简单应用：
        1. 介绍： http://fishc.com.cn/forum.php?mo ... peid%26typeid%3D403
        2. 简单应用： http://fishc.com.cn/forum.php?mo ... peid%26typeid%3D403

动动手1代码：

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from  bs4 import BeautifulSoup
   
5. 
   
6. def  main():
   
7.     keyword = input("请输入关键词： ")
   
8.     string_parameters = {'word' : keyword}
   
9.     keyword = urllib.parse.urlencode(string_parameters)
   
10.    
    
11.     url = "http://baike.baidu.com/search/word?%s" % keyword
    
12.     response = urllib.request.urlopen(url)
    
13.     html = response.read()
    
14. 
    
15.     soup = BeautifulSoup(html, "html.parser")
    
16. 
    
17.     for  each in soup.find_all( href = re.compile('item') ):
    
18.         content = "".join([each.text])
    
19.         url2 = "".join(["http://baike.baidu.com", each['href']])
    
20.         response2 = urllib.request.urlopen(url2)
    
21.         html2 = response2.read()
    
22. 
    
23.         soup2 = BeautifulSoup(html2, "html.parser")
    
24. 
    
25.         if  soup2.h2:
    
26.             content = "".join([content, soup2.h2.text])
    
27.         content = "".join([content, ' -> ', url2])
    
28.         print(content)
    
29. 
    
30. if  __name__ == "__main__":
    
31.     main()

复制代码

动动手2代码：

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from  bs4 import BeautifulSoup
   
5. 
   
6. def  test_url(soup):
   
7.     result = soup.find(text = re.compile("百度百科尚未收录词条"))
   
8.     if  result:
   
9.         print(result[0 : -1])
   
10.         return  False
    
11.     else:
    
12.         return  True
    
13. 
    
14. def  summary(soup):
    
15.     word = soup.h1.text
    
16.     if  soup.h2:
    
17.         word += soup.h2.text
    
18.     print(word)
    
19. 
    
20.     if  soup.find(class_ = "lemma-summary"):
    
21.         print(soup.find(class_ = "lemma-summary").text)
    
22. 
    
23. def  get_urls(soup):
    
24.     for  each in soup.find_all( href = re.compile('item') ):
    
25.         content = "".join([each.text])
    
26.         url2 = "".join(["http://baike.baidu.com", each['href']])
    
27.         response2 = urllib.request.urlopen(url2)
    
28.         html2 = response2.read()
    
29.         soup2 = BeautifulSoup(html2, "html.parser")
    
30. 
    
31.         if  soup2.h2:
    
32.             content = "".join([content, soup2.h2.text])
    
33.         content = "".join([content, ' -> ', url2])
    
34.         yield content
    
35. 
    
36. def  main():
    
37.     keyword = input("请输入关键词： ")
    
38.     string_parameters = {'word' : keyword}
    
39.     keyword = urllib.parse.urlencode(string_parameters)
    
40.     url = "http://baike.baidu.com/search/word?%s" % keyword
    
41.     response = urllib.request.urlopen(url)
    
42.     html = response.read()
    
43.     soup = BeautifulSoup(html, "html.parser")
    
44. 
    
45.     if  test_url(soup):
    
46.         summary(soup)
    
47. 
    
48.         command = input("是否打印相关链接（Y / N）： ")
    
49.         if  command == 'N':
    
50.             print("程序结束！")
    
51.         elif  command == 'Y':
    
52.             print("下面打印相关链接： ")
    
53.             each = get_urls(soup)
    
54.             while  True:
    
55.                 try:
    
56.                     for  i in range(10):
    
57.                         print(next(each))
    
58.                 except  StopIteration:
    
59.                     break
    
60. 
    
61.                 command = input("输入任意字符将继续打印， 输入a则会打印剩下所有内容（ctrl + c 退出程序）， 输入q退出程序： ")
    
62.                 if  command == 'q':
    
63.                     break
    
64.                 elif command == 'a':
    
65.                     try:
    
66.                         for  i in each:
    
67.                             print(i)
    
68.                     except  KeyboardInterrupt:
    
69.                         print("程序退出！")
    
70.                         break
    
71.                 else:
    
72.                     continue
    
73. 
    
74. if  __name__ == "__main__":
    
75.     main()

复制代码

昼木2333

楼主 我用你那个代理ip的代码返回的还是自己的ip啊 请问是怎么一回事

donaldl8

昼木2333 发表于 2020-2-21 18:40
楼主 我用你那个代理ip的代码返回的还是自己的ip啊 请问是怎么一回事

我也是啊，这是什么问题。。按照小甲鱼的视频来的，还是自己的ip