第 54 讲 论一只爬虫的自我修养 2

黄金猫

1. 测试题:
   
2. 0.
   
3. 为HTTP,HTTPS,FTP类链接请求规定相应时间
   
4. 
   
5. 连接超时时间,单位是秒.
   
6. 
   
7. 1.
   
8. 使用getcode()方法
   
9. 
   
10. 2.
    
11. POST和GET
    
12. 
    
13. 3.
    
14. 互相响应
    
15. 
    
16. 发出请求的永远是客户端,响应的永远是服务器.
    
17. 
    
18. 4.
    
19. 请求者的标识符,服务器用来识别访问者是普通浏览器还是代码.
    
20. 
    
21. 普通浏览器用这玩意向网站汇报我的浏览器类型,操作系统,浏览器内核等.
    
22. 
    
23. 5.
    
24. 在urlopen()里面,加入data参数.
    
25. 
    
26. 6.
    
27. 首先要知道字符串的编码,再用string.decode(编码)转为unicode
    
28. 
    
29. 7.
    
30. 结构化的字符串形式.
    
31. 
    
32. 用字符串把python的数据结构封装起来,方便存储使用
    
33. 
    
34. 动动手:
    
35. 0.
    
36. import urllib.request as r
    
37. 
    
38. ##width = 400
    
39. ##highth = 600
    
40. 
    
41. width = input('请输入宽度:')
    
42. highth = input('请输入高度:')
    
43. 
    
44. ##file_path = input('请输入保存位置:')
    
45. 
    
46. file_path = '/Users/yufan/Documents/python编程/54/cat_%s_%s.png' % (width,highth)
    
47. 
    
48. response = r.urlopen('http://placekitten.com/%s/%s' % (width,highth))
    
49. 
    
50. ##response = r.urlopen('http://www.placekitten.com/200/300')
    
51. 
    
52. html = response.read()
    
53. 
    
54. with open(file_path,'wb') as f:
    
55.     f.write(html)
    
56. 
    
57. 
    
58. 1.
    
59. # -- coding:gbk --
    
60. import re
    
61. import urllib
    
62. import http
    
63. 
    
64. loginurl = 'https://www.douban.com/accounts/login'
    
65. cookie = http.cookiejar()
    
66. opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
    
67. 
    
68. params = {
    
69. "form_email":"your email",
    
70. "form_password":"your password",
    
71. "source":"index_nav" #没有的话登录不成功
    
72. }
    
73. 
    
74. #从首页提交登录
    
75. response=urllib.request.OpenerDirector.open(loginurl, urllib.urlencode(params))
    
76. 
    
77. #验证成功跳转至登录页
    
78. if response.geturl() == "https://www.douban.com/accounts/login":
    
79.     html=response.read()
    
80. 
    
81.     #验证码图片地址
    
82.     imgurl=re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
    
83.     if imgurl:
    
84.         url=imgurl.group(1)
    
85.         #将图片保存至同目录下
    
86.         res=urllib.urlretrieve(url, 'v.jpg')
    
87.         #获取captcha-id参数
    
88.         captcha=re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>' ,html)
    
89.         if captcha:
    
90.             vcode=raw_input('请输入图片上的验证码：')
    
91.             params["captcha-solution"] = vcode
    
92.             params["captcha-id"] = captcha.group(1)
    
93.             params["user_login"] = "登录"
    
94.             #提交验证码验证
    
95.             response=urllib.request.OpenerDirector.open(loginurl, urllib.urlencode(params))
    
96.             ''' 登录成功跳转至首页 '''
    
97.             if response.geturl() == "http://www.douban.com/":
    
98.                 print ('login success ! ')
    

复制代码