[已解决]爬虫

huangdongdong

1. import urllib.request
   
2. from http.cookiejar import CookieJar#http.cookiejar是python2中的cookielib（向服务端验证身份）
   
3. import json#
   
4. 
   
5. # 豆瓣的登录页
   
6. loginurl = 'https://accounts.douban.com/j/mobile/login/qrlogin_code'
   
7. # 豆瓣首页
   
8. url = 'https://www.douban.com/'
   
9. # 定制opener，传递cookie
   
10. cookie = CookieJar()
    
11. opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
    
12. # 设置headers，模拟浏览器
    
13. headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
    
14. # 表单提交参数设置
    
15. data = {
    
16. 'ck':'',
    
17. 'name':'这里填邮箱～QAQ',
    
18. 'password':'这里填密码～QAQ',
    
19. 'remember':'false',
    
20. 'ticket':''
    
21. }
    
22. # get请求的request
    
23. req_get = urllib.request.Request(url,headers=headers)
    
24. # post请求的request
    
25. req_post = urllib.request.Request(loginurl,urllib.parse.urlencode(data).\
    
26.                              encode('utf-8'),headers)
    
27. # get请求的response
    
28. res_get = opener.open(req_get)
    
29. # post请求的response
    
30. res_post = opener.open(req_post)
    
31. 
    
32. res_html = res_post.read().decode('utf-8')
    
33. 
    
34. # json解码
    
35. res_js = json.loads(res_html)
    
36. # 根据status的值判断是否登录成功
    
37. if res_js['status'] == 'success':
    
38.     print('登录成功')
    
39. else:
    
40.     print('登录失败')

复制代码

1. # get请求的request
   
2. req_get = urllib.request.Request(url,headers=headers)
   
3. # post请求的request
   
4. req_post = urllib.request.Request(loginurl,urllib.parse.urlencode(data).\
   
5.                              encode('utf-8'),headers)
   
6. # get请求的response
   
7. res_get = opener.open(req_get)
   
8. # post请求的response
   
9. res_post = opener.open(req_post)
   
10. 
    
11. res_html = res_post.read().decode('utf-8')
    
12. 这一段代码是什么意思？？？

复制代码

这一题的解题思路是什么？？？

最佳答案

月排行榜 / 总排行榜

H原子

2021-5-24 17:55:47

这里应该先发送post请求，提交表单数据，获得服务器返回的cookie（自动保存在cookieJar对象中），然后再发送get请求，实现访问登录后的页面，

跳转到最佳答案楼层

H原子

这里应该先发送post请求，提交表单数据，获得服务器返回的cookie（自动保存在cookieJar对象中），然后再发送get请求，实现访问登录后的页面，

suchocolate

上面有说明啊

孤独的嫖客

2021年了 咋还有人用urllib  你们看教程不看看教程发布时间吗
IT的更新是日新月异的啊

huangdongdong

suchocolate 发表于 2021-5-24 21:29
上面有说明啊

看不明白

suchocolate

huangdongdong 发表于 2021-5-24 23:11
看不明白

看书：https://github.com/Python3WebSpider/Python3WebSpider

huangdongdong

suchocolate 发表于 2021-5-24 21:29
上面有说明啊

1. <blockquote>#登录首页

复制代码

huangdongdong

1. 登录首页
   
2. req_get = urllib.request.Request(url,headers=headers)
   
3. res_get = opener.open(req_get)
   
4. #登录验证页
   
5. 
   
6. req_post = urllib.request.Request(loginurl,urllib.parse.urlencode(data).\
   
7. encode('utf-8'),headers)
   
8. res_post = opener.open(req_post)
   
9. res_html = res_post.read().decode('utf-8')
   
10. 这样理解对吗？？？

复制代码

TooBeautiful

suchocolate 发表于 2021-5-24 23:23
看书：https://github.com/Python3WebSpider/Python3WebSpider

什么时间GitHub可以打开！！！

huangdongdong

H原子 发表于 2021-5-25 00:55
这里应该先发送post请求，提交表单数据，获得服务器返回的cookie（自动保存在cookieJar对象中），然后再发 ...

# post请求的response
res_post = opener.open(req_post)
这里为啥是post而不是get
# get请求的request
req_get = urllib.request.Request(url,headers=headers)
这里为啥不是post

H原子

这个代码能访问到登录后的页面？应该不能吧，如果能的话当我没说，不能的话就调整一下顺序试试

huangdongdong

H原子 发表于 2021-5-25 09:44
这个代码能访问到登录后的页面？应该不能吧，如果能的话当我没说，不能的话就调整一下顺序试试

能访问