想写一个需要登录网页的爬虫

YIRANNA

怎么做一个需要输入密码才能查看的网页内容的爬虫
有没有人可以提供一些些帮助或者建议

fresh_python

如果你只是想要简单的爬取一下，提交post请求的时候带上账号和密码，可以爬取到大部分的登录网页。
如果你想深入了解，那就去学习一下会话技术。

suchocolate

1. import requests
   
2. 
   
3. 
   
4. def main():
   
5.     url = 'xxx'
   
6.     headers = {'user-agent': 'firefox'}
   
7.     r = requests.get(url, headers=headers)
   
8.     mm = input('输入密码查看网元内容')
   
9.     if mm == '你的密码':
   
10.         print(r.text)
    
11. 
    
12. 
    
13. if __name__ == '__main__':
    
14.     main()

复制代码

笨鸟学飞

浏览器抓包，一般是post，然后分析抓包内容，把cookies分析透彻了，post就行了

YIRANNA

笨鸟学飞 发表于 2020-11-21 12:04
浏览器抓包，一般是post，然后分析抓包内容，把cookies分析透彻了，post就行了

有具体的例子吗？

YIRANNA

suchocolate 发表于 2020-11-21 09:23

我试试

小无趣

这就需要用到cookie了，利用cookie来进行保持会话，就像你登录鱼C一样，只要你的会话在，你每次登录就不需要密码

YIRANNA

小无趣 发表于 2020-11-21 15:17
这就需要用到cookie了，利用cookie来进行保持会话，就像你登录鱼C一样，只要你的会话在，你每次登录就不需 ...

具体有什么操作或者教程吗？
有的话能发一下链接吗？
谢谢了

suchocolate

YIRANNA 发表于 2020-11-21 13:52
我试试

你描述的是 输入密码后看内容，但看别人回答，你的意思好像是登陆一个需要输入账号和密码才能查看内容的网页，这是两个概念。
你要登陆哪个网站，想看什么内容，具体的网站需求写出来。

braga

最简单还是用webdriver

lengyue869

selenium

skyrimz

请求的时候加上带cookie的header