鱼C论坛

 找回密码
 立即注册
查看: 1515|回复: 4

请问像这个网站该怎么用requests爬

[复制链接]
发表于 2021-2-2 09:53:36 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 sheenblue 于 2021-2-2 09:54 编辑


                               
登录/注册后可看大图

我用requests就提示非法请求,要怎么绕过好?是不是要带上cookies,请问该怎么带,网上查了些方法,弄不透。
用selenium爬,电脑带不动。
麻烦各位大佬了
网站地址:https://www.fenxiangyin.com/
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-2 18:08:29 | 显示全部楼层
===>一、分析网页
1、浏览器打开页面:https://www.fenxiangyin.com/member/default/login
2、点右键检查,点Network,随便输入用户名和密码点登入
3、发现有且只有一个login的post请求,重点关注如下数据
General
     Request URL: https://www.fenxiangyin.com/member/default/login

Form Data
     _csrf: 02ydHwx6O44KuoBcqP8F_n59u0VkBFLttk_lbNBmuJ-EXtRaPC1Ly0Pqyi3KnkDHBgnzASk9YKbsO6s96Rf_zQ==
     LoginForm[username]: affeafa
     LoginForm[password]: werwwar
     postionUrl:
===>二、写代码测试(略过,要点如下):
1、请求方式是post,因此用的方法是requests.post()
2、参数必须携带headers,以及至少包含LoginForm[username]和LoginForm[password]的params数据
3、根据返回的response数据,看看是否需要验证码,如果不用那后面应该简单了。。。
如果需要那对你来说就太难了,你可以考虑暂时放弃了,去B站搜索下爬虫教程好好学学基础
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-2-2 21:56:22 | 显示全部楼层
笨鸟学飞 发表于 2021-2-2 18:08
===>一、分析网页
1、浏览器打开页面:https://www.fenxiangyin.com/member/default/login
2、点右键检查 ...

我利用cookie+requests爬进去了,可是遇到了这个网址
https://www.fenxiangyin.com/goods/detail?goods_id=286
我想保存这个网址里的图片,却发现网页源码找不到图片链接,用requests也找不到,不知道该怎么破
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-2 23:36:48 | 显示全部楼层
登陆的账号密码要发一下,我可不想注册一个。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-3 18:49:24 | 显示全部楼层
本帖最后由 YunGuo 于 2021-2-3 18:52 编辑
sheenblue 发表于 2021-2-2 21:56
我利用cookie+requests爬进去了,可是遇到了这个网址
https://www.fenxiangyin.com/goods/detail?goods_ ...


图片接口:https://www.fenxiangyin.com/goods/get-goods-gallery-list
参数:goods_id(商品id)
请求这个接口,带上必要的参数,能拿到图片链接。

另外,这个接口能拿到详情图:https://www.fenxiangyin.com/goods/info
参数和上面一样,都是商品id,goods_id
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-16 16:07

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表