爬虫【很久一题】简单登录

hldh214 · 发表于 2017-7-10 13:37:10

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖接上集

爬虫【很久一题】B站视频token解析
http://bbs.fishc.com/thread-90080-1-1.html

本题的页面是自己写的, 思路来自以前做爬虫的时候遇到的一些有趣的反爬机制
因为是自己写的, 所以前端和业务逻辑方面并没有还原的很彻底, 还请海涵

Tip: username 和 password 只是模拟登录的场景, 你在写代码的时候可以不传这两个参数, 不影响判断成功失败

链接在此: https://dev.yii2.cc/fishc/task1

成功返回示例

失败返回示例

本题没有标准答案, 只要拿到成功返回即可
祝大家玩的开心

hldh214 · 发表于 2017-7-11 15:24:19

公布一波标答, 抛砖引玉了

import requests
import re

url = 'https://dev.yii2.cc/fishc/task1'
opener = requests.session()
res = opener.get(url)
csrf_token = re.findall(r'type="hidden"\s*name="(\w+)"\s*value="(\w+)"', res.text)[0]

res = opener.post(url, {
    # 坑1: csrf token
    # 建议阅读: https://github.com/pillarjs/understanding-csrf
    csrf_token[0]: csrf_token[1]
}, headers={
    # 坑2: referer && session 检测
    # 此处配合后端源码理解更佳
    'Referer': url
})

print(res.text)

因为后端是自己写的所以也公布一下源码, php 写的, 希望各位看官轻喷

基于 phalcon 写的, 只贴关键代码, 框架代码和 view 层代码不贴

public function task1Action()
{
    if ($this->request->isPost()) {
        $this->view->disable();
        // 此处为 csrf 验证, 是框架集成方法
        if ($this->security->checkToken()) {
            /**
             * 此处即为 referer 判断
             * 判断 request 的 http 头中的 referer 是否与 session 中相等
             */
            $referer = parse_url($this->request->getHTTPReferer(), PHP_URL_PATH);
            if ($referer == $this->session->get('referer')) {
                echo 'Welcome ' . $this->request->getPost('username', null, 'Fishc');
                return;
            }
        }
        echo 'fail';
        return;
    }
    $this->session->set('referer', $this->request->getUri());
}

第一次发题(guan)目(shui)帖, 好多要求都没说清楚, 导致很多鱼油不知道答题规则, 下次会改进

hldh214 · 发表于 2017-7-10 13:39:14

召唤一下老铁们
@冬雪雪冬 @wei_Y @SixPy @shuofxz @新手·ing @～风介～ @无符号整形

SixPy · 发表于 2017-7-10 14:47:30

什么意思？
直接点那个连接可以进去呀

hldh214 · 发表于 2017-7-10 15:00:34

SixPy 发表于 2017-7-10 14:47
什么意思？
直接点那个连接可以进去呀

要求用程序实现模拟登录.....突然发现好多地方都没说清楚

小甲鱼 · 发表于 2017-7-10 15:41:44

好玩！

～风介～ · 发表于 2017-7-10 15:43:28

什么意思？
直接点那个连接可以进去呀

hldh214 · 发表于 2017-7-10 15:46:44

～风介～发表于 2017-7-10 15:43
什么意思？
直接点那个连接可以进去呀

别闹

新手·ing · 发表于 2017-7-10 16:39:50

hldh214 发表于 2017-7-10 13:39
召唤一下老铁们
@冬雪雪冬 @wei_Y @SixPy @shuofxz @新手·ing @～风介～ @无符号整形

孤零零的站在一群绿名字之间

———————召唤失败

hldh214 · 发表于 2017-7-10 16:42:10

新手·ing 发表于 2017-7-10 16:39
孤零零的站在一群绿名字之间

你说你是不是故意的

SixPy · 发表于 2017-7-10 16:49:26

@新手·ing

～风介～ · 发表于 2017-7-10 16:59:03

hldh214 发表于 2017-7-10 15:46
别闹

想不到你竟然是这样的版主，太让俺们鱼油失望了~

jerryxjr1220 · 发表于 2017-7-11 09:32:25

没有研究出你里面一段隐藏的name和value的加密关系，所以只能借助selenium了。。。

好像每次刷新这个name和value一直在变化的，猜测应该是用时间戳加密的吧，也没找到调用其他js的程序。

from splinter import Browser
url = 'https://dev.yii2.cc/fishc/task1'
x = Browser('phantomjs')
x.visit(url)
x.find_by_tag('input')[-1].click()
print(x.html)

<html><head></head><body>Welcome iLoveFishcDotCom</body></html>
[Finished in 4.9s]

jerryxjr1220 · 发表于 2017-7-11 14:39:59

我觉得用phantomjs+selenium都不算爬虫了，不就是个简化版的浏览器么。。。

ooxx7788 · 发表于 2017-7-11 14:51:50

还不放答案~有没有王法了啊~

ooxx7788 · 发表于 2017-7-11 15:36:55

hldh214 发表于 2017-7-11 15:24
公布一波标答, 抛砖引玉了

大佬又带我们玩咧。我直接用这代码，返回的是

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='dev.yii2.cc', port=443): Max retries exceeded with url: /fishc/task1 (Caused by NewConnectionError('<requests.packages.urllib3.connection.VerifiedHTTPSConnection object at 0x0000001CB23A00F0>: Failed to establish a new connection: [Errno 11002] getaddrinfo failed',))

https的ssl认证过不去啊。
所以第17行小括号前面要加上，

,verify=False

SixPy · 发表于 2017-7-11 15:51:47

感觉没啥难度呀~
把 headers 填好就行了

import re
import requests as req

ReqHeaders={
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Encoding':'gzip,deflate,sdch',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Cache-Control':'max-age=0',
    'Connection':'keep-alive',
    'Content-Type':'application/x-www-form-urlencoded',
    'Host':'dev.yii2.cc',
    'Origin':'https://dev.yii2.cc',
    'Referer':'https://dev.yii2.cc/fishc/task1',
    'User-Agent':'Mozilla/5.0 (Windows NT 5.1)'
}

ptn=re.compile(r'<input[^>]*'
                'name="([^"]+)"[^>]*'
                'value="([^"]+)"')

url=r'https://dev.yii2.cc/fishc/task1'

ssn=req.Session()
ssn.headers=ReqHeaders
rsp=ssn.get(url)
f=ptn.findall(rsp.text)
rsp2=ssn.post(url,data=dict(f))
print(rsp2.text)

##'Welcome iLoveFishcDotCom'

jerryxjr1220 · 发表于 2017-7-11 16:50:03

hldh214 发表于 2017-7-11 15:24
公布一波标答, 抛砖引玉了

你这个还是要先get到密码，然后才能登录。
我比较好奇的是，你这个密码（name和value）是如何生成的，自己有没有办法合成，这样直接post就能登录了。

hldh214 · 发表于 2017-7-12 10:53:28

jerryxjr1220 发表于 2017-7-11 16:50
你这个还是要先get到密码，然后才能登录。
我比较好奇的是，你这个密码（name和value）是如何生成的，自 ...

在后端生成, 源码在此

https://github.com/phalcon/cphalcon/blob/107b6f0197b0464d9f6b11ff390a560c000bf448/phalcon/security.zep

wei_Y · 发表于 2017-7-13 09:45:53

来晚了，好像没难点。
里面不含js，所有东西后端生成。
所以get请求的页面会返回所有需要的东西。
账号密码是已知的，只有一个hidden属性的input，
值虽然是每次都变化，不过因为不是js生成，请求即包含。

感觉登陆难的地方是自动绕过验证。

[技术交流] 爬虫【很久一题】简单登录

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐:

点评

评分

浏览过的版块

账号		自动登录	找回密码
密码			立即注册