鱼C论坛

 找回密码
 立即注册
查看: 3242|回复: 1

Python Spynner的问题请教

[复制链接]
发表于 2015-9-1 14:01:52 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
最近在爬一些网站发现js做的网站爬源码是不行的,于是用Spynner把所有内容都爬下来,但是需要登录的网站不会爬,如果用urllib爬出来的是源码,希望有高手教教怎么用Spynner里的Browser()登录网页,并抓取全部内容,在这里谢谢大家了
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2015-9-10 15:02:55 | 显示全部楼层
import spynner


def waitfor(browser):
    if "close_alert_ad" in browser.html:
        return True






browser = spynner.Browser()
browser.show()
browser.load(url='http://mail.sohu.com/', load_timeout=120, tries=1)
browser.wait(1)
browser.wk_fill('input[name="username"]', '邮箱帐户')
browser.wk_fill('input[name="password"]', '邮箱密码')
browser.load_jquery(True)

#browser.click("#login_img",wait_load=True, timeout=20)
#browser.click("#login_img",wait_load=False)
browser.runjs("$(\"#login_img\").click()")
#browser.click("#close_alert_ad",wait_load=False, timeout=20)
browser.wait_for_content(waitfor,tries=6)

browser.click("#close_alert_ad",wait_load=False, timeout=20)
browser.wait(3)

browser.runjs("$(\"#check_mail\").click())")
#browser.runjs("document.getElementById(\"folder_-2\").click()")
browser.wait(10)
html = browser.html.encode('raw_unicode_escape')
print (html)
browser.wait(140)
browser.close()

python 2.7可用,搜钣邮箱,只能邦你到这了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-17 10:23

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表