鱼C论坛

 找回密码
 立即注册
查看: 389|回复: 1

爬虫问题求帮助

[复制链接]
发表于 2018-12-21 14:00:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
今天安好selenuim之后,用selenuim模拟登陆qq邮箱代码如下
  1. import time
  2. from selenium import webdriver
  3. from lxml import etree

  4. driver = webdriver.Chrome()

  5. driver.get('https://mail.qq.com/cgi-bin/loginpage')
  6. time.sleep(3)


  7. driver.switch_to.frame("login_frame")
  8. driver.find_element_by_css_selector("#u").clear()
  9. driver.find_element_by_css_selector("#u").send_keys('1910151771')
  10. driver.find_element_by_xpath('//*[@id="p"]').clear()
  11. driver.find_element_by_xpath('//*[@id="p"]').send_keys('**********')
  12. driver.find_element_by_xpath('//*[@id="login_button"]').click()
  13. # driver.find_element_by_xpath('//*[@id="login_button"]').submit()

  14. ##获取登陆页面的title判断是否登陆成功
  15. title = driver.title
  16. print(title)

  17. if title == '登录QQ邮箱':
  18.     print('登陆成功')
  19. else:
  20.     print('登录失败')


  21. ##获取当前的url与预期的url做对比
  22. now_url = driver.current_url
  23. print(now_url)

  24. data =driver.page_source
  25. html = etree.HTML(data)
  26. now_user = driver.find_element_by_xpath('//div[@class="lgoo"]/a/div/div/b').text
  27. # now_user = html.xpath('//div[@class="lgoo"]/a/div/div/b/@id')
  28. print(now_user)

复制代码

问题:
1、登陆之后想爬取qq邮箱的昵称,如图2所示的红色箭头处但是运行之后报错匹配不到对应的文本,开始感觉是xpath写错了,
     然后用requests和xpath爬取了一下如图四,结果还是匹配不到,后来发现我用requests爬取下来page(见图4)和网页源代码中   
     的内容不一样,如图3中划红线的部分好像page中都没有,不知道是怎么回事?求大佬指点

2、如图一所示红色箭头部分的那一行代码是什么作用,之前一直登陆不了,加了之后就可以了,

i need you  help  dalao


吐槽一下,这个贴我都发过一次了,但是就是显示我的帖子不见了,找不到,我也不知道是咋回事?








图片1

图片1

图片2

图片2

图片3

图片3

图片4

图片4
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-12-21 14:16:33 | 显示全部楼层
自己顶一下
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-12 12:37

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表