鱼C论坛

 找回密码
 立即注册
查看: 2093|回复: 7

腾讯新闻不能爬取了么?

[复制链接]
发表于 2019-9-20 17:10:11 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import requests
  2. from bs4 import BeautifulSoup
  3. url = "http://news.qq.com/"
  4. # 请求腾讯新闻的URL,获取其text文本
  5. wbdata = requests.get(url).text
  6. # 对获取到的文本进行解析
  7. soup = BeautifulSoup(wbdata,'lxml')
  8. # 从解析文件中通过select选择器定位指定的元素,返回一个列表
  9. news_titles = soup.select("div.detail > h3> a.href")
  10. # 对返回的列表进行遍历
  11. for n in news_titles:
  12.     # 提取出标题和链接信息
  13.     title = n.get_text()
  14.     link = n.get("href")
  15.     data = {
  16.         '标题':title,
  17.         '链接':link
  18.     }

  19.     print(data)
  20. #什么都不输出!

复制代码

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-21 12:04:47 | 显示全部楼层
内容是不是都弄成js调用了,可以试一下用selenium
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-9-21 15:11:30 | 显示全部楼层
傻纸 发表于 2019-9-21 12:04
内容是不是都弄成js调用了,可以试一下用selenium

内容是不是都弄成js调用 这个怎么看呢?请您细说
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-21 16:31:16 | 显示全部楼层
需要请求的真是的数据地址,才能得出数据。
不知要什么新闻,随便找了几个、   
https://news.qq.com/ninja/qqnews_jiaozhen.htm
https://news.qq.com/ext2020/apub/json/prevent.new.json
https://news.qq.com/ninja/qqnews_jiaozhen.htm


需要用fiddler等抓包软件抓包分析.
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-21 17:08:04 | 显示全部楼层
弱弱的佳佳 发表于 2019-9-21 15:11
内容是不是都弄成js调用 这个怎么看呢?请您细说

这个貌似 右键查看源代码,里面没有内容而是很多js调用,就说明是吧~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-22 00:43:53 | 显示全部楼层
本帖最后由 Stubborn 于 2019-9-22 00:49 编辑

https://i.match.qq.com/ninja/fra ... &callback=__jp0     GET 这个接口  如果是下载滚动下载的那个,恩恩    GET这个链接,具体参数  你尝试修改page参数,进行翻页请求试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-28 08:57:55 | 显示全部楼层
网站也在防止Python爬虫
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-10-14 15:27:28 | 显示全部楼层
Stubborn 发表于 2019-9-22 00:43
https://i.match.qq.com/ninja/fragcontent?pull_urls=news_top_2018&callback=__jp0     GET 这个接口  如 ...

可以啊,我在浏览器上吧这个参数和下面几个翻了几遍,被君一下提醒到了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-28 21:37

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表