鱼C论坛

 找回密码
 立即注册
查看: 141|回复: 2

请教,如何获取 Chrome浏览器-检查-网络 里面的数据?

[复制链接]
发表于 2024-9-27 09:14:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
requests的get()和post()都无法获取 Chrome浏览器-检查-网络 里面的数据。要第三方库才能获取吗?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2024-9-27 09:21:33 | 显示全部楼层
通常,`requests`库无法抓取某些复杂的网页数据,因为很多网站使用JavaScript动态加载内容。为了获取这些数据,你可以使用以下第三方库:

1. **Selenium**:可以控制浏览器,模拟用户操作。
2. **BeautifulSoup**:结合 `requests` 库解析静态页面。
3. **Scrapy**:一个强大的爬虫框架。

其中,Selenium是最常用的方法,因为它能处理动态加载的数据。

一个简单的Selenium示例如下:

1. 安装Selenium:

pip install selenium

2. 下载浏览器驱动(如Chromedriver)并设置路径。

3. 示例代码:

from selenium import webdriver

   # 设置Chrome驱动路径
   chrome_driver_path = "path/to/chromedriver"
   driver = webdriver.Chrome(executable_path=chrome_driver_path)

   # 打开目标网站
   driver.get("https://example.com")

   # 获取动态内容
   content = driver.page_source

   # 关闭浏览器
   driver.quit()

   print(content)

通过这种方式,你可以获取页面加载完成后的数据。希望这个回答对你有帮助!有什么不明白的地方随时可以问。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2024-9-27 10:47:54 | 显示全部楼层
发具体网址  以及你想get哪些数据
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-23 16:33

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表