论坛 › Python交流 › 请教下有什么方法爬取preview数据？

abababab 发表于 2023-3-31 23:15:33

请教下有什么方法爬取preview数据？

请教下有什么方法爬取preview数据？
看网页源码没有对应数据的，只有这preview有数据。

isdkz 发表于 2023-3-31 23:23:29

preview的数据一样可以通过 .text 获取到呀

昭昭天命amg 发表于 2023-4-1 02:13:30

dic = requests.get(url=url, headers=headers).json()
api = dic['api']
data = dic['api']['data']
如果没记错应该是这样获取的

歌者文明清理员 发表于 2023-4-1 07:22:14

确实，网页源代码会和开发工具里的有差异（动态渲染）
可以用selenium库：
from selenium import webdriver
from time import sleep
option = webdriver.ChromeOptions()
chrome = webdriver.Chrome(options=option)
chrome.get(url)
sleep(1)# 等待加载。你可以自行调整（单位为秒）
print(chrome.page_source)
chrome.close()

注意，需要安装 Chromedriver。配置指南 selenium指南 例子

abababab 发表于 2023-4-4 12:28:49

怎么取chrome数据，构造post请求？

查看完整版本: 请教下有什么方法爬取preview数据？