[已解决]爬虫的一点小问题呀，快来吧

陈尚涵 · 发表于 2020-4-13 13:17:12

您需要登录才可以下载或查看，没有账号？立即注册

x

最近再弄爬虫，但是不知道怎么爬取谷歌浏览器Elements里的内容，谁有高招啊？

最佳答案

admintest166

2020-4-13 13:50:32

Elements上半部分是源代码可以用官方的urllib或者requests get请求就能拿到下半部分是css样式如果你想要css样式可以抓包看一下url是什么直接请求获取就行了

陈尚涵 · 发表于 2020-4-13 13:19:24

陈尚涵 · 发表于 2020-4-13 13:21:06

好难受，快来人啊！

wp231957 · 发表于 2020-4-13 13:21:57

爬取的是网站，和谷歌浏览器有啥关系

陈尚涵 · 发表于 2020-4-13 13:23:03

求求求，快来人

陈尚涵 · 发表于 2020-4-13 13:24:54

wp231957 发表于 2020-4-13 13:21
爬取的是网站，和谷歌浏览器有啥关系

默认爬取的网页源代码，而我想要爬取谷歌浏览器Elements的内容，怎么板？

wp231957 · 发表于 2020-4-13 13:26:00

陈尚涵发表于 2020-4-13 13:24
默认爬取的网页源代码，而我想要爬取谷歌浏览器Elements的内容，怎么板？

最后说一遍，你想爬哪个网站，想爬哪部分数据

陈尚涵 · 发表于 2020-4-13 13:27:35

wp231957 发表于 2020-4-13 13:26
最后说一遍，你想爬哪个网站，想爬哪部分数据

爬取网址：www.baidu.com/s?wd=爬虫
谷歌右键，点击检查，点击Elements，那段内容怎么爬取？（我还是个新手）

陈尚涵 · 发表于 2020-4-13 13:32:08

我想爬取www.baidu.com/s?wd=爬虫
然后再谷歌浏览器右键，点击检查，点击Elements，那部分内容

admintest166 · 发表于 2020-4-13 13:44:11

陈尚涵发表于 2020-4-13 13:32
我想爬取www.baidu.com/s?wd=爬虫
然后再谷歌浏览器右键，点击检查，点击Elements，那部分内容

import requests
url='https://www.baidu.com/wd=%E7%88%AC%E8%99%AB'

request=requests.get(url).text
print(request)

admintest166 · 发表于 2020-4-13 13:47:24

admintest166 发表于 2020-4-13 13:44

你这个问的问题就有点含糊不清 Elements是查看网页的源代码

admintest166 · 发表于 2020-4-13 13:50:32

Elements上半部分是源代码可以用官方的urllib或者requests get请求就能拿到下半部分是css样式如果你想要css样式可以抓包看一下url是什么直接请求获取就行了

陈尚涵 · 发表于 2020-4-13 14:00:43

admintest166 发表于 2020-4-13 13:50
Elements上半部分是源代码可以用官方的urllib或者requests get请求就能拿到下半部分是css样式如果你想 ...

哦，3Q!

账号		自动登录	找回密码
密码			立即注册