关于爬虫

tiger吴 · 发表于 2020-8-11 19:18:33

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q=ipad&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
检查里面的netework里面的源码包含了页面的所有信息，但是我爬取打印出来的源码少了很多东西，求解，还是上个代码把

from selenium import webdriver
import pprint

browser=webdriver.Chrome()
#target=input('请输入需要爬取的物品')
target='ipad'
url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q='+target+'&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
browser.get(url)

page_source=browser.page_source
pprint.pprint(page_source)

小甲鱼的铁粉 · 发表于 2020-8-11 19:44:12

我看这个网页是需要登陆的

suchocolate · 发表于 2020-8-11 20:02:58

本帖最后由 suchocolate 于 2020-8-11 20:10 编辑

page_source等于加载完成的页面，JavaScript，Json等数据不一定在其中。

tiger吴 · 发表于 2020-8-11 20:49:02

怎么弄呢

tiger吴 · 发表于 2020-8-11 20:49:38

小甲鱼的铁粉发表于 2020-8-11 19:44
我看这个网页是需要登陆的

嗯，就是淘宝网

1q23w31 · 发表于 2020-8-11 21:23:52

tiger吴发表于 2020-8-11 20:49
嗯，就是淘宝网

先去淘宝首页进行登录，再打开你的页面

账号		自动登录	找回密码
密码			立即注册