tiger吴 发表于 2020-8-11 19:18:33

关于爬虫

url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q=ipad&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
检查里面的netework里面的源码包含了页面的所有信息，但是我爬取打印出来的源码少了很多东西，求解，还是上个代码把
from selenium import webdriver
import pprint

browser=webdriver.Chrome()
#target=input('请输入需要爬取的物品')
target='ipad'
url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q='+target+'&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
browser.get(url)

page_source=browser.page_source
pprint.pprint(page_source)

小甲鱼的铁粉 发表于 2020-8-11 19:44:12

我看这个网页是需要登陆的

suchocolate 发表于 2020-8-11 20:02:58

本帖最后由 suchocolate 于 2020-8-11 20:10 编辑

page_source等于加载完成的页面，JavaScript，Json等数据不一定在其中。

tiger吴 发表于 2020-8-11 20:49:02

怎么弄呢

tiger吴 发表于 2020-8-11 20:49:38

小甲鱼的铁粉 发表于 2020-8-11 19:44
我看这个网页是需要登陆的

嗯，就是淘宝网

1q23w31 发表于 2020-8-11 21:23:52

tiger吴 发表于 2020-8-11 20:49
嗯，就是淘宝网

先去淘宝首页进行登录，再打开你的页面
页: [1]
查看完整版本: 关于爬虫