关于爬虫

tiger吴

url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q=ipad&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
检查里面的netework里面的源码包含了页面的所有信息，但是我爬取打印出来的源码少了很多东西，求解，还是上个代码把

1. from selenium import webdriver
   
2. import pprint
   
3. 
   
4. browser=webdriver.Chrome()
   
5. #target=input('请输入需要爬取的物品')
   
6. target='ipad'
   
7. url='https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20200810&stats_click=search_radio_all%3A1&js=1&imgfile=&q='+target+'&suggest=history_1&_input_charset=utf-8&wq=ipad&suggest_query=ipad&source=suggest'
   
8. browser.get(url)
   
9. 
   
10. page_source=browser.page_source
    
11. pprint.pprint(page_source)

复制代码

小甲鱼的铁粉

我看这个网页是需要登陆的

suchocolate

page_source等于加载完成的页面，JavaScript，Json等数据不一定在其中。

tiger吴

怎么弄呢

tiger吴

小甲鱼的铁粉 发表于 2020-8-11 19:44
我看这个网页是需要登陆的

嗯，就是淘宝网

1q23w31

tiger吴 发表于 2020-8-11 20:49
嗯，就是淘宝网

先去淘宝首页进行登录，再打开你的页面