[已解决]soup.find_all()

def花

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. url = 'https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%C3%C0%C5%AE&fr=ala&ala=1&alatpl=cover&pos=0&hs=2&xthttps=111111'
   
5. response = urllib.request.urlopen(url)
   
6. html = response.read().decode('utf-8')
   
7. soup = BeautifulSoup(html,'lxml')
   
8. 
   
9. print(soup.body.div.div.div.div.div.ul)
   
10. print(soup.find_all(name=''))
    

复制代码

怎么都获取不到想要的，怎么才能得到它（下面图片蓝色部分）

1. >>> soup.find_all(attrs={'class':'imgitem'})
   
2. []
   
3. >>> soup.find_all(class_='imgitem')
   
4. []
   
5. >>>

复制代码

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-24 20:34:55

def花 发表于 2020-8-24 20:10
可是还是找不出来

用浏览器访问你的网址，关闭js后网页自动跳转到百度图片

跳转到最佳答案楼层

qiuyouzhi

https://www.cnblogs.com/cymwill/articles/7574479.html

liuzhengyuan

qiuyouzhi 发表于 2020-8-24 20:00
https://www.cnblogs.com/cymwill/articles/7574479.html

你最佳突破 1000 了

def花

qiuyouzhi 发表于 2020-8-24 20:00
https://www.cnblogs.com/cymwill/articles/7574479.html

1. >>> soup.find_all(lambda tag:tag.has_attr('class') and tag.has_attr('data-objurl'))
   
2. []

复制代码

可是还是找不出来

1q23w31

def花 发表于 2020-8-24 20:10
可是还是找不出来

网页涉及js，建议用webdriver抓取

1q23w31

def花 发表于 2020-8-24 20:10
可是还是找不出来

用浏览器访问你的网址，关闭js后网页自动跳转到百度图片

def花

1q23w31 发表于 2020-8-24 20:34
用浏览器访问你的网址，关闭js后网页自动跳转到百度图片

怎么关闭它？

1q23w31

def花 发表于 2020-8-25 07:58
怎么关闭它？

浏览器设置里找找可以禁用js 或者找个有这个功能的插件