ovsexia 发表于 2019-6-23 11:23:52

BeautifulSoup 如何分获取某个div里面的子元素

例如：
import urllib.request
from bs4 import BeautifulSoup

url = 'http://www.baidu.com'

#头部信息
def copyhead():
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
    req = urllib.request.Request(url,headers=headers)
    page = urllib.request.urlopen(req,timeout=20)
    contents = page.read()
    soup = BeautifulSoup(contents,'html.parser')
    return soup


#抓取
def copyimg(url):
    soup = copyhead()
   
    baidu = soup.find_all('div',id='lg')
    print(baidu)

    #如何再继续获取 <div id='lg'></div> 里面的图片

copyimg(url)


如何再继续获取 <div id='lg'></div> 里面的图片

ovsexia 发表于 2019-6-23 13:42:14

自己解决了

baidu = soup.find('div',id='lg').find_all('img')

第一个不能用 find_all 只能用find，后面的才能用 find_all

MadJoker 发表于 2019-7-25 19:33:44

你好,你这里存在一个小小的误区,并非是不能用find_all()方法,find_all()方法是用来查找所有符合该条件的元素,并将其以列表的形式返回。所以我们需要将里面装的元素提取出来,其类型为Tag类型,然后再使用find()获取即可。修正后的代码如下:import urllib.request
from bs4 import BeautifulSoup

url = 'http://www.baidu.com'

#头部信息
def copyhead():
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
    req = urllib.request.Request(url,headers=headers)
    page = urllib.request.urlopen(req,timeout=20)
    contents = page.read()
    soup = BeautifulSoup(contents,'html.parser')
    return soup


#抓取
def copyimg(url):
    soup = copyhead()
    print(type(soup))
    baidu = soup.find_all('div',id='lg').find(name='img').attrs['src']
    print(baidu)

copyimg(url)


页: [1]
查看完整版本: BeautifulSoup 如何分获取某个div里面的子元素