[已解决]find_all()如果在结构体中找不到对应的元素怎么办，比如结构体可能缺失该元素

梦景/

下面的数据是不对的，mvdate也就是上映日期，有些电影他没有写上映日期，我需要让所有数据的对应索引是一样的，但是现在如果他找不到对应的元素值，仍然继续写入，这样的话，数据顺序是错误的，到后面会报索引越界的错误。‘
请问怎么解决这个问题？
url为https://ssr1.scrape.center/page/1

from asyncore import write
import requests,bs4

# url='https://ssr1.scrape.center/page/'

# 获取所有的url
urlls=['https://ssr1.scrape.center/page/'+str(i) for i in range(1,11)]

header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.62'}

mvname=[]
mvtype=[]
mvcountry=[]
mvtime=[]
mvdate=[]
mvscore=[]


def gethtml():
    for i in range(10):
        page=requests.get(urlls[i],headers=header)
        page.encoding='utf-8'
        pagetext=bs4.BeautifulSoup(page.text,'html.parser')
        w=1
        # print(str(pagetext.find_all('div',class_="el-card__body")))
        for j in pagetext.find_all('div',class_="el-card__body"):
            mvname.append(j.find('a',class_='name').find('h2',class_='m-b-sm').text)
            mvtype.append('、'.join([k.find('span').text for k in j.find_all('button',class_="el-button category el-button--primary el-button--mini")]))
            mvcountry.append(j.find_all('div',class_="m-v-sm info")[0].find_all('span')[0].text)
            mvtime.append(j.find_all('div',class_="m-v-sm info")[0].find_all('span')[2].text)
        
            # mvdate.append(l.find_all('span').text for l in  j.find_all('div',class_="m-v-sm info") if  '上映' in str(l.find_all('span').text))
            # print(j.find_all('div',class_="m-v-sm info")[1].find_all('span'))

            for l in j.find_all('div',class_="m-v-sm info")[1].find_all('span'):
                w+=1
                print(l)
                if w==8:  #已知第8条数据没有上映日期，但这样写不知道为啥第8条的数据写入依然是错误的 
                    # mvdate.append(j.find_all('div',class_="m-v-sm info")[1].find_all('span')[0].text)
                    mvdate.append('未知')
                else:
                    mvdate.append(l.text)

            # mvdate.append(j.find('div',class_="m-v-sm info").find('span').text)

            mvscore.append(str(j.find('p',class_='score m-t-md m-b-n-sm').text).strip())


        # print(mvscore)        
        # print(mvtime)
        # print(mvdate)
        # print(mvcountry)
        # print(mvtype)
        # print(mvname)
    return [mvname,mvscore,mvtype,mvcountry,mvtime,mvdate]
    #           0     1      2       3        4      5

# gethtml()
def write():
    data=gethtml()
    with open('data.csv','w',encoding="utf-8") as f:
        for i in range(len(data[0])):
            f.writelines(','.join((data[0][i],data[1][i],data[2][i],data[3][i],data[4][i],data[5][i]))+'\n')
            
   
write()

最佳答案

月排行榜 / 总排行榜

翼是孤独

2022-1-23 11:00:03

你看一下网页源码
第8 条第二个<div data-v-7f856186 class="m-v-sm info"></div>里面是空的，是没有span的
这和有<span>，span内容为空是两码事
既然没有span，你就不能 [0].text
你可以加个判断，判断一下find_all('span')的长度，是0的话再填“未知”

跳转到最佳答案楼层

梦景/

#法1：
mvdate.append(j.find_all('div',class_="m-v-sm info")[1].find_all('span')[0].text if len(j.find_all('div',class_="m-v-sm info")[1].find_all('span'))!=0 else '未知')
#法2：
try:
     mvdate.append(j.find_all('div',class_="m-v-sm info")[1].find_all('span')[0].text)
except:
      mvdate.append('未知')

翼是孤独

你看一下网页源码
第8 条第二个<div data-v-7f856186 class="m-v-sm info"></div>里面是空的，是没有span的
这和有<span>，span内容为空是两码事
既然没有span，你就不能 [0].text
你可以加个判断，判断一下find_all('span')的长度，是0的话再填“未知”

梦景/

翼是孤独 发表于 2022-1-23 11:00
你看一下网页源码
第8 条第二个里面是空的，是没有span的
这和有，span内容为空是两码事

我不是说了吗元素缺失怎么办ma，你说的这个就是我问的问题呀。我也知道需要判断可是我不知怎么判断。。
我用了try方法解决了，不过肯定还有别的方法，如果你知道的话，告诉我。谢谢

try:
          mvdate.append(j.find_all('div',class_="m-v-sm info")[1].find_all('span')[0].text)
except:
          mvdate.append('未知')

梦景/

翼是孤独 发表于 2022-1-23 11:00
你看一下网页源码
第8 条第二个里面是空的，是没有span的
这和有，span内容为空是两码事

懂了。一直在想判断判断，可是就是想不出了怎么判断，害害，谢谢

mvdate.append(j.find_all('div',class_="m-v-sm info")[1].find_all('span')[0].text if len(j.find_all('div',class_="m-v-sm info")[1].find_all('span'))!=0 else '未知')