论坛 › Web交流（Python） › 新手小白学习爬虫，请大佬帮忙解答一下，万分感谢~~

liubulong 发表于 2023-4-21 17:23:41

新手小白学习爬虫，请大佬帮忙解答一下，万分感谢~~

我想爬取这个页面的所有电影名称

代码如下:
import requests
from bs4 import BeautifulSoup
import openpyxl

def open_url(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    html = requests.get(url, headers=headers).text
    return html

def get_data(html):
    content = BeautifulSoup(html, "html.parser")
    data = content.find_all('li', attrs={'class': 'stitle'})
    cinema_list = []
    for d in data:
      plist = d.find('a')['title']
      cinema_list.append(plist)
      return cinema_list

def save_as_excel(mylist):
    wb = openpyxl.Workbook()
    ws = wb.active

    ws['A1'] = '电影'

    for d in mylist:
      ws.append()

    wb.save('2023电影排行.xlsx')

def main():
    url = 'https://movie.douban.com/cinema/nowplaying/shanghai/'
    html = open_url(url)
    mylist = get_data(html)
    save_as_excel(mylist)

if __name__ == '__main__':
    main()


显示结果只有一个灌篮高手，请问那是为何呢？求大佬帮忙解答一下，谢谢

歌者文明清理员 发表于 2023-4-21 17:27:03

本帖最后由 歌者文明清理员 于 2023-4-21 17:29 编辑


return会直接结束函数，所以缩进要往前移

isdkz 发表于 2023-4-21 17:27:48

你的代码中出现了一个小问题。在 get_data 函数中的 for 循环后，需要将 `return cinema_list` 移出循环之外。这是因为当前的代码只会循环到第一个电影名称，然后就直接返回了。

修改后的代码如下所示：

import requests
from bs4 import BeautifulSoup
import openpyxl

def open_url(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    html = requests.get(url, headers=headers).text
    return html

def get_data(html):
    content = BeautifulSoup(html, "html.parser")
    data = content.find_all('li', attrs={'class': 'stitle'})
    cinema_list = []
    for d in data:
      plist = d.find('a')['title']
      cinema_list.append(plist)
    return cinema_list

def save_as_excel(mylist):
    wb = openpyxl.Workbook()
    ws = wb.active

    ws['A1'] = '电影'

    for d in mylist:
      ws.append()

    wb.save('2023电影排行.xlsx')

def main():
    url = 'https://movie.douban.com/cinema/nowplaying/shanghai/'
    html = open_url(url)
    mylist = get_data(html)
    save_as_excel(mylist)

if __name__ == '__main__':
    main()


运行以上代码后，你应该会得到一个电影名称的列表，包含当前正在上映的所有电影名称。

liubulong 发表于 2023-4-21 17:37:16

isdkz 发表于 2023-4-21 17:27
你的代码中出现了一个小问题。在 get_data 函数中的 for 循环后，需要将 `return cinema_list` 移出循 ...

谢谢大佬，可以了~~

isdkz 发表于 2023-4-21 17:38:10

liubulong 发表于 2023-4-21 17:37
谢谢大佬，可以了~~

不客气{:5_109:}

查看完整版本: 新手小白学习爬虫，请大佬帮忙解答一下，万分感谢~~