爬虫经典案例——豆瓣Top250电影

爱意随风起9306

要求：写一个爬虫或者爬虫框架，在豆瓣电影（https://movie.douban.com/top250?）抓取250部电影的电影名称、导演与演员、电影评分、首次上演日期、评价人数、电影总结、海报封面地址以及每部电影的详情页地址，并进行保存（text或者csv格式）。

写的代码如下，但是上演日期，海报封面地址以及每部电影的详情页地址不会找路径，有没有大佬完善一下我的代码

1. from lxml import etree   
   
2. import time               
   
3. import random            
   
4. import requests           
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
6. 
   
7. def processing(strs):
   
8.     s = ''  
   
9.     for n in strs:
   
10.         n = ''.join(n.split())  
    
11.         s = s + n  
    
12.     return s      
    
13. def get_movie_info(url):
    
14.     response = requests.get(url,headers=header)                  
    
15.     html = etree.HTML(response.text)                              
    
16.     div_all = html.xpath('//div[@class="info"]')
    
17.     for div in div_all:
    
18.         names = div.xpath('./div[@class="hd"]/a//span/text()')   
    
19.         name = processing(names)                                    
    
20.         infos = div.xpath('./div[@class="bd"]/p/text()')         
    
21.         info = processing(infos)                                   
    
22.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')      
    
23.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')  
    
24.         url_movie = html.xpath('//div[@class="hd"]/a/@href')
    
25.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
26.         #summary = div.xpath('./div[@class="bd"]/p[@class="quote"]/span/text()')
    
27.         print('电影名称：',name)
    
28.         print('导演与演员：',info)
    
29.         print('电影评分：',score)
    
30.         print('评价人数：',evaluation)
    
31.         print('电影总结：',summary)
    
32.         print(url_movie)
    
33.         print('--------分隔线--------')
    
34. if __name__ == '__main__':
    
35.     for i in range(0,250,25):   
    
36.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
37.         get_movie_info(url)                     
    
38.         time.sleep(random.randint(1,3))         
    

复制代码

FishC

你好！关于电影上演日期、海报封面地址以及每部电影的详情页地址的获取，可以按照以下方法进行修改和完善：

1. 上演日期的获取：在你的代码中已经获取了每部电影的信息列表div_all，可以通过修改xpath表达式来获取上演日期。首先验证一下在div中是否有包含上演日期的元素，例如可以找到包含上演日期的div的xpath表达式为'./div/div[2]/p[1]/text()'（假设上演日期信息位于div下的第二个div中的第一个p元素）。然后在循环遍历div_all时，相应地修改获取上演日期的代码，例如：

1. dates = div.xpath('./div/div[2]/p[1]/text()')
2. date = processing(dates)
3. print('首次上演日期：', date)

复制代码

2. 海报封面地址的获取：在div中获取海报封面地址比较简单，可以直接使用img标签的src属性来获取。在循环遍历div_all时，添加以下代码来获取海报封面地址：

1. poster_urls = div.xpath('./div/a/img/@src')
2. if poster_urls:
3.     poster_url = poster_urls[0]
4.     print('海报封面地址：', poster_url)

复制代码

需要注意的是，有些电影可能没有海报封面地址，所以需要做一些逻辑判断。

3. 每部电影的详情页地址的获取：在你的代码中已经获取了整个页面的电影详情页地址列表url_movie，但是需要注意修改一下xpath表达式，使其只返回当前div中的电影详情页地址。例如：

1. url_movie = div.xpath('./div/a/@href')

复制代码

然后在循环遍历div_all时，相应地修改打印电影详情页地址的代码，例如：

1. print('电影详情页地址：', url_movie[0])

复制代码

以上是对你的代码进行修改和完善，可以尝试将这些修改后的代码添加到你原来的代码中，并再次运行看看结果是否符合预期。希望能帮到你！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

@FishC

FishC

爱意随风起9306 发表于 2023-12-11 15:47
@FishC

你好！有什么问题我能帮助你解答的吗？

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

FishC 发表于 2023-12-11 15:47
你好！有什么问题我能帮助你解答的吗？

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继 ...

如果首次上演日期在电影详情页地址里面，该如何获取

爱意随风起9306

爱意随风起9306 发表于 2023-12-11 16:01
如果首次上演日期在电影详情页地址里面，该如何获取

@FishC

FishC

爱意随风起9306 发表于 2023-12-11 16:02
@FishC

你好！我是FishC的计算机教育专家，很高兴能够回答你的问题。请告诉我你遇到了什么困惑，我会尽力帮助你解决。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

FishC

爱意随风起9306 发表于 2023-12-11 16:01
如果首次上演日期在电影详情页地址里面，该如何获取

如果首次上演日期在电影详情页地址中，你可以在获取电影详情页地址后，进入每个详情页，并在详情页中通过相应的XPath表达式来获取首次上演日期。下面是一个示例代码：

1. import requests
2. from lxml import etree
4. header = {
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
6. }
8. def processing(strs):
9.     s = ''
10.     for n in strs:
11.         n = ''.join(n.split())
12.         s = s + n
13.     return s
15. def get_movie_info(url):
16.     response = requests.get(url, headers=header)
17.     html = etree.HTML(response.text)
19.     # 获取电影详情页地址列表
20.     url_movie = html.xpath('//div[@class="hd"]/a/@href')
21.     for movie_url in url_movie:
22.         # 进入每个详情页
23.         response_movie = requests.get(movie_url, headers=header)
24.         html_movie = etree.HTML(response_movie.text)
26.         # 获取首次上演日期
27.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
28.         date = processing(dates)
29.         
30.         # 打印首次上演日期
31.         print('首次上演日期：', date)
33. if __name__ == '__main__':
34.     for i in range(0, 250, 25):
35.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
36.         get_movie_info(url)

复制代码

这样，就可以进入每个详情页并获取首次上演日期了。希望能对你有所帮助！如有其他问题，请随时向我提问。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

写一个爬虫或者爬虫框架，在豆瓣电影（https://movie.douban.com/top250?）抓取250部电影的电影名称、导演与演员、电影评分、首次上演日期、评价人数、电影总结、海报封面地址以及每部电影的详情页地址，并进行保存（text或者csv格式）。@FishC

FishC

爱意随风起9306 发表于 2023-12-11 16:10
写一个爬虫或者爬虫框架，在豆瓣电影（https://movie. ...

好的，下面是一个使用Python编写的简单爬虫框架，用于抓取豆瓣电影Top250页面的电影信息并保存到CSV文件中：

1. import requests
2. from bs4 import BeautifulSoup
3. import csv
5. def get_movie_details(url):
6.     details = []
8.     response = requests.get(url)
9.     soup = BeautifulSoup(response.text, 'html.parser')
11.     movie_list = soup.find(class_='grid_view').find_all('li')
12.     for movie in movie_list:
13.         title = movie.find(class_='title').text
14.         info = movie.find(class_='bd').find('p').text
15.         rating = movie.find(class_='rating_num').text
16.         date = movie.find(class_='inq').text.strip()
17.         summary = movie.find(class_='quote').find('span').text.strip()
18.         poster = movie.find(class_='pic').find('img')['src']
19.         detail_url = movie.find(class_='hd').find('a')['href']
21.         movie_details = [title, info, rating, date, summary, poster, detail_url]
22.         details.append(movie_details)
24.     return details
26. def save_to_csv(details):
27.     with open('douban_movies.csv', 'w', newline='', encoding='utf-8') as file:
28.         writer = csv.writer(file)
29.         writer.writerow(['电影名称', '导演与演员', '电影评分', '首次上演日期', '电影总结', '海报封面地址', '详情页地址'])
30.         writer.writerows(details)
32. def main():
33.     url = 'https://movie.douban.com/top250'
34.     all_details = []
36.     for i in range(10):
37.         page_url = url + f'?start={i * 25}'
38.         details = get_movie_details(page_url)
39.         all_details.extend(details)
41.     save_to_csv(all_details)
42.     print('电影信息已保存到douban_movies.csv文件中。')
44. if __name__ == '__main__':
45.     main()

复制代码

这段代码使用了requests库和BeautifulSoup库来发送HTTP请求并解析HTML，然后通过循环访问豆瓣电影Top250的分页URL来获取每一页的电影信息，最终将所有电影信息保存到CSV文件中。

运行上述代码后，会生成一个名为`douban_movies.csv`的CSV文件，其中包含电影名称、导演与演员、电影评分、首次上演日期、电影总结、海报封面地址以及电影详情页地址的信息。

希望对你有帮助！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

1. from lxml import etree    # 导入etree子模块
   
2. import time               # 导入时间模块
   
3. import random             # 导入随机模块
   
4. import requests           # 导入网络请求模块
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
6. # 处理字符串中的空白符，并拼接字符串
   
7. def processing(strs):
   
8.     s = ''  # 定义保存内容的字符串
   
9.     for n in strs:
   
10.         n = ''.join(n.split())  # 去除空字符
    
11.         s = s + n  # 拼接字符串
    
12.     return s      # 返回拼接后的字符串
    
13. # 获取电影信息
    
14. def get_movie_info(url):
    
15.     response = requests.get(url,headers=header)                    # 发送网络请求
    
16.     html = etree.HTML(response.text)                               # 解析html字符串
    
17.     div_all = html.xpath('//div[@class="info"]')
    
18.     for div in div_all:
    
19.         names = div.xpath('./div[@class="hd"]/a//span/text()')   # 获取电影名字相关信息
    
20.         name = processing(names)                                    # 处理电影名称信息
    
21.         infos = div.xpath('./div[@class="bd"]/p/text()')         # 获取导演、主演等信息
    
22.         info = processing(infos)                                   # 处理导演、主演等信息
    
23.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')      # 获取电影评分
    
24.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')  # 获取评价人数
    
25.         url_movie = div.xpath('./div/a/@href') #电影下载地址
    
26.         # 获取电影总结文字
    
27.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
28.         #summary = div.xpath('./div[@class="bd"]/p[@class="quote"]/span/text()')
    
29.         print('电影名称：',name)
    
30.         print('导演与演员：',info)
    
31.         print('电影评分：',score)
    
32.         print('评价人数：',evaluation)
    
33.         print('电影总结：',summary)
    
34.         dates = div.xpath('./div/div[2]/p[1]/text()')
    
35.         date = processing(dates)
    
36.         print('首次上演日期：', date)
    
37.         poster_urls = div.xpath('./div/a/img/@src')
    
38.         if poster_urls:
    
39.             poster_url = poster_urls[0]
    
40.             print('海报封面地址：', poster_url)
    
41.         print('电影详情页地址：', url_movie[0])
    
42.         print('--------分隔线--------')
    
43. if __name__ == '__main__':
    
44.     for i in range(0,250,25):    # 每页25为间隔，实现循环，共10页
    
45.         # 通过format替换切换页码的url地址
    
46.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
47.         get_movie_info(url)                      # 调用爬虫方法,获取电影信息
    
48.         time.sleep(random.randint(1,3))          # 等待1至3秒随机时间
    

复制代码

1. import requestsfrom lxml import etreeheader = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}def processing(strs):    s = ''    for n in strs:        n = ''.join(n.split())        s = s + n    return sdef get_movie_info(url):    response = requests.get(url, headers=header)    html = etree.HTML(response.text)    # 获取电影详情页地址列表    url_movie = html.xpath('//div[@class="hd"]/a/@href')    for movie_url in url_movie:        # 进入每个详情页        response_movie = requests.get(movie_url, headers=header)        html_movie = etree.HTML(response_movie.text)        # 获取首次上演日期        dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')        date = processing(dates)                # 打印首次上演日期        print('首次上演日期：', date)if __name__ == '__main__':    for i in range(0, 250, 25):        url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)        get_movie_info(url)

复制代码

能将这两段代码结合为一段代码吗，看起来简洁美观一点@ FishC

FishC

爱意随风起9306 发表于 2023-12-11 16:18
from lxml import etree    # 导入etree子模块
impor ...

当然可以将这两段代码结合为一段更加简洁美观的代码。下面是结合的代码：import requestsfrom lxml import etreeheader = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}def processing(strs):    s = ''    for n in strs:        n = ''.join(n.split())        s = s + n    return sdef get_movie_info(url):    response = requests.get(url, headers=header)    html = etree.HTML(response.text)    div_all = html.xpath('//div')    for div in div_all:        names = div.xpath('./div/a//span/text()')        name = processing(names)        infos = div.xpath('./div/p/text()')        info = processing(infos)        score = div.xpath('./div/div/span/text()')        evaluation = div.xpath('./div/div/span/text()')        url_movie = div.xpath('./div/a/@href')        summary = div.xpath('.//p/span/text()')        dates = div.xpath('./div/div/p/text()')        date = processing(dates)        poster_urls = div.xpath('./div/a/img/@src')        if poster_urls:            poster_url = poster_urls            print('海报封面地址：', poster_url)        print('电影详情页地址：', url_movie)        print('--------分隔线--------')        # 进入每个详情页        for movie_url in url_movie:            response_movie = requests.get(movie_url, headers=header)            html_movie = etree.HTML(response_movie.text)            dates = html_movie.xpath('//span/text()')            date = processing(dates)            print('首次上演日期：', date)if __name__ == '__main__':    for i in range(0, 250, 25):        url = '[url=https://movie.douban.com/top250?start={page}&filter='.format(page=i)]https://movie.douban.com/top250?start={page}&filter='.format(page=i)[/url]        get_movie_info(url)通过上述代码，你可以在豆瓣电影Top250页面抓取电影的相关信息，并打印出电影详情页地址、首次上演日期和海报封面地址。希望对你有所帮助！如有其他问题，请随时提问。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

@ FishC 帮我改良一下代码，代码中的首次上演日期，全部都是一样的日期，除此以外，还有其他地方需要修改的代码也进行修改，并标注出来

1. from lxml import etree
   
2. import time
   
3. import random
   
4. import requests
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
6. def processing(strs):
   
7.     s = ''
   
8.     for n in strs:
   
9.         n = ''.join(n.split())
   
10.         s = s + n
    
11.     return s
    
12. 
    
13. def get_movie_info(url):
    
14.     response = requests.get(url,headers=header)
    
15.     html = etree.HTML(response.text)
    
16.     div_all = html.xpath('//div[@class="info"]')
    
17.     url_movie = html.xpath('//div[@class="hd"]/a/@href')
    
18.     for movie_url in url_movie:
    
19.         # 进入每个详情页
    
20.         response_movie = requests.get(movie_url, headers=header)
    
21.         html_movie = etree.HTML(response_movie.text)
    
22. 
    
23.     for div in div_all:
    
24.         names = div.xpath('./div[@class="hd"]/a//span/text()')
    
25.         name = processing(names)
    
26.         infos = div.xpath('./div[@class="bd"]/p/text()')
    
27.         info = processing(infos)
    
28.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')
    
29.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')
    
30.         url_movie = div.xpath('./div/a/@href')
    
31.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
32.         poster_urls = div.xpath('./div/a/img/@src')
    
33.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
    
34.         date = processing(dates)
    
35.         print('电影名称：',name)
    
36.         print('导演与演员：',info)
    
37.         print('电影评分：',score)
    
38.         print('评价人数：',evaluation)
    
39.         print('电影总结：',summary)
    
40.         print('电影详情页地址：', url_movie[0])
    
41.         print('首次上演日期：', date)
    
42.         if poster_urls:
    
43.             poster_url = poster_urls[0]
    
44.             print('海报封面地址：', poster_url)
    
45.         print('--------分隔线--------')
    
46. if __name__ == '__main__':
    
47.     for i in range(0,250,25):
    
48.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
49.         get_movie_info(url)
    
50.         time.sleep(random.randint(1,3))
    

复制代码

爱意随风起9306

爱意随风起9306 发表于 2023-12-11 16:53
@ FishC 帮我改良一下代码，代码中的首次上演日期，全部都是一样的日期，除此以外，还有其他地方需要修改的 ...

@FishC

FishC

爱意随风起9306 发表于 2023-12-11 17:11
@FishC

哈喽，我是FishC的计算机教育专家！欢迎来到编程的世界，有什么问题我可以帮助你解答呢？

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

FishC 发表于 2023-12-11 17:11
哈喽，我是FishC的计算机教育专家！欢迎来到编程的世界，有什么问题我可以帮助你解答呢？

以上回复来 ...

帮我改良一下代码，代码中的首次上演日期，全部都是一样的日期，除此以外，还有其他地方需要修改的代码也进行修改，并标注出来

1. from lxml import etree
   
2. import time
   
3. import random
   
4. import requests
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
6. def processing(strs):
   
7.     s = ''
   
8.     for n in strs:
   
9.         n = ''.join(n.split())
   
10.         s = s + n
    
11.     return s
    
12. 
    
13. def get_movie_info(url):
    
14.     response = requests.get(url,headers=header)
    
15.     html = etree.HTML(response.text)
    
16.     div_all = html.xpath('//div[@class="info"]')
    
17.     url_movie = html.xpath('//div[@class="hd"]/a/@href')
    
18.     for movie_url in url_movie:
    
19.         # 进入每个详情页
    
20.         response_movie = requests.get(movie_url, headers=header)
    
21.         html_movie = etree.HTML(response_movie.text)
    
22. 
    
23.     for div in div_all:
    
24.         names = div.xpath('./div[@class="hd"]/a//span/text()')
    
25.         name = processing(names)
    
26.         infos = div.xpath('./div[@class="bd"]/p/text()')
    
27.         info = processing(infos)
    
28.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')
    
29.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')
    
30.         url_movie = div.xpath('./div/a/@href')
    
31.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
32.         poster_urls = div.xpath('./div/a/img/@src')
    
33.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
    
34.         date = processing(dates)
    
35.         print('电影名称：',name)
    
36.         print('导演与演员：',info)
    
37.         print('电影评分：',score)
    
38.         print('评价人数：',evaluation)
    
39.         print('电影总结：',summary)
    
40.         print('电影详情页地址：', url_movie[0])
    
41.         print('首次上演日期：', date)
    
42.         if poster_urls:
    
43.             poster_url = poster_urls[0]
    
44.             print('海报封面地址：', poster_url)
    
45.         print('--------分隔线--------')
    
46. if __name__ == '__main__':
    
47.     for i in range(0,250,25):
    
48.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
49.         get_movie_info(url)
    
50.         time.sleep(random.randint(1,3))

复制代码

爱意随风起9306

@FishC 帮我改良一下代码，需要修改的代码进行修改，并标注出来

1. from lxml import etree
   
2. import time
   
3. import random
   
4. import requests
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
6. def processing(strs):
   
7.     s = ''
   
8.     for n in strs:
   
9.         n = ''.join(n.split())
   
10.         s = s + n
    
11.     return s
    
12. 
    
13. def get_movie_info(url):
    
14.     response = requests.get(url,headers=header)
    
15.     html = etree.HTML(response.text)
    
16.     div_all = html.xpath('//div[@class="info"]')
    
17.     url_movie = html.xpath('//div[@class="hd"]/a/@href')
    
18. 
    
19. 
    
20.     for div in div_all:
    
21.         names = div.xpath('./div[@class="hd"]/a//span/text()')
    
22.         name = processing(names)
    
23.         infos = div.xpath('./div[@class="bd"]/p/text()')
    
24.         info = processing(infos)
    
25.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')
    
26.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')
    
27.         url_movie = div.xpath('./div/a/@href')
    
28.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
29.         poster_urls = div.xpath('./div/a/img/@src')
    
30.         for movie_url in url_movie:
    
31.             # 进入每个详情页
    
32.             response_movie = requests.get(movie_url, headers=header)
    
33.             html_movie = etree.HTML(response_movie.text)
    
34.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
    
35.         date = processing(dates)
    
36.         print('电影名称：',name)
    
37.         print('导演与演员：',info)
    
38.         print('电影评分：',score)
    
39.         print('评价人数：',evaluation)
    
40.         print('电影总结：',summary)
    
41.         print('电影详情页地址：', url_movie[0])
    
42.         print('首次上演日期：', date)
    
43.         if poster_urls:
    
44.             poster_url = poster_urls[0]
    
45.             print('海报封面地址：', poster_url)
    
46.         print('--------分隔线--------')
    
47. if __name__ == '__main__':
    
48.     for i in range(0,250,25):
    
49.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
50.         get_movie_info(url)
    
51.         time.sleep(random.randint(1,3))
    

复制代码

FishC

爱意随风起9306 发表于 2023-12-11 17:17
@FishC 帮我改良一下代码，需要修改的代码进行修改， ...

首先，你的代码已经相当不错了。不过，我有几个小小的改进建议：

1. 将导入语句放在代码的开头。这是一种良好的习惯，可以帮助其他程序员更快地了解程序的依赖关系。

1. import random
2. import requests
3. from lxml import etree
4. import time

复制代码

2. 将请求头 header 定义为函数内的局部变量，而不是全局变量。这样做可以防止在其他地方意外修改它。

1. def get_movie_info(url):
2.     header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
3.     response = requests.get(url, headers=header)

复制代码

3. 使用列表推导式简化 `processing` 函数中的循环和字符串拼接。

1. def processing(strs):
2.     return ''.join([n.strip() for n in strs])

复制代码

4. 将分析电影详情页的代码移到外层的循环中，以避免重复请求同一个网页。

1. for div in div_all:
2.     # ...
3.     urls_movie = div.xpath('./div/a/@href')
4.     for movie_url in urls_movie:
5.         response_movie = requests.get(movie_url, headers=header)
6.         html_movie = etree.HTML(response_movie.text)
7.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
8.         # ...

复制代码

这些小改进会提升代码的可读性和可维护性。希望对你有所帮助！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

爱意随风起9306

@Fishc 代码中有一些问题，你可以帮我解决吗。问题如下：
1.无法完全爬取250部电影
2.有些电影的首次上映日期无法爬取
3.每部电影都有海报封面地址，在电影详情页当中，但是我找不到
你可以帮我解决这些问题吗

1. import random
   
2. import requests
   
3. from lxml import etree
   
4. import time
   
5. 
   
6. def processing(strs):
   
7.     return ''.join([n.strip() for n in strs])
   
8. 
   
9. def get_movie_info(url):
   
10.     header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    
11.     response = requests.get(url,headers=header)
    
12.     html = etree.HTML(response.text)
    
13.     div_all = html.xpath('//div[@class="info"]')
    
14.     url_movie = html.xpath('//div[@class="hd"]/a/@href')
    
15. 
    
16.     for div in div_all:
    
17.         names = div.xpath('./div[@class="hd"]/a//span/text()')
    
18.         name = processing(names)
    
19.         infos = div.xpath('./div[@class="bd"]/p/text()')
    
20.         info = processing(infos)
    
21.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')
    
22.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')
    
23.         summary = div.xpath('.//p[@class="quote"]/span/text()')
    
24.         poster_urls = div.xpath('./div/a/img/@src')
    
25.         url_movie = div.xpath('./div/a/@href')
    
26.         for movie_url in url_movie:
    
27.             response_movie = requests.get(movie_url, headers=header)
    
28.             html_movie = etree.HTML(response_movie.text)
    
29.         dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
    
30.         date = processing(dates)
    
31.         print('电影名称：',name)
    
32.         print('导演与演员：',info)
    
33.         print('电影评分：',score)
    
34.         print('评价人数：',evaluation)
    
35.         print('电影总结：',summary)
    
36.         print('首次上映日期：', date)
    
37.         print('电影详情页地址：', url_movie[0])
    
38.         print('海报封面地址：',)
    
39.         print('--------分隔线--------')
    
40. if __name__ == '__main__':
    
41.     for i in range(0,250,25):
    
42.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
43.         get_movie_info(url)
    
44.         time.sleep(random.randint(1,3))
    

复制代码

FishC

爱意随风起9306 发表于 2023-12-11 19:11
@Fishc 代码中有一些问题，你可以帮我解决吗。问题如 ...

问题1：无法完全爬取250部电影
这是因为你的代码中只爬取了每页的前10部电影。在`get_movie_info`函数中，你需要添加一个循环来遍历每个电影详情页的链接，并在循环内部进行爬取。

解决方法：

1. for movie_url in url_movie:
2.     response_movie = requests.get(movie_url, headers=header)
3.     html_movie = etree.HTML(response_movie.text)
4.     # 在这里继续提取电影信息

复制代码

问题2：有些电影的首次上映日期无法爬取
这是因为你的代码将`html_movie`定义在了循环外部，导致每个电影详情页的HTML都被覆盖。你需要将`html_movie`的定义放在循环内部。

解决方法：

1. for movie_url in url_movie:
2.     response_movie = requests.get(movie_url, headers=header)
3.     html_movie = etree.HTML(response_movie.text)
4.     dates = html_movie.xpath('//span[@property="v:initialReleaseDate"]/text()')
5.     date = processing(dates)
6.     print('首次上映日期：', date)

复制代码

问题3：每部电影都有海报封面地址，在电影详情页当中，但是我找不到
在电影详情页中，海报封面地址通常位于`<img>`标签的`src`属性中。你可以通过XPath选择器或正则表达式来提取。

解决方法（使用XPath选择器）：

1. poster_urls = html_movie.xpath('//img[@class="nbgnbg"]/@src')
2. print('海报封面地址：', poster_urls[0])

复制代码

经过以上修改，你的代码应该可以正常爬取250部电影的信息了。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。