requests与Xpath 抓取豆瓣电影top250

wcq15759797758

1. # -*-coding:utf-8 -*-
   
2. from lxml import etree    # 导入etree子模块
   
3. import time               # 导入时间模块
   
4. import random             # 导入随机模块
   
5. import requests,json           # 导入网络请求模块
   
6. 
   
7. 
   
8. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
9. 
   
10. # 处理字符串中的空白符，并拼接字符串
    
11. def processing(strs):
    
12.     s = ''  # 定义保存内容的字符串
    
13.     for n in strs:
    
14.         n = ''.join(n.split())  # 去除空字符
    
15.         s = s + n  # 拼接字符串
    
16.     return s      # 返回拼接后的字符串
    
17. 
    
18. # 获取电影信息
    
19. def get_movie_info(url):
    
20.     response = requests.get(url,headers=headers)                    # 发送网络请求
    
21.     html = etree.HTML(response.text)                               # 解析html字符串
    
22.     div_all = html.xpath('//div[@class="info"]')
    
23.     for div in div_all:
    
24.         names = div.xpath('./div[@class="hd"]/a//span/text()')   # 获取电影名字相关信息
    
25.         name = processing(names)  # 处理电影名称信息
    
26.         infos = div.xpath('./div[@class="bd"]/p/text()')         # 获取导演、主演等信息
    
27.         info = processing(infos)  # 处理导演、主演等信息
    
28.         score = div.xpath('./div[@class="bd"]/div/span[2]/text()')      # 获取电影评分
    
29.         evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()') # 获取评价人数
    
30.         # 获取电影总结文字
    
31.         summary = div.xpath('./div[@class="bd"]/p[@class="quote"]/span/text()')
    
32.         print('电影名称：',name)
    
33.         print('导演与演员：',info)
    
34.         print('电影评分：',score)
    
35.         print('评价人数：',evaluation)
    
36.         print('电影总结：',summary)
    
37.         print('--------分隔线--------')
    
38. 
    
39. if __name__ == '__main__':
    
40.     for i in range(0,250,25):    # 每页25为间隔，实现循环，共10页
    
41.         # 通过format替换切换页码的url地址
    
42.         url = 'https://movie.douban.com/top250?start={page}&filter='.format(page=i)
    
43.         get_movie_info(url)                      # 调用爬虫方法,获取电影信息
    
44.         time.sleep(random.randint(1,2))          # 等待1至3秒随机时间

复制代码

fumun

xue学习一下

超级玛尼哄

fish_nian

你这一行设置传入两个参数

1. def get_movie_info(url,proxy):

复制代码

但是后面又只传入一个参数

1. get_movie_info(url)   

复制代码

如果把函数设置为只传入一个参数url就能成功运行了

1. def get_movie_info(url):

复制代码

fish_nian

这是写错了么

wcq15759797758

fish_nian 发表于 2021-6-27 13:45
这是写错了么

忘记改了 我加了IP地址 我发论坛的时候删了

wcq15759797758

wcq15759797758 发表于 2021-6-27 13:53
忘记改了 我加了IP地址 我发论坛的时候删了

消息提醒

fish_nian

wcq15759797758 发表于 2021-6-27 13:53
忘记改了 我加了IP地址 我发论坛的时候删了

还是很厉害的

hornwong

懒狗李

chenyiyun

ohhh~敲敲门~

秦南

还能踢两年

嗯，不知道什么时候能像你一样，写出这么多的代码

wcq15759797758

还能踢两年 发表于 2021-6-28 16:35
嗯，不知道什么时候能像你一样，写出这么多的代码

我也很菜

Dragon910623

秀

世伊酱

我是小白别骗我

涨芝士

鄙人gdll

學習一下

937135952

有几个问题不太明白，

1.         names = div.xpath('./div[@class="hd"]/a//span/text()')   # 获取电影名字相关信息

复制代码

这里为什么span前面双斜杠呢？//div[@class="info"]和./div[@class="info"]有什么区别？希望大佬们指点指点

wcq15759797758

937135952 发表于 2021-8-15 18:06
有几个问题不太明白，这里为什么span前面双斜杠呢？//div[@class="info"]和./div[@class="info"]有什么区别 ...

a节点下的所有span节点