鱼C论坛

 找回密码
 立即注册
查看: 197|回复: 2

为什么爬豆瓣成这样了?

[复制链接]
发表于 2020-4-9 19:17:22 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
[code]import requests
from lxml import etree
#将目标页面抓取下来
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
    'Referer': 'https://movie.douban.com/'}
url = 'https://movie.douban.com/'
response = requests.get(url,headers= headers)
text= response.text

#将抓取下来的数据进行一定规则的提取
html = etree.HTML(text)
ul = html.xpath("//ul[@class='lists']")[0]
lis = ul.xpath("./li")
for li in lis:
    title = li.xpath('@data-title')[0]
    actors = li.xpath('@data-actors')[0]
    movies =[]
    movie = {
        'title':title,
        'actors':actors
}
    movies.append(movie)


出现
Traceback (most recent call last):
  File "C:/Users/lenovo/PycharmProjects/SCRAPY/DAY3/豆瓣250/main.py", line 13, in <module>
    ul = html.xpath("//ul[@class='lists']")[0]
IndexError: list index out of range
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-4-9 19:25:10 | 显示全部楼层
是不是xpath写错了,解析为空
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-9 19:53:33 | 显示全部楼层
你打印一下 response.text  里面应该没有你要找的数据
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-26 05:23

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表