鱼C论坛

 找回密码
 立即注册
查看: 732|回复: 5

[已解决]爬豆瓣电影top250,爬完第8页说我下标溢出。。

[复制链接]
发表于 2018-8-4 14:12:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 小小小小的鱼丶 于 2018-8-4 14:23 编辑
  1. import requests
  2. import bs4

  3. start = 0
  4. while start < 250:
  5.     res = requests.get('https://movie.douban.com/top250?'+'start='+'%d'%start +'&filter=')
  6.     soup = bs4.BeautifulSoup(res.text,'html.parser')

  7.    
  8.     #电影名
  9.     movies = []
  10.     movies = soup.find_all('div',class_='hd')
  11.    
  12.     #评分
  13.     grades = []
  14.     grades = soup.find_all('span',class_='rating_num')   

  15.     #一句话简介
  16.     introduction = []
  17.     introduction = soup.find_all('span',class_='inq')

  18.     #存放总列表
  19.     totals = []
  20.     for i in range(len(movies)):
  21.         totals.append(movies[i].a.span.text+':')
  22.         totals.append(' 评分 '+grades[i].text+' , ')
  23.         totals.append(introduction[i].text+'\n')
  24.     print(totals)
  25.         
  26.         
  27.     with open('douban_movies.txt','a') as f:
  28.         f.writelines(totals)
  29.       
  30.     start += 25
  31. Traceback (most recent call last):
  32.   File "E:/暑假修炼/效率革命/clawing_douban_movies.py", line 26, in <module>
  33.     totals.append(introduction[i].text+'\n')
  34. IndexError: list index out of range
  35. 请大神们指教。。。。按理说一个网页25个电影,len(movies),len(grades),len(introduction)是一样的啊
复制代码
最佳答案
2018-8-16 17:53:35
要么是你正则表达式不对,没有爬到东西。而且你要爬取的这些信息不是每一部电影都有,我前一段时间也爬过!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-4 14:24:37 | 显示全部楼层
我想你应该去检测服务器的返回状态代码,确保取到了内容,否则后续处理会出问题。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 15:44:50 | 显示全部楼层
找到原因了。。175之后有几部电影没有简介。。导致introduction不足25个数据
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 16:20:26 | 显示全部楼层
肖申克的救赎         评分 9.6        希望让人自由。
霸王别姬         评分 9.5        风华绝代。
这个杀手不太冷         评分 9.4        怪蜀黍和小萝莉不得不说的故事。
阿甘正传         评分 9.4        一部美国近现代史。
美丽人生         评分 9.5        最美的谎言。
泰坦尼克号         评分 9.3        失去的才是永恒的。
千与千寻         评分 9.3        最好的宫崎骏,最好的久石让。
辛德勒的名单         评分 9.4        拯救一个人,就是拯救整个世界。
盗梦空间         评分 9.3        诺兰给了我们一场无法盗取的梦。
机器人总动员         评分 9.3        小瓦力,大人生。
忠犬八公的故事         评分 9.3        永远都不能忘记你所爱的人。
三傻大闹宝莱坞         评分 9.2        英俊版憨豆,高情商版谢耳朵。
海上钢琴师         评分 9.2        每个人都要走一条自己坚定了的路,就算是粉身碎骨。
放牛班的春天         评分 9.2        天籁一般的童声,是最接近上帝的存在。
大话西游之大圣娶亲         评分 9.2        一生所爱。
楚门的世界         评分 9.1        如果再也不能见到你,祝你早安,午安,晚安。
教父         评分 9.2        千万不要记恨你的对手,这样会让你失去理智。
龙猫         评分 9.1        人人心中都有个龙猫,童年就永远不会消失。
星际穿越         评分 9.2        爱是一种力量,让我们超越时空感知它的存在。
熔炉         评分 9.2        我们一路奋战不是为了改变世界,而是为了不让世界改变我们。
无间道         评分 9.1        香港电影史上永不过时的杰作。
触不可及         评分 9.2        满满温情的高雅喜剧。
乱世佳人         评分 9.2        Tomorrow is another day.
当幸福来敲门         评分 9.0        平民励志片。
怦然心动         评分 8.9        真正的幸福是来自内心深处。
天堂电影院         评分 9.1        那些吻戏,那些青春,都在影院的黑暗里被泪水冲刷得无比清晰。
疯狂动物城         评分 9.1        迪士尼给我们营造的乌托邦就是这样,永远善良勇敢,永远出乎意料。
十二怒汉         评分 9.4        1957年的理想主义。
蝙蝠侠:黑暗骑士         评分 9.1        无尽的黑暗。
鬼子来了         评分 9.2        对敌人的仁慈,就是对自己残忍。
少年派的奇幻漂流         评分 9.0        瑰丽壮观、无人能及的冒险之旅。
活着         评分 9.1        张艺谋最好的电影。
搏击俱乐部         评分 9.0        邪恶与平庸蛰伏于同一个母体,在特定的时间互相对峙。
指环王3:王者无敌         评分 9.1        史诗的终章。
天空之城         评分 9.0        对天空的追逐,永不停止。
大话西游之月光宝盒         评分 8.9        旷古烁今。
飞屋环游记         评分 8.9        最后那些最无聊的事情,才是最值得怀念的。
控方证人         评分 9.6        比利·怀德满分作品。
罗马假日         评分 8.9        爱情哪怕只有一天。
窃听风暴         评分 9.1        别样人生。
两杆大烟枪         评分 9.1        4个臭皮匠顶个诸葛亮,盖·里奇果然不是盖的。
飞越疯人院         评分 9.0        自由万岁。
闻香识女人         评分 8.9        史上最美的探戈。
哈尔的移动城堡         评分 8.9        带着心爱的人在天空飞翔。
辩护人         评分 9.2        电影的现实意义大过电影本身。
摔跤吧!爸爸         评分 9.1        你不是在为你一个人战斗,你要让千千万万的女性看到女生并不是只能相夫教子。
V字仇杀队         评分 8.8        一张面具背后的理想与革命。
海豚湾         评分 9.3        海豚的微笑,是世界上最高明的伪装。
死亡诗社         评分 9.0        当一个死水般的体制内出现一个活跃的变数时,所有的腐臭都站在了光明的对面。
教父2         评分 9.1        优雅的孤独。
指环王2:双塔奇兵         评分 9.0        承前启后的史诗篇章。
美丽心灵         评分 8.9        爱是一切逻辑和原由。
指环王1:魔戒再现         评分 8.9        传说的开始。
饮食男女         评分 9.1        人生不能像做菜,把所有的料都准备好了才下锅。
情书         评分 8.8        暗恋的极致。
美国往事         评分 9.1        往事如烟,无处祭奠。
狮子王         评分 8.9        动物版《哈姆雷特》。
素媛         评分 9.1        受过伤害的人总是笑得最开心,因为他们不愿意让身边的人承受一样的痛苦。
钢琴家         评分 9.0        音乐能化解仇恨。
小鞋子         评分 9.2        奔跑的孩子是天使。
七宗罪         评分 8.7        警察抓小偷,老鼠玩死猫。
天使爱美丽         评分 8.7        法式小清新。
被嫌弃的松子的一生         评分 8.9        以戏谑来戏谑戏谑。
致命魔术         评分 8.8        孪生蝙蝠侠大战克隆金刚狼。
本杰明·巴顿奇事         评分 8.8        在时间之河里感受溺水之苦。
音乐之声         评分 8.9        用音乐化解仇恨,让歌声串起美好。
西西里的美丽传说         评分 8.8        美丽无罪。
勇敢的心         评分 8.8        史诗大片的典范。
拯救大兵瑞恩         评分 8.9        美利坚精神输出大片No1.
黑客帝国         评分 8.8        视觉革命。
低俗小说         评分 8.8        故事的高级讲法。
让子弹飞         评分 8.7        你给我翻译翻译,神马叫做TMD的惊喜。
剪刀手爱德华         评分 8.7        浪漫忧郁的成人童话。
看不见的客人         评分 8.7        你以为你以为的就是你以为的。
沉默的羔羊         评分 8.7        安东尼·霍普金斯的顶级表演。
蝴蝶效应         评分 8.7        人的命运被自己瞬间的抉择改变。
入殓师         评分 8.8        死可能是一道门,逝去并不是终结,而是超越,走向下一程。
大闹天宫         评分 9.3        经典之作,历久弥新。
春光乍泄         评分 8.8        爱情纠缠,男女一致。
末代皇帝         评分 9.0        “不要跟我比惨,我比你更惨”再适合这部电影不过了。
心灵捕手         评分 8.8        人生中应该拥有这样的一段豁然开朗。
玛丽和马克思         评分 8.9        你是我最好的朋友,你是我唯一的朋友 。
阳光灿烂的日子         评分 8.8        一场华丽的意淫。
哈利·波特与魔法石         评分 8.8        童话世界的开端。
布达佩斯大饭店         评分 8.8        小清新的故事里注入了大历史的情怀。
幽灵公主         评分 8.8        人与自然的战争史诗。
第六感         评分 8.8        深入内心的恐怖,出人意料的结局。
禁闭岛         评分 8.7        昔日翩翩少年,今日大腹便便。
重庆森林         评分 8.7        寂寞没有期限。
猫鼠游戏         评分 8.8        骗子大师和执著警探的你追我跑故事。
狩猎         评分 9.0        人言可畏。
致命ID         评分 8.7        最不可能的那个人永远是最可能的。
断背山         评分 8.7        每个人心中都有一座断背山。
大鱼         评分 8.7        抱着梦想而活着的人是幸福的,怀抱梦想而死去的人是不朽的。
甜蜜蜜         评分 8.8        相逢只要一瞬间,等待却像是一辈子。
射雕英雄传之东成西就         评分 8.7        百看不厌。
加勒比海盗         评分 8.6        约翰尼·德普的独角戏。
穿条纹睡衣的男孩         评分 8.9        尽管有些不切实际的幻想,这部电影依旧是一部感人肺腑的佳作。
告白         评分 8.7        没有一人完全善,也没有一人完全恶。
一一         评分 8.9        我们都曾经是一一。
阳光姐妹淘         评分 8.8        再多各自牛逼的时光,也比不上一起傻逼的岁月。
摩登时代         评分 9.2        大时代中的人生,小人物的悲喜。
阿凡达         评分 8.6        绝对意义上的美轮美奂。
上帝之城         评分 8.9        被上帝抛弃了的上帝之城。
爱在黎明破晓前         评分 8.7        缘分是个连绵词,最美不过一瞬。
消失的爱人         评分 8.7        年度最佳date movie。
风之谷         评分 8.8        动画片的圣经。
爱在日落黄昏时         评分 8.8        九年后的重逢是世俗和责任的交叠,没了悸动和青涩,沧桑而温暖。
侧耳倾听         评分 8.8        少女情怀总是诗。
超脱         评分 8.8        穷尽一生,我们要学会的,不过是彼此拥抱。
倩女幽魂         评分 8.6        两张绝世的脸。
恐怖直播         评分 8.7        恐怖分子的“秋菊打官司”。
红辣椒         评分 8.9        梦的勾结。
小森林 夏秋篇         评分 8.9        那些静得只能听见呼吸的日子里,你明白孤独即生活。
喜剧之王         评分 8.6        我是一个演员。
菊次郎的夏天         评分 8.7        从没见过那么流氓的温柔,从没见过那么温柔的流氓。
驯龙高手         评分 8.7        和谐的生活离不开摸头与被摸头。
幸福终点站         评分 8.7        有时候幸福需要等一等。
萤火虫之墓         评分 8.7        幸福是生生不息,却难以触及的远。
借东西的小人阿莉埃蒂         评分 8.7        曾经的那段美好会沉淀为一辈子的记忆。
神偷奶爸         评分 8.5        Mr. I Don't Care其实也有Care的时候。
岁月神偷         评分 8.6        岁月流逝,来日可追。
七武士         评分 9.2        时代悲歌。
杀人回忆         评分 8.7        关于连环杀人悬案的集体回忆。
贫民窟的百万富翁         评分 8.5        上帝之城+猜火车+阿甘正传+开心辞典=山寨富翁
喜宴         评分 8.8        中国家庭的喜怒哀乐忍。
电锯惊魂         评分 8.7        真相就在眼前。
怪兽电力公司         评分 8.6        不要给它起名字,起了名字就有感情了。
谍影重重3         评分 8.7        像吃了苏打饼一样干脆的电影。
真爱至上         评分 8.5        爱,是个动词。
东邪西毒         评分 8.6        电影诗。
记忆碎片         评分 8.5        一个针管引发的血案。
海洋         评分 9.0        大海啊,不全是水。
黑天鹅         评分 8.5        黑暗之美。
雨人         评分 8.6        生活在自己的世界里,也可以让周围的人显得可笑和渺小。
疯狂原始人         评分 8.7        老少皆宜,这就是好莱坞动画的魅力。
卢旺达饭店         评分 8.9        当这个世界闭上双眼,他却敞开了怀抱。
小森林 冬春篇         评分 8.9        尊敬他人,尊敬你生活的这片土地,明白孤独是人生的常态。
英雄本色         评分 8.6        英雄泪短,兄弟情长。
哈利·波特与死亡圣器(下)         评分 8.7        10年的完美句点。
7号房的礼物         评分 8.7        《我是山姆》的《美丽人生》。
燃情岁月         评分 8.7        传奇,不是每个人都可以拥有。
虎口脱险         评分 8.9        永远看不腻的喜剧。
萤火之森         评分 8.8        触不到的恋人。
心迷宫         评分 8.6        荒诞讽刺,千奇百巧,抽丝剥茧,百转千回。
请以你的名字呼唤我         评分 8.8        沉醉在电影的情感和视听氛围中无法自拔。
傲慢与偏见         评分 8.5        爱是摈弃傲慢与偏见之后的曙光。
荒蛮故事         评分 8.8        始于荒诞,止于更荒诞。
海边的曼彻斯特         评分 8.6        我们都有权利不与自己的过去和解。
教父3         评分 8.8        任何信念的力量,都无法改变命运。
恋恋笔记本         评分 8.5        爱情没有那么多借口,如果不能圆满,只能说明爱的不够。
纵横四海         评分 8.7        香港浪漫主义警匪动作片的巅峰之作。
超能陆战队         评分 8.6        Balalala~~~
完美的世界         评分 9.0        坏人的好总是比好人的好来得更感人。
唐伯虎点秋香         评分 8.4        华太师是黄霑,吴镇宇四大才子之一。
花样年华         评分 8.5        偷情本没有这样美。
玩具总动员3         评分 8.8        跨度十五年的欢乐与泪水。
蝙蝠侠:黑暗骑士崛起         评分 8.6        诺兰就是保证。
时空恋旅人         评分 8.6        把每天当作最后一天般珍惜度过,积极拥抱生活,就是幸福。
魂断蓝桥         评分 8.8        中国式内在的美国电影。
猜火车         评分 8.5        不可猜的青春迷笛。
穿越时空的少女         评分 8.6        爱上未来的你。
雨中曲         评分 9.0        骨灰级歌舞片。
二十二         评分 8.7        有一些东西不应该被遗忘。
达拉斯买家俱乐部         评分 8.7        Jared Leto的腿比女人还美!
我是山姆         评分 8.8        爱并不需要智商 。
人工智能         评分 8.6        对爱的执着,可以超越一切。
冰川时代         评分 8.5        松鼠才是角儿。
浪潮         评分 8.7        世界离独裁只有五天。
爆裂鼓手         评分 8.6        这个世界从不善待努力的人,努力了也不一定会成功,但是知道自己在努力,就是活下去的动力。
朗读者         评分 8.5        当爱情跨越年龄的界限,它似乎能变得更久远一点,成为一种责任,一种水到渠成的相濡以沫。
香水         评分 8.4        一个单凭体香达到高潮的男人。
罗生门         评分 8.7        人生的N种可能性。
血战钢锯岭         评分 8.7        优秀的战争片不会美化战场,不会粉饰死亡,不会矮化敌人,不会无视常识,最重要的,不会宣扬战争。
无人知晓         评分 9.1        我的平常生活就是他人的幸福。
未麻的部屋         评分 8.8        好的剧本是,就算你猜到了结局也猜不到全部。
阿飞正传         评分 8.5        王家卫是一种风格,张国荣是一个代表。
被解救的姜戈         评分 8.6        热血沸腾,那个低俗、性感的无耻混蛋又来了。
一次别离         评分 8.7        只有有信仰的人才能说出事实真相。
可可西里         评分 8.7        坚硬的信仰。
追随         评分 8.9        诺兰的牛逼来源于内心散发出的恐惧。
恐怖游轮         评分 8.4        不要企图在重复中寻找已经失去的爱。
头脑特工队         评分 8.7        愿我们都不用长大,每一座城堡都能永远存在。
撞车         评分 8.6        天使与魔鬼的冲撞。
战争之王         评分 8.6        做一颗让别人需要你的棋子。
房间         评分 8.8        被偷走的岁月,被伤害的生命,被禁锢的灵魂,终将被希望和善意救赎。
地球上的星星         评分 8.8        天使保护事件始末。
梦之安魂曲         评分 8.7        一场没有春天的噩梦。
牯岭街少年杀人事件         评分 8.8        弱者送给弱者的一刀。
魔女宅急便         评分 8.5        宫崎骏的电影总让人感觉世界是美好的,阳光明媚的。
谍影重重         评分 8.5        哗啦啦啦啦,天在下雨,哗啦啦啦啦,云在哭泣……找自己。
你的名字。         评分 8.4        穿越错位的时空,仰望陨落的星辰,你没留下你的名字,我却无法忘记那句“我爱你”。
模仿游戏         评分 8.6        他给机器起名“克里斯托弗”,因为这是他初恋的名字。
忠犬八公物语         评分 9.0        养狗三日,便会对你终其一生。
谍影重重2         评分 8.6        谁说王家卫镜头很晃?
青蛇         评分 8.4        人生如此,浮生如斯。谁人言,花彼岸,此生情长意短。谁都是不懂爱的罢了。
一个叫欧维的男人决定去死         评分 8.7        惠及一生的美丽。
惊魂记         评分 8.9        故事的反转与反转,分裂电影的始祖。
完美陌生人         评分 8.6       
哪吒闹海         评分 8.9        想你时你在闹海。
再次出发之纽约遇见你        评分 8.5        爱我就给我看你的播放列表。
小萝莉的猴神大叔         评分 8.5       
东京物语         评分 9.2        东京那么大,如果有一天走失了,恐怕一辈子不能再相见。
黑客帝国3:矩阵革命         评分 8.5        不得不说,《黑客帝国》系列是商业片与科幻、哲学完美结合的典范。
源代码         评分 8.3        邓肯·琼斯继《月球》之后再度奉献出一部精彩绝伦的科幻佳作。
新龙门客栈         评分 8.5        嬉笑怒骂,调风动月。
终结者2:审判日         评分 8.6        少见的超越首部的续集,动作片中的经典。
末路狂花         评分 8.7        没有了退路,只好飞向自由。
碧海蓝天         评分 8.7        在那片深蓝中,感受来自大海的忧伤寂寞与美丽自由。
秒速5厘米         评分 8.3        青春就是放弃和怀念。
绿里奇迹         评分 8.7        天使暂时离开。
这个男人来自地球         评分 8.5        科幻真正的魅力不是视觉效果能取代的。
勇闯夺命岛         评分 8.6        类型片的极致。
海盗电台         评分 8.6        生命不止,摇滚不死。
城市之光         评分 9.2        永远的小人物,伟大的卓别林。
初恋这件小事         评分 8.3        黑小鸭速效美白记。
步履不停         评分 8.8        日本的家庭电影已经是世界巅峰了,步履不停是巅峰中的佳作。
无耻混蛋         评分 8.4        昆汀同学越来越变态了,比北野武还杜琪峰。
卡萨布兰卡         评分 8.6        世界上有那么多女人那么多酒馆,但她偏偏走进我的这家。
变脸         评分 8.4        当发哥的风衣、墨镜出现在了凯奇身上&#8943;&#8943;
爱在午夜降临前         评分 8.8        所谓爱情,就是话唠一路,都不会心生腻烦,彼此嫌弃。
E.T. 外星人         评分 8.5        生病的E.T.皮肤的颜色就像柿子饼。
无敌破坏王         评分 8.6        迪士尼和皮克斯拿错剧本的产物。
发条橙         评分 8.5        我完全康复了。
疯狂的石头         评分 8.3        中国版《两杆大烟枪》。
黄金三镖客        评分 9.1        最棒的西部片。
海街日记         评分 8.7       
美国丽人         评分 8.5        每个人的内心都是深不可测的大海。
荒野生存         评分 8.6        出门必备:本草纲目。
迁徙的鸟         评分 9.1        最美的飞翔。
英国病人         评分 8.5        In memory, love lives forever...
彗星来的那一夜         评分 8.4        小成本大魅力。
国王的演讲         评分 8.3        皇上无话儿。
血钻         评分 8.5        每个美丽事物背后都是滴血的现实。
非常嫌疑犯         评分 8.6        我不信仰上帝,但我敬畏上帝。
聚焦         评分 8.8       
燕尾蝶         评分 8.6        现实与童话交相辉映的旅程。
勇士         评分 8.9        热血沸腾,相当完美的娱乐拳击大餐。
叫我第一名         评分 8.6        乐观比一切都有力量。
穆赫兰道         评分 8.3        大卫·林奇的梦境迷宫。
遗愿清单         评分 8.5        用剩余不多的时间,去燃烧整个生命。
枪火         评分 8.6        一群演技精湛的戏骨,奉献出一个精致的黑帮小品,成就杜琪峰群戏的巅峰之作。
我爱你         评分 9.0        你要相信,这世上真的有爱存在,不管在什么年纪
黑鹰坠落         评分 8.6        还原真实而残酷的战争。
上帝也疯狂         评分 8.6        纯净原始的笑与感动。
荒岛余生         评分 8.5        一个人的独角戏。
大卫·戈尔的一生         评分 8.6        捍卫人权只是信仰,一点不妨碍其行为的残忍。
千钧一发         评分 8.7        一部能引人思考的科幻励志片。
2001太空漫游         评分 8.7        现代科幻电影的开山之作,最伟大导演的最伟大影片。
蓝色大门         评分 8.3        青春的窃窃私语。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-8-16 17:53:35 | 显示全部楼层    本楼为最佳答案   
要么是你正则表达式不对,没有爬到东西。而且你要爬取的这些信息不是每一部电影都有,我前一段时间也爬过!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-8-16 19:09:08 | 显示全部楼层
音频线 发表于 2018-8-16 17:53
要么是你正则表达式不对,没有爬到东西。而且你要爬取的这些信息不是每一部电影都有,我前一段时间也爬过!

额,后面解决了。有一些东西没有,我给筛选过去了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 07:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表