[已解决]爬虫新手 大佬来指点指点_已解决

涛4091

1. '''
   
2. 获取豆瓣舌尖三上的评论
   
3. Date = 2018/3/10
   
4. findall 所有
   
5. '''
   
6. # 导入模块
   
7. import requests
   
8. import re  # 导入正则表达式
   
9. 
   
10. url = 'https://movie.douban.com/subject/25875034/comments?start=0&limit=20&sort=new_score&status=P&percent_type='
    
11. # 先获取里面的的内容 在保存起来
    
12. html = requests.get(url)
    
13. 
    
14. print (html) # 返回200 成功
    
15. #print (html.text) #打印出网页源代码
    
16. 
    
17. #然后再筛选数据 ：正则表达式 re re.findall 返回列表形式    Beautiful Soup 4
    
18. 
    
19. data = re.findall('<p class=""> (.*?)\n        </p>',html.text) #re.findall 返回的是列表保 存成 data
    
20. '''
    
21. 括号里 点星问 能匹配所有
    
22. 
    
23. 这里面有 八个空格 + 一个换行符  后面加 re.s 匹配换行符
    
24. '''
    
25. #print (data)
    
26. 
    
27. #再写入文件
    
28.           #with open 写入
    
29. 
    
30. with open('C:/Users/Administrator/Desktop/Pachong/shejian.txt','a') as ff:
    
31.     for i in range(20):
    
32.         ff.write(data[i] + '\n')
    
33.      
    

复制代码

我这里到最后为什么会报错
IndexError: list index out of range

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-3-10 23:08:23

涛4091 发表于 2018-3-10 23:06
怎么会跳过中间的那个4个评论呢？
有几种可能

评论有 20 个吗？可能是那四个评论没有换行，没有匹配到。

跳转到最佳答案楼层

涛4091

这个data 是没问题的

°蓝鲤歌蓝

应该是 data 列表没有不够20个元素。

塔利班

评论有那么多么，你的索引值超了

Charles未晞

1. print(len(data))
   
2. for d in data:
   
3.     print(d)
   
4.     break
   

复制代码

像这样检查一下自己的数据。。。
说不定被XX了。。。
提示就是超出索引值。

inverseli

没必要那样存啊

1. datas = re.findall('<p class=""> (.*?)\n        </p>',html.text) #re.findall 返回的是列表保 存成 data
   
2. '''
   
3. 括号里 点星问 能匹配所有
   
4. 
   
5. 这里面有 八个空格 + 一个换行符  后面加 re.s 匹配换行符
   
6. '''
   
7. #print (data)
   
8. 
   
9. #再写入文件
   
10.           #with open 写入
    
11. 
    
12. with open('F:\shejian.txt','a+') as ff:
    
13.     for data in datas:
    
14.         ff.write(data + '\n')

复制代码

这样就行

°蓝鲤歌蓝

涛4091 发表于 2018-3-10 19:17
这个data 是没问题的

data 没问题，但是里面的元素只有 16 个，你的for 循环是20次。

涛4091

Charles未晞 发表于 2018-3-10 19:56
像这样检查一下自己的数据。。。
说不定被XX了。。。
提示就是超出索引值。

不太懂
只要打印出data的第[0]个就跳出了 还有什么作用

涛4091

°蓝鲤歌蓝 发表于 2018-3-10 20:04
data 没问题，但是里面的元素只有 16 个，你的for 循环是20次。

怎么会跳过中间的那个4个评论呢？
有几种可能

°蓝鲤歌蓝

涛4091 发表于 2018-3-10 23:06
怎么会跳过中间的那个4个评论呢？
有几种可能

评论有 20 个吗？可能是那四个评论没有换行，没有匹配到。

涛4091

°蓝鲤歌蓝 发表于 2018-3-10 23:08
评论有 20 个吗？可能是那四个评论没有换行，没有匹配到。

data 后面不加 \n        加re.s 也可以
re.s 是什么意思

°蓝鲤歌蓝

涛4091 发表于 2018-3-11 10:33
data 后面不加 \n        加re.s 也可以
re.s 是什么意思

匹配包括换行符在内的元素吧