[已解决]使用re处理爬取内容时，re不能正确处理

低调的恶棍

在http://dongman.2345.com/top/网页上爬取动漫排行，但是在用re处理爬取的动漫简介的时候，它漏下了一个简介，求大神们帮忙找原因。

1. import requests
   
2. import re
   
3. 
   
4. #获取页面内容
   
5. def getHTMLText(url):
   
6.     try:
   
7.         r = requests.get(url,timeout = 30)
   
8.         r.raise_for_status()
   
9.         r.encoding = r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ""
    
13. 
    
14. #处理页面内容
    
15. def fillAniList(ulist,html):
    
16.     n = re.findall(r'alt\=".*?"',html)
    
17.     #就是在下面这部出的问题
    
18.     it = re.findall(r'\<p class\="pTxt pIntroShow"\>.*?\<',html)
    
19.     for i in range(len(n)):
    
20.         name = n[i].split('=')[1]
    
21.         intro = it[i].split('>')[1]
    
22.         intro = intro.split('<')[0]
    
23.         ulist.append(name)
    
24.         ulist.append(intro)
    
25. 
    
26. #输出页面内容
    
27. def printAniList(ulist):
    
28.     for i in range(len(ulist)/2):
    
29.         print(i+1)
    
30.         print(ulist[2*i])
    
31.         print(ulist[2*i+1])
    
32. 
    
33. #主函数
    
34. def main():
    
35.     url = "http://dongman.2345.com/top/"
    
36.     uinfo = []
    
37.     html = getHTMLText(url)
    
38.     fillAniList(uinfo,html)
    
39.     printAniList(uinfo)
    
40. 
    
41. main()

复制代码

经过筛查，我发现排名第23名的简介不见了。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-4-19 16:49:58

以下是我的方法，仅供参考。

1. import requests
   
2. import re
   
3. 
   
4. url = 'http://dongman.2345.com/top/'
   
5. headers = {'user-agent': 'firefox'}
   
6. r = requests.get(url, headers=headers)
   
7. r.encoding = 'gbk'
   
8. cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
   
9. cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)
   
10. print(cart_name)
    
11. print(cart_info)

复制代码

跳转到最佳答案楼层

suchocolate

以下是我的方法，仅供参考。

1. import requests
   
2. import re
   
3. 
   
4. url = 'http://dongman.2345.com/top/'
   
5. headers = {'user-agent': 'firefox'}
   
6. r = requests.get(url, headers=headers)
   
7. r.encoding = 'gbk'
   
8. cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
   
9. cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)
   
10. print(cart_name)
    
11. print(cart_info)

复制代码

低调的恶棍

suchocolate 发表于 2020-4-19 16:49
以下是我的方法，仅供参考。

感谢

低调的恶棍

suchocolate 发表于 2020-4-19 16:49
以下是我的方法，仅供参考。

我想问一下，我的那个代码问题出在哪

suchocolate

低调的恶棍 发表于 2020-4-19 17:28
我想问一下，我的那个代码问题出在哪

1）你的那行语法没有加re.S，这样如果简介文本里有换行就匹配不到了。
2）另外匹配到了不想要的三角括号，你可以用()来捕获组，这样组外的就不会输出了。

1. <font color="RoyalBlue"># 以 【_blank">】开头，以【<】结尾，中间的任意内容【.*?】，外头加了括号【()】，这样只返回符合括号内的，头尾就不显示了。</font>
   
2. cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
   
3. <font color="RoyalBlue"># 加了【re.S】，让【.】能够匹配换行，这样就可以匹配到多行的文本。</font>
   
4. cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)

复制代码