[已解决]使用re处理爬取内容时，re不能正确处理

低调的恶棍

在http://dongman.2345.com/top/网页上爬取动漫排行，但是在用re处理爬取的动漫简介的时候，它漏下了一个简介，求大神们帮忙找原因。

import requests
import re

#获取页面内容
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

#处理页面内容
def fillAniList(ulist,html):
    n = re.findall(r'alt\=".*?"',html)
    #就是在下面这部出的问题
    it = re.findall(r'\<p class\="pTxt pIntroShow"\>.*?\<',html)
    for i in range(len(n)):
        name = n[i].split('=')[1]
        intro = it[i].split('>')[1]
        intro = intro.split('<')[0]
        ulist.append(name)
        ulist.append(intro)

#输出页面内容
def printAniList(ulist):
    for i in range(len(ulist)/2):
        print(i+1)
        print(ulist[2*i])
        print(ulist[2*i+1])

#主函数
def main():
    url = "http://dongman.2345.com/top/"
    uinfo = []
    html = getHTMLText(url)
    fillAniList(uinfo,html)
    printAniList(uinfo)

main()

经过筛查，我发现排名第23名的简介不见了。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-4-19 16:49:58

以下是我的方法，仅供参考。

import requests
import re

url = 'http://dongman.2345.com/top/'
headers = {'user-agent': 'firefox'}
r = requests.get(url, headers=headers)
r.encoding = 'gbk'
cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)
print(cart_name)
print(cart_info)

跳转到最佳答案楼层

suchocolate

以下是我的方法，仅供参考。

import requests
import re

url = 'http://dongman.2345.com/top/'
headers = {'user-agent': 'firefox'}
r = requests.get(url, headers=headers)
r.encoding = 'gbk'
cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)
print(cart_name)
print(cart_info)

低调的恶棍

suchocolate 发表于 2020-4-19 16:49
以下是我的方法，仅供参考。

感谢

低调的恶棍

suchocolate 发表于 2020-4-19 16:49
以下是我的方法，仅供参考。

我想问一下，我的那个代码问题出在哪

suchocolate

低调的恶棍 发表于 2020-4-19 17:28
我想问一下，我的那个代码问题出在哪

1）你的那行语法没有加re.S，这样如果简介文本里有换行就匹配不到了。
2）另外匹配到了不想要的三角括号，你可以用()来捕获组，这样组外的就不会输出了。

<font color="RoyalBlue"># 以 【_blank">】开头，以【<】结尾，中间的任意内容【.*?】，外头加了括号【()】，这样只返回符合括号内的，头尾就不显示了。</font>
cart_name = re.findall(r'_blank">(.*?)<', r.text)[0:50]
<font color="RoyalBlue"># 加了【re.S】，让【.】能够匹配换行，这样就可以匹配到多行的文本。</font>
cart_info = re.findall(r'pIntroShow">(.*?)<', r.text, re.S)