nanrenne 发表于 2020-4-14 22:21:40

我的正则为什么只返回一条记录

def one1(html):
    zhengze1 = re.compile('span class.*?page-numbers" href="(.*?)"',re.S)
    all_page = re.findall(zhengze1,html)
    print(all_page)

这个print出来只有一条记录,是为什么
原址:start_url = 'https://www.umtuba.com/'

彩虹七号 发表于 2020-4-15 08:42:09

把html贴出来看看

会计的会怎么念 发表于 2020-4-15 11:12:41

- re.fianall返回的是列表，你打印出来的应该是个列表。
- 如果你的列表中只有一个元素,那就是你正则表达式写的有问题，只匹配到了一条。
- 好好学学xpath和css吧，正则表达式简直是噩梦。

suchocolate 发表于 2020-4-15 11:51:09

本帖最后由 suchocolate 于 2020-4-15 11:58 编辑

插入非捕获组标记，让括号外的也捕获：?:
re.compile('span class.*?page-numbers" href="(?:.*?)"',re.S)

另外说一下，这个网页结构简单，适合用xpath或bs，re效率有点低。

nanrenne 发表于 2020-4-15 16:48:54

会计的会怎么念 发表于 2020-4-15 11:12
- re.fianall返回的是列表，你打印出来的应该是个列表。
- 如果你的列表中只有一个元素,那就是你正则表达 ...

都推荐xpath啊,要学习一下了
还有,正则没错误啊,有错误的话第一条也匹配不到的,因为每一条都是一样的

nanrenne 发表于 2020-4-15 16:49:34

suchocolate 发表于 2020-4-15 11:51
插入非捕获组标记，让括号外的也捕获：?:
re.compile('span class.*?page-numbers" href="(?:.*?)"',re.S) ...

那就会捕获一大堆乱七八糟的了
根据你的这个捕获,他获取了很多不需要的东西

suchocolate 发表于 2020-4-15 16:59:05

本帖最后由 suchocolate 于 2020-4-15 17:17 编辑

nanrenne 发表于 2020-4-15 16:49
那就会捕获一大堆乱七八糟的了
根据你的这个捕获,他获取了很多不需要的东西

我理解错你的意思了，你试试这个：
zhengze1 = re.compile(r'href=\'(/page_\d{1,2}.html)',re.S)

nanrenne 发表于 2020-4-16 12:58:11

本帖最后由 nanrenne 于 2020-4-16 13:02 编辑

suchocolate 发表于 2020-4-15 16:59
我理解错你的意思了，你试试这个：

直接无视了,嗯-----xpath真香{:10_256:}

def page_num(html):
    html2 = etree.HTML(html)
    #下边是在首页里找到最大翻页数量
    result = html2.xpath('/html/body/div/div/nav/div/a/text()')
    return result

我没有利用xpath去寻找每一个页面的短链接,因为1,2,3,4,5......72
5和72中间是没有短链接的
我直接获取了page 72
然后 range(1,int(page_num))

可是昨天好好的,今天我加入了requests.get的重试方法,并不在这里面,为什么这里面提示
IndentationError: unexpected unindent

suchocolate 发表于 2020-4-16 16:24:21

nanrenne 发表于 2020-4-16 12:58
直接无视了,嗯-----xpath真香

def page_num(html):


哪里缩进有问题了可能。

nanrenne 发表于 2020-4-19 12:07:22

suchocolate 发表于 2020-4-16 16:24
哪里缩进有问题了可能。

不是的不是的，是语法问题
页: [1]
查看完整版本: 我的正则为什么只返回一条记录