鱼C论坛

 找回密码
 立即注册
查看: 2391|回复: 6

请问这个动态BBS网页代码标题头尾可能有图的如何i抓取里面的新闻标题?正则表如何改

[复制链接]
发表于 2016-11-2 10:41:53 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 crxliy 于 2016-11-6 12:49 编辑

请问如何用正则表达式提取下面的这个网页代码中的新闻标题?因为下面的这个是BBS的新闻标题,新闻标题前后<img 这个小图片,有的有前面的没后面的,有的相反,有的标题前后都有,有的都没有只有标题,这样我用下面的正则表达式就只能抓取出如图样子的,请问如何修改呢,自己在下面的表达式中前后加上^(?!...)也不行,求教大神们!
r'<font style="font-siz.*?">(.*?)</font></a>'
上面的正则表达式抓取到的如图

1.JPG

要抓取的 URL http://hongdou.gxnews.com.cn/viewforum-21-1.html
网页代码:
  1. <font style="font-size:14px;"><img src="/images/myself.gif" border="0">新闻标题<img align="AbsBottom" border="0" src="/images/isimg.gif" style=" margin-right:3px;"></font></a>
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-11-2 18:33:53 | 显示全部楼层
本帖最后由 SixPy 于 2016-11-2 18:39 编辑
  1. >>> import re, requests as req
  2. >>> rsp=req.get('http://hongdou.gxnews.com.cn/viewforum-21-1.html')
  3. >>> html=rsp.text
  4. >>> ptn=re.compile(r'<div[^>]+?class="thread-row openTitle"[^<]+?<a\s.+>([^<>]+?)<.*?/a>')
  5. >>> titles = ptn.findall(html)
  6. >>> print(titles)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-11-2 14:20:01 | 显示全部楼层
crxliy 发表于 2016-11-2 11:10
您上面的我觉得应该写成这样吧
r'

使用 `分枝条件`
http://deerchao.net/tutorials/regex/regex.htm#alternative
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-11-2 11:10:21 | 显示全部楼层
本帖最后由 crxliy 于 2016-11-2 11:14 编辑
hldh214 发表于 2016-11-2 11:06
通过观察发现括号里面的内容即是标题
所以正则就是


您上面的我觉得应该写成这样吧
r'<a title="主题:(.*?)&#13;'
其实我也知道了,但是我的想法就是假如没有这个的话,象我说的上面的正则表达式该如何修改如何写呢?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-11-2 11:06:04 | 显示全部楼层
crxliy 发表于 2016-11-2 10:46
要抓取的 URL
http://hongdou.gxnews.com.cn/viewforum-21-1.html

通过观察发现
<a title="主题:()&#13;
括号里面的内容即是标题
所以正则就是
  1. <a title="主题:(.+)&#13;
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-11-2 10:46:56 | 显示全部楼层
hldh214 发表于 2016-11-2 10:45
贴一下要抓取的 URL 吧

要抓取的 URL
http://hongdou.gxnews.com.cn/viewforum-21-1.html
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-11-2 10:45:36 | 显示全部楼层
贴一下要抓取的 URL 吧
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-9-22 16:28

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表