鱼C论坛

 找回密码
 立即注册
查看: 2207|回复: 2

用正则表达式爬取贴吧标题

[复制链接]
发表于 2017-2-17 11:03:13 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. #获得贴吧的标题

  2. import urllib.request
  3. import re

  4. def url_open(url):
  5.     #伪造headers 防止屏蔽
  6.     head = {}
  7.     head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'

  8.     req = urllib.request.Request(url,headers=head)
  9.     response = urllib.request.urlopen(req)
  10.     html = response.read().decode('utf-8')

  11.     return html


  12. def GetTitle(html):
  13.     info = re.findall(r'target="_blank">(*)</a>',html)
  14.     for title in info:
  15.         print(title)

  16. if __name__=='__main__':
  17.     for i in range(5):
  18.         ii = (i+1)*50
  19.         print(ii)
  20.         url = "http://tieba.baidu.com/f?kw=%E5%B1%B1%E4%B8%9C%E9%B2%81%E8%83%BD&ie=utf-8&pn=" + str(ii)
  21.         GetTitle(url_open(url))
  22.         print("__________________________________________")

复制代码


是不是我的正则表达式写错了????



想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-2-17 11:25:20 | 显示全部楼层
(.*)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-2-17 12:44:58 | 显示全部楼层
@#
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-27 03:10

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表