鱼C论坛

 找回密码
 立即注册
查看: 3423|回复: 19

[已解决]问题解决了,但又没完全解决

[复制链接]
发表于 2023-7-24 13:41:54 | 显示全部楼层
你的代码看起来是在尝试从指定的网页中抓取所有的PDF文件链接。出现问题的可能原因是PDF链接在HTML内容中的格式有所变化,或者你的正则表达式没有正确匹配新网址中的链接格式。

我们来修改一下你的正则表达式。当前,你正在寻找带有 ".pdf" 的  <a>  标签链接,假设它们的格式如  <a href="file.pdf"> 。然而,在实际的HTML代码中,链接可能会有很多其他属性,例如样式、类、id等,并且这些属性的顺序也可能会变化。

下面是一个改进的版本,这个正则表达式会寻找任何  <a>  标签中的链接,只要链接以 ".pdf" 结尾,而不论其他属性如何出现或排序。

  1. import re
  2. import requests
  3. from urllib.parse import urljoin

  4. def get_pdf_urls(url):
  5.     response = requests.get(url)
  6.     html_content = response.text

  7.     domain = "http://sdshiyan.jinan.cn/"  # 你需要设置主域名,根据实际情况修改

  8.     pdf_urls = []
  9.     pattern = r'<a[^>]*?href="(.*?\.pdf)"'
  10.     matches = re.findall(pattern, html_content)
  11.     for match in matches:
  12.         absolute_url = urljoin(domain, match)
  13.         pdf_urls.append(absolute_url)

  14.     return pdf_urls

  15. # 指定网址进行测试
  16. url = "http://sdshiyan.jinan.cn/art/2023/7/14/art_5081_296939.html"
  17. pdf_urls = get_pdf_urls(url)
  18. print(pdf_urls)
复制代码


我修改的正则表达式为 <a[^>]*?href="(.*?\.pdf)" ,在 <a 和 href 之间的部分使用了 [^>]*? 来匹配可能出现的其他属性。 [^>] 代表匹配任何不是 > 的字符, * 代表前面的字符可以出现任意次, ? 则使得这个匹配是非贪婪的,也就是说尽可能少的匹配字符。

这个正则表达式应该可以更好的应对链接属性的变化。然而请注意,正则表达式并不能处理所有HTML的复杂性。如果你需要处理更复杂的HTML结构,可能需要考虑使用像BeautifulSoup这样的HTML解析库。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-17 02:56

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表