|
发表于 2023-7-24 13:41:54
|
显示全部楼层
你的代码看起来是在尝试从指定的网页中抓取所有的PDF文件链接。出现问题的可能原因是PDF链接在HTML内容中的格式有所变化,或者你的正则表达式没有正确匹配新网址中的链接格式。
我们来修改一下你的正则表达式。当前,你正在寻找带有 ".pdf" 的 <a> 标签链接,假设它们的格式如 <a href="file.pdf"> 。然而,在实际的HTML代码中,链接可能会有很多其他属性,例如样式、类、id等,并且这些属性的顺序也可能会变化。
下面是一个改进的版本,这个正则表达式会寻找任何 <a> 标签中的链接,只要链接以 ".pdf" 结尾,而不论其他属性如何出现或排序。
- import re
- import requests
- from urllib.parse import urljoin
- def get_pdf_urls(url):
- response = requests.get(url)
- html_content = response.text
- domain = "http://sdshiyan.jinan.cn/" # 你需要设置主域名,根据实际情况修改
- pdf_urls = []
- pattern = r'<a[^>]*?href="(.*?\.pdf)"'
- matches = re.findall(pattern, html_content)
- for match in matches:
- absolute_url = urljoin(domain, match)
- pdf_urls.append(absolute_url)
- return pdf_urls
- # 指定网址进行测试
- url = "http://sdshiyan.jinan.cn/art/2023/7/14/art_5081_296939.html"
- pdf_urls = get_pdf_urls(url)
- print(pdf_urls)
复制代码
我修改的正则表达式为 <a[^>]*?href="(.*?\.pdf)" ,在 <a 和 href 之间的部分使用了 [^>]*? 来匹配可能出现的其他属性。 [^>] 代表匹配任何不是 > 的字符, * 代表前面的字符可以出现任意次, ? 则使得这个匹配是非贪婪的,也就是说尽可能少的匹配字符。
这个正则表达式应该可以更好的应对链接属性的变化。然而请注意,正则表达式并不能处理所有HTML的复杂性。如果你需要处理更复杂的HTML结构,可能需要考虑使用像BeautifulSoup这样的HTML解析库。 |
|