有没有通过主页面爬取子页面的链接方法

a870950142 · 发表于 2022-11-21 15:57:29

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

比如只通过这个网站：movie.douban.com

获取到：
movie.douban.com/review/best/
movie.douban.com/tv/
等等....

suchocolate · 发表于 2022-11-22 00:22:29

import requests
import re

headers = {'user-agent': 'Mozilla'}
r = requests.get('http://movie.douban.com', headers=headers)
result = re.findall(r'href="(https://movie.douban.com/.*?)"', r.text)
print(result)

账号		自动登录	找回密码
密码			立即注册