鱼C论坛

 找回密码
 立即注册
查看: 987|回复: 2

极客python之效率革命,爬取豆瓣top250

[复制链接]
发表于 2020-5-31 11:57:08 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
求助大佬。
根据小甲鱼的代码和一些补充,结果能输出,但是会有警告:InsecureRequestWarning
要怎么消除。

这是我的代码

import requests
import bs4
import urllib3

headers = {  # 头部变量主要储存代理信息,伪装浏览器
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
                      " AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
res = requests.get("https://movie.douban.com//top250", headers=headers, verify=False)
# requests.packages.urllib3.disable_warnings()
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")

for each in targets:
    print(each.a.span.text)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-6-1 07:13:20 | 显示全部楼层
https://blog.csdn.net/qq_39377418/article/details/89673171
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-6-10 16:43:55 | 显示全部楼层
b站过来学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-20 19:27

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表