鱼C论坛

 找回密码
 立即注册
查看: 3450|回复: 25

[已解决]爬取豆瓣Top250

[复制链接]
发表于 2022-4-12 17:00:30 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:

    for each in targets:
        f.write(each.a.span.text)

       
为什么啥也没爬到啊
最佳答案
2022-4-12 17:11:32
本帖最后由 isdkz 于 2022-4-12 17:23 编辑

现在豆瓣不加点反爬是爬不出的
import requests
import bs4
res = requests.get("https://movie.douban.com/top250", headers={'User-Agent':'Mozilla/5.0'})                                   # 加个反爬
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:

    for each in targets:
        f.write(each.a.span.text)

       
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-12 17:11:32 | 显示全部楼层    本楼为最佳答案   

回帖奖励 +1 鱼币

本帖最后由 isdkz 于 2022-4-12 17:23 编辑

现在豆瓣不加点反爬是爬不出的
import requests
import bs4
res = requests.get("https://movie.douban.com/top250", headers={'User-Agent':'Mozilla/5.0'})                                   # 加个反爬
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:

    for each in targets:
        f.write(each.a.span.text)

       
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-4-12 20:35:50 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-12 21:05:08 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-12 22:03:24 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2022-4-12 23:01:32 | 显示全部楼层
isdkz 发表于 2022-4-12 17:11
现在豆瓣不加点反爬是爬不出的

谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-4-13 00:36:10 | 显示全部楼层

回帖奖励 +1 鱼币

66666666666666666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-4-13 06:57:39 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-13 07:57:51 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-4-13 09:14:26 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-13 09:50:14 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-13 14:08:22 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-13 21:40:58 | 显示全部楼层

回帖奖励 +1 鱼币

加油
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-14 10:23:08 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-14 10:27:08 | 显示全部楼层

回帖奖励 +1 鱼币

学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-14 23:45:22 | 显示全部楼层

回帖奖励 +1 鱼币


加油
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-15 14:37:05 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-15 21:14:16 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-15 21:47:25 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-23 10:17:28 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-18 16:40

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表