不弃_ 发表于 2022-4-12 17:00:30

爬取豆瓣Top250

import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:

    for each in targets:
      f.write(each.a.span.text)

      

为什么啥也没爬到啊

isdkz 发表于 2022-4-12 17:11:32

本帖最后由 isdkz 于 2022-4-12 17:23 编辑

现在豆瓣不加点反爬是爬不出的import requests
import bs4
res = requests.get("https://movie.douban.com/top250", headers={'User-Agent':'Mozilla/5.0'})                                 # 加个反爬
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:

    for each in targets:
      f.write(each.a.span.text)

      

1050293757 发表于 2022-4-12 20:35:50

{:5_109:}

sahuid 发表于 2022-4-12 21:05:08

{:10_257:}

hornwong 发表于 2022-4-12 22:03:24

{:5_95:}

不弃_ 发表于 2022-4-12 23:01:32

isdkz 发表于 2022-4-12 17:11
现在豆瓣不加点反爬是爬不出的

谢谢

amazed 发表于 2022-4-13 00:36:10

66666666666666666666666666

Passepartout 发表于 2022-4-13 06:57:39

{:10_256:}

心驰神往 发表于 2022-4-13 07:57:51

1050293757 发表于 2022-4-12 20:35


{:10_256:}

超级无敌磊果果 发表于 2022-4-13 09:14:26

{:7_146:}

myqf123 发表于 2022-4-13 09:50:14

{:10_275:}

1050293757 发表于 2022-4-13 14:08:22

{:5_109:}

tjweiyanmin 发表于 2022-4-13 21:40:58

加油

阿萨德按时 发表于 2022-4-14 10:23:08

{:10_256:}

一切都为编程 发表于 2022-4-14 10:27:08

学习

1molHF 发表于 2022-4-14 23:45:22


加油

1050293757 发表于 2022-4-15 14:37:05

{:5_109:}

CAPCL 发表于 2022-4-15 21:14:16

{:10_257:}

kerln888 发表于 2022-4-15 21:47:25

{:10_256:}{:10_256:}{:10_256:}

burntlime 发表于 2022-4-23 10:17:28

{:10_277:}
页: [1] 2
查看完整版本: 爬取豆瓣Top250