张旭博 发表于 2023-4-3 16:53:31

求一个爬虫代码学习学习

小甲鱼之前的代码现在已经不能用了，想要一个最新的爬虫代码。例如小甲鱼的爬取豆瓣的代码。
用来寻找自己的不足之处。

sfqxx 发表于 2023-4-3 16:53:32

本帖最后由 sfqxx 于 2023-4-6 20:03 编辑

您好！以下是一个使用Python的最新的爬取豆瓣电影页面的示例代码：


import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

movie_list = soup.find_all('div', class_='hd')
for i in range(len(movie_list)):
    movie_name = movie_list.a.span.text
    print(f'{i+1}. {movie_name}')


首先，我们导入requests和BeautifulSoup库。然后指定网址和请求头信息。发送请求并使用BeautifulSoup解析HTML文档。最后，我们通过查找包含电影标题的HTML元素来提取所需信息。

请注意，这只是一个简单的示例代码，您可以根据个人需要对其进行修改和扩展。同时，请务必遵守网站的爬取规则和法律法规，以免触犯相关法律。

备注说明：因为动态渲染（https://www.nuanshi100.com/wenda ... &c=&p=22291），所以在F12里看到的不是requests爬到的。用Selenieum可以解决这个问题

isdkz 发表于 2023-4-3 16:56:24

把你不能用的代码放出来，你啥也不说谁知道你要爬什么

歌者文明清理员 发表于 2023-4-3 18:29:37

from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('headless')
chrome = webdriver.Chrome(options=option)
chrome.get('https://movie.douban.com')
print(chrome.page_source)
chrome.close()

不二猫猫 发表于 2023-4-3 20:39:39

代码发出来，改改还能用，缝缝补补又是一年

青出于蓝 发表于 2023-4-4 09:12:26

https://fishc.com.cn/thread-217071-1-1.html
这是爬取百度翻译的
论坛上可用的有很多，在我的主页里找找看吧{:10_257:}

张旭博 发表于 2023-4-5 08:04:27

歌者文明清理员 发表于 2023-4-3 18:29


运行了全部报红{:10_266:}

歌者文明清理员 发表于 2023-4-5 08:16:58

张旭博 发表于 2023-4-5 08:04
运行了全部报红

报错信息呢？

歌者文明清理员 发表于 2023-4-6 17:00:15

sfqxx 发表于 2023-4-5 20:32
您好！以下是一个使用Python的最新的爬取豆瓣电影页面的示例代码：




备注说明：因为动态渲染（https://www.nuanshi100.com/wenda/48903010d4f74b7f924b1333f0ff4229.html?order=ORDER_TIME&c=&p=22291），所以在F12里看到的不是requests爬到的。用Selenieum可以解决这个问题
页: [1]
查看完整版本: 求一个爬虫代码学习学习