[已解决]求一个爬虫代码学习学习

张旭博

小甲鱼之前的代码现在已经不能用了，想要一个最新的爬虫代码。例如小甲鱼的爬取豆瓣的代码。
用来寻找自己的不足之处。

最佳答案

月排行榜 / 总排行榜

sfqxx

2023-4-3 16:53:32

您好！以下是一个使用Python的最新的爬取豆瓣电影页面的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

movie_list = soup.find_all('div', class_='hd')
for i in range(len(movie_list)):
    movie_name = movie_list[i].a.span.text
    print(f'{i+1}. {movie_name}')

首先，我们导入requests和BeautifulSoup库。然后指定网址和请求头信息。发送请求并使用BeautifulSoup解析HTML文档。最后，我们通过查找包含电影标题的HTML元素来提取所需信息。

请注意，这只是一个简单的示例代码，您可以根据个人需要对其进行修改和扩展。同时，请务必遵守网站的爬取规则和法律法规，以免触犯相关法律。

备注说明：因为动态渲染（https://www.nuanshi100.com/wenda ... &c=&p=22291），所以在F12里看到的不是requests爬到的。用Selenieum可以解决这个问题

跳转到最佳答案楼层

sfqxx

您好！以下是一个使用Python的最新的爬取豆瓣电影页面的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

movie_list = soup.find_all('div', class_='hd')
for i in range(len(movie_list)):
    movie_name = movie_list[i].a.span.text
    print(f'{i+1}. {movie_name}')

首先，我们导入requests和BeautifulSoup库。然后指定网址和请求头信息。发送请求并使用BeautifulSoup解析HTML文档。最后，我们通过查找包含电影标题的HTML元素来提取所需信息。

请注意，这只是一个简单的示例代码，您可以根据个人需要对其进行修改和扩展。同时，请务必遵守网站的爬取规则和法律法规，以免触犯相关法律。

备注说明：因为动态渲染（https://www.nuanshi100.com/wenda ... &c=&p=22291），所以在F12里看到的不是requests爬到的。用Selenieum可以解决这个问题

isdkz

把你不能用的代码放出来，你啥也不说谁知道你要爬什么

歌者文明清理员

from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('headless')
chrome = webdriver.Chrome(options=option)
chrome.get('https://movie.douban.com')
print(chrome.page_source)
chrome.close()

不二猫猫

代码发出来，改改还能用，缝缝补补又是一年

青出于蓝

https://fishc.com.cn/thread-217071-1-1.html
这是爬取百度翻译的
论坛上可用的有很多，在我的主页里找找看吧

张旭博

歌者文明清理员 发表于 2023-4-3 18:29

运行了  全部报红

歌者文明清理员

张旭博 发表于 2023-4-5 08:04
运行了  全部报红

报错信息呢？

歌者文明清理员

sfqxx 发表于 2023-4-5 20:32
您好！以下是一个使用Python的最新的爬取豆瓣电影页面的示例代码：

备注说明：因为动态渲染（https://www.nuanshi100.com/wenda ... &c=&p=22291），所以在F12里看到的不是requests爬到的。用Selenieum可以解决这个问题