[已解决]关于用bs4爬网页的问题，跪求指导（根据爬去豆瓣Top250案例）

八个核桃罒

我自己爬其他网站的时候，老是爬去不成功，不报错，就是获取不了数据。一个小案例的代码如下,。

from bs4 import BeautifulSoup
import requests

headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}

url = "http://ebotapp.entgroup.cn/Browser"
res = requests.get(url, headers=headers)

soup = BeautifulSoup(res.text, 'html.parser')

def find_movies(res):
    soup = BeautifulSoup(res.text, 'html.parser')

    movies = []
    targets = soup.find_all("p", class_="fwn14")
    for each in targets:
        movies.append(each.p.text)
    print(movies)

find_movies(res)

输出结果是:
[]

Process finished with exit code 0

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-1-28 13:24:30

这只是没有数据，要么是这个节点里没有数据，要么是你爬取错误了。你要自己在中途调试，看看数据在吧里消失的。
比如说你这个print(movie)为空，那你就在前面print（each）看看有没有数据， 还是没有，那就在更上面看看print（targets）有没有，还是没有，那就是你方法或者网页元素那里的问题了。
总之，自己要学会往上往前面追溯原因。

跳转到最佳答案楼层

°蓝鲤歌蓝

这只是没有数据，要么是这个节点里没有数据，要么是你爬取错误了。你要自己在中途调试，看看数据在吧里消失的。
比如说你这个print(movie)为空，那你就在前面print（each）看看有没有数据， 还是没有，那就在更上面看看print（targets）有没有，还是没有，那就是你方法或者网页元素那里的问题了。
总之，自己要学会往上往前面追溯原因。

八个核桃罒

°蓝鲤歌蓝 发表于 2018-1-28 13:24
这只是没有数据，要么是这个节点里没有数据，要么是你爬取错误了。你要自己在中途调试，看看数据在吧里消失 ...

好的，感谢感谢~