鱼C论坛

 找回密码
 立即注册
查看: 1843|回复: 1

跟着视频写的一个爬虫,但是执行报错,大佬们帮忙看看是什么情况

[复制链接]
发表于 2021-2-5 16:05:51 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. # coding = utf-8
  2. import sys
  3. from bs4 import BeautifulSoup
  4. import re #正则表达式,进行文字匹配
  5. import urllib.request,urllib.error #指定url获取网页数据

  6. import sqlite3 #进行sqlite数据库操作

  7. def main():

  8.     baseurl = 'https://movie.douban.com/top250?start='
  9.     datalist = getdata(baseurl)
  10.     savepath = './豆瓣电影top250.xls'
  11.     # savedata(savepath)
  12.     #askURL(url)


  13. #爬取网页
  14. def getdata(baseurl):
  15.     datalist = []
  16.     for each in range(0,10):        #调用获取页面信息的函数,10次(一页25条。)
  17.         url = baseurl + str(each*25)
  18.         html = askURL(url)
  19.         sp = BeautifulSoup(html,'html.parser')
  20.         for i in sp.find_all('div',class_="item",limit=10):
  21.             datalist.append(i)
  22.             print(datalist)
  23.     return datalist
  24.     #2.逐一解析数据



  25. #得到指定一个url的网页内容
  26. def askURL(url):#模拟浏览器头部信息,向豆瓣服务器发送消息
  27.     header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
  28.                           #用户代理,表示告诉豆瓣服务器,我们时什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接收什么水平的内容
  29.     req = urllib.request.Request(url=url,headers=header)
  30.     html = ""
  31.     try:
  32.         response = urllib.request.urlopen((req))
  33.         html = response.read().decode("utf-8")
  34.         #print(html)
  35.     except urllib.error.URLError as e:
  36.         if hasattr(e,'code'):
  37.             print(e.code)
  38.         if hasattr(e,'reason'):
  39.             print(e.reason)
  40.     #return  html

  41.    
  42. def savedata(savepath):
  43.     #3.保存数据
  44.     pass

复制代码


报错信息为:Traceback (most recent call last):
  File "C:/Users/Administrator/Desktop/计算机/python/豆瓣爬虫项目/main.py", line 57, in <module>
    main()
  File "C:/Users/Administrator/Desktop/计算机/python/豆瓣爬虫项目/main.py", line 12, in main
    datalist = getdata(baseurl)
  File "C:/Users/Administrator/Desktop/计算机/python/豆瓣爬虫项目/main.py", line 24, in getdata
    sp = BeautifulSoup(html,'html.parser')
  File "C:\Users\Administrator\Desktop\计算机\venv\lib\site-packages\bs4\__init__.py", line 310, in __init__
    elif len(markup) <= 256 and (
TypeError: object of type 'NoneType' has no len()

Process finished with exit code 1
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2021-2-5 16:29:56 | 显示全部楼层
OK,没事了,是我自己脑淤血把askurl函数的返回值打成注释了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-28 04:10

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表