tiger吴 发表于 2020-7-8 15:06:47

关于爬虫

import urllib.request
from bs4 import BeautifulSoup
import re

def main():
    url='https://movie.douban.com/top250?start='#基础网址
    data1=[]      #输出的列表数据
    #1获取网站信息
    for i in range(10):
      url=url+str(i*25)      #获取实际使用的网址
      html = get_html(url)   #获得每一页的html
      data=jx(html)          #把每一页需要的目标信息截取出来放在data里
      data1.append(data)   #把每一页的目标信息组成的列表放入一个新的列表里

    return data1

    #3保存目标信息

def get_html(url):
    headers={
    'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
    }
    req=urllib.request.Request(url,headers=headers)
    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')
    return html

def jx(html):
    #使用BeautifulSoup解析html获得一个能直接使用正则表达式匹配的新文档
    soup=BeautifulSoup(html, 'html.parser')
    #创建获取目标信息的正则表达式规则
    findTitle=re.compile(r'<span class="title">(.*?)</span>')
    findBd=re.compile(r'<p class="">(.*?)</p>')
    findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    findlinl=re.compile(r'<a href="(.*?)" class="">')
    findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')

    data=[]#初始化一个存放目标信息的列表
    # 因为每一页有25个电影，使用for循环获取每一个电影的目标信息
    for i in range(25):
      item=re.findall(findTitle,soup)
      #问题：我看教程上面item要先转换成字符串，不懂求解
      data.append(str(item))

      item = re.findall(findBd, soup)
      data.append(str(item))

      item = re.findall(findRating, soup)
      data.append(str(item))

      item = re.findall(findRatingNumber, soup)
      data.append(str(item))

      item = re.findall(findlinl, soup)
      data.append(str(item))

      item = re.findall(findimg, soup)
      data.append(str(item))

    return data




if __name__=='__main__':
    main()

Traceback (most recent call last):
File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 74, in <module>
    main()
File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 19, in main
    data=jx(html)          #把每一页需要的目标信息截取出来放在data里
File "C:/Users/tiger/PycharmProjects/spider/test能否爬取.py", line 49, in jx
    item=re.findall(findTitle,soup)
File "C:\Users\tiger\Anaconda3\lib\re.py", line 223, in findall
    return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

看完教程后自己试着写了下，大佬们：
1.这写的有什么问题
2.代码里有个提问麻烦解答下

Twilight6 发表于 2020-7-8 16:26:15


soup=BeautifulSoup(html, 'html.parser')
这里用 decode 转成字符串就好了

import urllib.request
from bs4 import BeautifulSoup
import re


def get_html(url):
    headers={
    'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
    }
    req=urllib.request.Request(url,headers=headers)
    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')
    return html

def jx(html):
    #使用BeautifulSoup解析html获得一个能直接使用正则表达式匹配的新文档
    soup=BeautifulSoup(html, 'html.parser').decode()
    #创建获取目标信息的正则表达式规则
    findTitle=re.compile(r'<span class="title">(.*?)</span>')
    findBd=re.compile(r'<p class="">(.*?)</p>')
    findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    findlinl=re.compile(r'<a href="(.*?)" class="">')
    findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')

    data=[]#初始化一个存放目标信息的列表
    # 因为每一页有25个电影，使用for循环获取每一个电影的目标信息
    for i in range(25):
      item=re.findall(findTitle,soup)
      #问题1：我看教程上面item要先转换成字符串，不懂求解
      data.append(str(item))

      item = re.findall(findBd, soup)
      data.append(str(item))

      item = re.findall(findRating, soup)
      data.append(str(item))

      item = re.findall(findRatingNumber, soup)
      data.append(str(item))

      item = re.findall(findlinl, soup)
      data.append(str(item))

      item = re.findall(findimg, soup)
      data.append(str(item))

    return data



def main():
    url='https://movie.douban.com/top250?start='#基础网址
    data1=[]      #输出的列表数据
    #1获取网站信息
    for i in range(10):
      url=url+str(i*25)      #获取实际使用的网址
      html = get_html(url)   #获得每一页的html
      data=jx(html)          #把每一页需要的目标信息截取出来放在data里
      data1.append(data)   #把每一页的目标信息组成的列表放入一个新的列表里

    return data1

    #3保存目标信息


if __name__=='__main__':
    print(main())

tiger吴 发表于 2020-7-8 16:56:14

Twilight6 发表于 2020-7-8 16:26
这里用 decode 转成字符串就好了

还是报错啊

Twilight6 发表于 2020-7-8 16:57:06

tiger吴 发表于 2020-7-8 16:56
还是报错啊



我的不报错 你代码复制过去运行看看

tiger吴 发表于 2020-7-8 16:58:10

Twilight6 发表于 2020-7-8 16:26
这里用 decode 转成字符串就好了

啥了，没报错

tiger吴 发表于 2020-7-8 17:04:35

Twilight6 发表于 2020-7-8 16:57
我的不报错 你代码复制过去运行看看

讲下代码格式操作问题吧，网页本身是什么码，然后写爬虫的时候那一步用什么把他转化成什么格式等等，
对编码好晕

Twilight6 发表于 2020-7-8 17:11:44

tiger吴 发表于 2020-7-8 17:04
讲下代码格式操作问题吧，网页本身是什么码，然后写爬虫的时候那一步用什么把他转化成什么格式等等，
对 ...

主要你这里通过 BeautifulSoup(html, 'html.parser') 解析成一个 bs4 对象了，实际上我觉得这里多余了...你直接用 html 就行

tiger吴 发表于 2020-7-8 17:39:11

Twilight6 发表于 2020-7-8 17:11
主要你这里通过 BeautifulSoup(html, 'html.parser') 解析成一个 bs4 对象了，实际上我觉得这里多余了... ...

大佬帮我把代码让我这个思路补全点吧，随便一改就是报错

Twilight6 发表于 2020-7-8 18:04:05

tiger吴 发表于 2020-7-8 17:39
大佬帮我把代码让我这个思路补全点吧，随便一改就是报错



你的代码始终只能获取第一页的内容，帮你改完了：

import urllib.request
import re

def get_html(url):
    headers={
    'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 83.0.4103.106Safari / 537.36'
    }
    req=urllib.request.Request(url,headers=headers)
    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')
    return html

def jx(html):
    #创建获取目标信息的正则表达式规则
    findTitle=re.compile(r'<span class="title">(.*?)</span>')
    findBd=re.compile(r'<p class="">(.*?)</p>')
    findRating=re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
    findRatingNumber=re.compile(r'<span>(.*?人评价)</span>')
    findlinl=re.compile(r'<a href="(.*?)" class="">')
    findimg=re.compile(r'<img width="100" alt="(?:.*?)" src="(.*?)" class="">')

    data=[]#初始化一个存放目标信息的列表
    item=re.findall(findTitle,html)
    # 利用 for 循环替换掉 &nbsp;/&nbsp; 字符
    for i in range(len(item)):
      item = re.sub(r'&nbsp;/&nbsp;','',item)
    data.append(item)

    item = re.findall(findBd, html)
    data.append(item)

    item = re.findall(findRating, html)
    data.append(item)

    item = re.findall(findRatingNumber, html)
    data.append(item)

    item = re.findall(findlinl, html)
    data.append(item)

    item = re.findall(findimg, html)
    data.append(item)

    return data



def main():
    url='https://movie.douban.com/top250?start='#基础网址
    data1=[]      #输出的列表数据
    #1获取网站信息
    for i in range(10):
      url1=url+str(i*25)      #获取实际使用的网址
      html = get_html(url1)   #获得每一页的html
      data=jx(html)          #把每一页需要的目标信息截取出来放在data里
      data1.append(data)   #把每一页的目标信息组成的列表放入一个新的列表里

    return data1


if __name__=='__main__':
    print(main())

tiger吴 发表于 2020-7-8 22:13:19

Twilight6 发表于 2020-7-8 18:04
你的代码始终只能获取第一页的内容，帮你改完了：

C:\Users\tiger\PycharmProjects\spider\venv\Scripts\python.exe C:/Users/tiger/PycharmProjects/spider/venv/备份.py
49
47
0
0
0
0
0
0
0
0
[['[\'肖申克的救赎\', \'\\xa0/\\xa0The Shawshank Redemption\', \'霸王别姬\', \'阿甘正传\', \'\\xa0/\\xa0Forrest Gump\', \'这个杀手不太冷\', \'\\xa0/\\xa0Léon\', \'美丽人生\', \'\\xa0/\\xa0La vita è bella\', \'泰坦尼克号\', \'\\xa0/\\xa0Titanic\', \'千与千寻\', \'\\xa0/\\xa0千と千尋の神隠し\', \'辛德勒的名单\', "\\xa0/\\xa0Schindler\'s List", \'盗梦空间\', \'\\xa0/\\xa0Inception\', \'忠犬八公的故事\', "\\xa0/\\xa0Hachi: A
如上，我用代码打出了十张网页标题的数量，问题来了前面两张网页的标题数量正常，后面的都是0了为什么，代码我没改，就是家了几行打印标题数量的代码

Twilight6 发表于 2020-7-8 22:16:06

tiger吴 发表于 2020-7-8 22:13
C:%users\tiger\PycharmProjects\spider\venv\Scripts\python.exe C:/Users/tiger/PycharmProjects/spide ...

我上面一楼不是帮你差不多改好了嘛

tiger吴 发表于 2020-7-8 22:30:44

Twilight6 发表于 2020-7-8 22:16
我上面一楼不是帮你差不多改好了嘛

结果不给力啊
页: [1]
查看完整版本: 关于爬虫