设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 请教一下 ，这段爬虫为啥爬不出东西？？？
返回列表 发新帖
查看: 2077|回复: 5

[已解决]请教一下 ，这段爬虫为啥爬不出东西？？？

[复制链接]
slhlde
发表于 2019-12-25 20:28:06 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
import urllib.request
import urllib.error
import re
import sys

class MovieComment():
    def __init__(self):

        self.start=0
        self.param='&filter=&type='
        self.headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'}
        self.commentist=[]
        self.filepath='E:/Projects/Python-Spiders/Python网络爬虫-罗攀/comment.txt'

    def getPage(self):
        try:
            for i in range(0,100,20):
                url = 'https://movie.douban.com/subject/25823277/comments?start=60&limit={i}&sort=new_score&status=P'
                request = urllib.request.Request(url,headers=self.headers)
                reponse = urllib.request.urlopen(request)
                page = reponse.read().decode('utf-8')
                print('正在抓取第' + str(i) + '页数据')
                return page
        except urllib.error.URLError as e:
            if hasattr(e,"reason"):
                print('抓取失败',e.reason)
    def getMovie(self):
        pattern=re.compile(u'<div.*?class="avatar">.*?'
                             + u'<a.*?title="(.*?)".*?href=".*?">.*?</a>.*?'
                             + u'<p.*?class="">(.*?)</p>',re.S)
        page=self.getPage()
        comments=re.findall(pattern,page)
        for comment in comments:
            self.commentist.append([comment[0],comment[1].strip()])
            with open('comment.txt','wb') as file:
                file.write(self.commentist.append([comment[0],comment[1].strip()]))

                file.close()
    def main(self):
        print('正在从《三生三世十里桃花》电影短评中抓取数据...')
        self.getMovie()
        print('抓取完毕...')

DouBanSpider = MovieComment()
DouBanSpider.main()
最佳答案
月排行榜 / 总排行榜
zltzlt
2019-12-25 20:32:07
代码很多问题，帮楼主修改了。

  1. import urllib.request
  2. import urllib.error
  3. import re


  6. class MovieComment:
  7.     def __init__(self):

  9.         self.start = 0
  10.         self.param = '&filter=&type='
  11.         self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, '
  12.                                       'like Gecko) Chrome/60.0.3112.90 Safari/537.36'}
  13.         self.commentist = []
  14.         self.filepath = 'E:/Projects/Python-Spiders/Python网络爬虫-罗攀/comment.txt'

  16.     def getPage(self):
  17.         try:
  18.             for i in range(0, 100, 20):
  19.                 url = 'https://movie.douban.com/subject/25823277/comments?start=60&limit={i}&sort=new_score&status=P'
  20.                 request = urllib.request.Request(url, headers=self.headers)
  21.                 reponse = urllib.request.urlopen(request)
  22.                 page = reponse.read().decode('utf-8')
  23.                 print('正在抓取第' + str(i) + '页数据')
  24.                 return page
  25.         except urllib.error.URLError as e:
  26.             if hasattr(e, "reason"):
  27.                 print('抓取失败', e.reason)

  29.     def getMovie(self):
  30.         pattern = re.compile(u'<div.*?class="avatar">.*?'
  31.                              + u'<a.*?title="(.*?)".*?href=".*?">.*?</a>.*?'
  32.                              + u'<p.*?class="">(.*?)</p>', re.S)
  33.         page = self.getPage()
  34.         comments = re.findall(pattern, page)
  35.         for comment in comments:
  36.             self.commentist.append([comment[0], comment[1].strip()])
  37.             with open('comment.txt', 'wb') as file:
  38.                 print(comment[0])
  39.                 self.commentist.append([comment[0], comment[1].strip()])
  40.                 file.write(" ".join([comment[0], comment[1].strip()]).encode())

  42.     def main(self):
  43.         print('正在从《三生三世十里桃花》电影短评中抓取数据...')
  44.         self.getMovie()
  45.         print('抓取完毕...')


  48. DouBanSpider = MovieComment()
  49. DouBanSpider.main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Stubborn
发表于 2019-12-25 20:30:54 | 显示全部楼层
  1. url = 'https://movie.douban.com/subject/25823277/comments?start=60&limit={i}&sort=new_score&status=P'
复制代码

这是什么语法，其他的暂时没看
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

zltzlt
发表于 2019-12-25 20:32:07 | 显示全部楼层    本楼为最佳答案   
代码很多问题，帮楼主修改了。

  1. import urllib.request
  2. import urllib.error
  3. import re


  6. class MovieComment:
  7.     def __init__(self):

  9.         self.start = 0
  10.         self.param = '&filter=&type='
  11.         self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, '
  12.                                       'like Gecko) Chrome/60.0.3112.90 Safari/537.36'}
  13.         self.commentist = []
  14.         self.filepath = 'E:/Projects/Python-Spiders/Python网络爬虫-罗攀/comment.txt'

  16.     def getPage(self):
  17.         try:
  18.             for i in range(0, 100, 20):
  19.                 url = 'https://movie.douban.com/subject/25823277/comments?start=60&limit={i}&sort=new_score&status=P'
  20.                 request = urllib.request.Request(url, headers=self.headers)
  21.                 reponse = urllib.request.urlopen(request)
  22.                 page = reponse.read().decode('utf-8')
  23.                 print('正在抓取第' + str(i) + '页数据')
  24.                 return page
  25.         except urllib.error.URLError as e:
  26.             if hasattr(e, "reason"):
  27.                 print('抓取失败', e.reason)

  29.     def getMovie(self):
  30.         pattern = re.compile(u'<div.*?class="avatar">.*?'
  31.                              + u'<a.*?title="(.*?)".*?href=".*?">.*?</a>.*?'
  32.                              + u'<p.*?class="">(.*?)</p>', re.S)
  33.         page = self.getPage()
  34.         comments = re.findall(pattern, page)
  35.         for comment in comments:
  36.             self.commentist.append([comment[0], comment[1].strip()])
  37.             with open('comment.txt', 'wb') as file:
  38.                 print(comment[0])
  39.                 self.commentist.append([comment[0], comment[1].strip()])
  40.                 file.write(" ".join([comment[0], comment[1].strip()]).encode())

  42.     def main(self):
  43.         print('正在从《三生三世十里桃花》电影短评中抓取数据...')
  44.         self.getMovie()
  45.         print('抓取完毕...')


  48. DouBanSpider = MovieComment()
  49. DouBanSpider.main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-25 20:37:41 | 显示全部楼层
zltzlt 发表于 2019-12-25 20:32
代码很多问题，帮楼主修改了。

首先感谢您的回复  
您的代码我试了，可以跑 但是只能抓一页？？我中间写了一个循环  为啥没有起到作用？？
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

zltzlt
发表于 2019-12-25 20:42:28 | 显示全部楼层
用这段代码：

  1. import urllib.request
  2. import urllib.error
  3. import re


  6. class MovieComment:
  7.     def __init__(self):

  9.         self.start = 0
  10.         self.param = '&filter=&type='
  11.         self.headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, '
  12.                                       'like Gecko) Chrome/60.0.3112.90 Safari/537.36'}
  13.         self.commentist = []
  14.         self.filepath = 'E:/Projects/Python-Spiders/Python网络爬虫-罗攀/comment.txt'

  16.     def getPage(self):
  17.         try:
  18.             for i in range(0, 100, 20):
  19.                 url = f'https://movie.douban.com/subject/25823277/comments?start=60&limit=' + \
  20.                       f'{i}&sort=new_score&status=P'
  21.                 request = urllib.request.Request(url, headers=self.headers)
  22.                 reponse = urllib.request.urlopen(request)
  23.                 page = reponse.read().decode('utf-8')
  24.                 print('正在抓取第' + str(i) + '页数据')
  25.                 yield page
  26.         except urllib.error.URLError as e:
  27.             if hasattr(e, "reason"):
  28.                 print('抓取失败', e.reason)

  30.     def getMovie(self):
  31.         pattern = re.compile(u'<div.*?class="avatar">.*?'
  32.                              + u'<a.*?title="(.*?)".*?href=".*?">.*?</a>.*?'
  33.                              + u'<p.*?class="">(.*?)</p>', re.S)
  34.         page = "".join(list(self.getPage()))
  35.         comments = re.findall(pattern, page)
  36.         for comment in comments:
  37.             self.commentist.append([comment[0], comment[1].strip()])
  38.             with open('comment.txt', 'wb') as file:
  39.                 print(comment[0])
  40.                 self.commentist.append([comment[0], comment[1].strip()])
  41.                 file.write(" ".join([comment[0], comment[1].strip()]).encode())

  43.     def main(self):
  44.         print('正在从《三生三世十里桃花》电影短评中抓取数据...')
  45.         self.getMovie()
  46.         print('抓取完毕...')


  49. DouBanSpider = MovieComment()
  50. DouBanSpider.main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-25 21:15:59 | 显示全部楼层
zltzlt 发表于 2019-12-25 20:42
用这段代码：

多谢回复~~~
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-4-1 21:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表