设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 请问这段代码爬虫爬的都是一样的内容？？？
返回列表 发新帖
查看: 1196|回复: 8

[已解决]请问这段代码爬虫爬的都是一样的内容？？？

[复制链接]
slhlde
发表于 2019-12-19 23:28:37 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本帖最后由 slhlde 于 2019-12-19 23:29 编辑

import requests
import re
from lxml import etree
import time

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}


def get_movie_info(url):
    html=requests.get(url,headers=headers)
    print('======打印网页状态，确认是否被反爬虫=======')
    print(html.status_code)

    selector=etree.HTML(html.text)

    infos=selector.xpath('//div[@class="info"]')
    print('======打印所有infos======')
    print(infos)

    for info in infos:
        names=info.xpath('//div[@class="hd"]/a/span/text()')[0]
        directors_actors=info.xpath('//div[@class="bd"]/p[1]/text()')[0].replace(" ", "").replace("\n", "")
        dates=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[0]
        countrys=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[1]
        stypes=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[2]
        scores=info.xpath('//span[@class="rating_num"]/text()')[0]
        comCounts=info.xpath('//div[@class="star"]/span[4]/text()')[0]
        data = {
            'name': names,
            'directors_actor': directors_actors,
            'date': dates,
            'stype': stypes,
            'country': countrys,
            'score': scores,
            'comCount':comCounts
            }
        print(data)

if __name__=="__main__":
    urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
    for url in urls:
        print('==========打印当前的地址========')
        print(url)
        get_movie_info(url)
        time.sleep(2)

QQ截图20191219232822.png

最佳答案
月排行榜 / 总排行榜
yjsx86
2019-12-20 21:06:27
本帖最后由 yjsx86 于 2019-12-20 21:08 编辑

xpath语法有问题 // 改为 .//

然后print(data)缩进有问题

  1. import requests
  2. import re
  3. from lxml import etree
  4. import time

  6. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}


  9. def get_movie_info(url):
  10.     html=requests.get(url,headers=headers)
  11.     print('======打印网页状态，确认是否被反爬虫=======')
  12.     print(html.status_code)

  14.     selector=etree.HTML(html.text)

  16.     infos=selector.xpath('//div[@class="info"]')
  17.     print('======打印所有infos======')
  18.     print(infos)

  20.     for info in infos:
  21.         names=info.xpath('.//div[@class="hd"]/a/span/text()')[0]
  22.         directors_actors=info.xpath('.//div[@class="bd"]/p[1]/text()')[0].replace(" ", "").replace("\n", "")
  23.         dates=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[0]
  24.         countrys=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[1]
  25.         stypes=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[2]
  26.         scores=info.xpath('.//span[@class="rating_num"]/text()')[0]
  27.         comCounts=info.xpath('.//div[@class="star"]/span[4]/text()')[0]
  28.         data = {
  29.             'name': names,
  30.             'directors_actor': directors_actors,
  31.             'date': dates,
  32.             'stype': stypes,
  33.             'country': countrys,
  34.             'score': scores,
  35.             'comCount':comCounts
  36.             }
  37.         print(data)

  39. if __name__=="__main__":
  40.     urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
  41.     for url in urls:
  42.         print('==========打印当前的地址========')
  43.         print(url)
  44.         get_movie_info(url)
  45.         time.sleep(2)
复制代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

slhlde
 楼主| 发表于 2019-12-19 23:30:37 | 显示全部楼层
为啥打印的都是一样的内容？？？？？已经写了一个循环。。。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

wongyusing
发表于 2019-12-20 00:21:09 | 显示全部楼层
缩进啊

  1. import requests
  2. import re
  3. from lxml import etree
  4. import time

  6. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}


  9. def get_movie_info(url):
  10.     html=requests.get(url,headers=headers)
  11.     print('======打印网页状态，确认是否被反爬虫=======')
  12.     print(html.status_code)

  14.     selector=etree.HTML(html.text)

  16.     infos=selector.xpath('//div[@class="info"]')
  17.     print('======打印所有infos======')
  18.     print(infos)

  20.     for info in infos:
  21.         names=info.xpath('//div[@class="hd"]/a/span/text()')[0]
  22.         directors_actors=info.xpath('//div[@class="bd"]/p[1]/text()')[0].replace(" ", "").replace("\n", "")
  23.         dates=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[0]
  24.         countrys=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[1]
  25.         stypes=info.xpath('//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[2]
  26.         scores=info.xpath('//span[@class="rating_num"]/text()')[0]
  27.         comCounts=info.xpath('//div[@class="star"]/span[4]/text()')[0]
  28.         data = {
  29.             'name': names,
  30.             'directors_actor': directors_actors,
  31.             'date': dates,
  32.             'stype': stypes,
  33.             'country': countrys,
  34.             'score': scores,
  35.             'comCount':comCounts
  36.             }
  37.     print(data)

  39. if __name__=="__main__":
  40.     urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
  41.     for url in urls:
  42.         print('==========打印当前的地址========')
  43.         print(url)
  44.         get_movie_info(url)
  45.         time.sleep(2)
复制代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-20 20:01:24 | 显示全部楼层
wongyusing 发表于 2019-12-20 00:21
缩进啊

我按照你的代码试了   只能抓到每页的第一个，别的都抓不到
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-20 20:02:02 | 显示全部楼层
wongyusing 发表于 2019-12-20 00:21
缩进啊

QQ截图20191219232822.png
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-20 20:02:36 | 显示全部楼层
@wongyusing
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

yjsx86
发表于 2019-12-20 21:06:27 | 显示全部楼层    本楼为最佳答案   
本帖最后由 yjsx86 于 2019-12-20 21:08 编辑

xpath语法有问题 // 改为 .//

然后print(data)缩进有问题

  1. import requests
  2. import re
  3. from lxml import etree
  4. import time

  6. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}


  9. def get_movie_info(url):
  10.     html=requests.get(url,headers=headers)
  11.     print('======打印网页状态，确认是否被反爬虫=======')
  12.     print(html.status_code)

  14.     selector=etree.HTML(html.text)

  16.     infos=selector.xpath('//div[@class="info"]')
  17.     print('======打印所有infos======')
  18.     print(infos)

  20.     for info in infos:
  21.         names=info.xpath('.//div[@class="hd"]/a/span/text()')[0]
  22.         directors_actors=info.xpath('.//div[@class="bd"]/p[1]/text()')[0].replace(" ", "").replace("\n", "")
  23.         dates=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[0]
  24.         countrys=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[1]
  25.         stypes=info.xpath('.//div[@class="bd"]/p[1]/text()')[1].replace(" ", "").replace("\n", "").split("/")[2]
  26.         scores=info.xpath('.//span[@class="rating_num"]/text()')[0]
  27.         comCounts=info.xpath('.//div[@class="star"]/span[4]/text()')[0]
  28.         data = {
  29.             'name': names,
  30.             'directors_actor': directors_actors,
  31.             'date': dates,
  32.             'stype': stypes,
  33.             'country': countrys,
  34.             'score': scores,
  35.             'comCount':comCounts
  36.             }
  37.         print(data)

  39. if __name__=="__main__":
  40.     urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
  41.     for url in urls:
  42.         print('==========打印当前的地址========')
  43.         print(url)
  44.         get_movie_info(url)
  45.         time.sleep(2)
复制代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

slhlde
 楼主| 发表于 2019-12-20 21:14:56 | 显示全部楼层
yjsx86 发表于 2019-12-20 21:06
xpath语法有问题 // 改为 .//

然后print(data)缩进有问题

这个点，有和没有区别在哪啊？ 多谢你的回复。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

yjsx86
发表于 2019-12-20 22:53:33 | 显示全部楼层
slhlde 发表于 2019-12-20 21:14
这个点，有和没有区别在哪啊？ 多谢你的回复。

自己搜索一下xpath语法
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-3 05:12

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表