论坛 › Python交流 › 爬虫中提取数据

小小鹏 发表于 2020-8-31 18:18:38

爬虫中提取数据

https://pic.downk.cc/item/5f4cc565160a154a67cf5d9f.png

https://pic.downk.cc/item/5f4cc565160a154a67cf5da2.png

https://pic.downk.cc/item/5f4cc7f0160a154a67d16374.png

我想爬取“特别好！面料滑润凉爽，手感特别舒服.....多谢啦！还会再买的。”这段话，但是我写地xpath返回的是一个空列表，请问是哪里出错了吗？

1q23w31 发表于 2020-8-31 18:21:43

不知道为啥我看不到上一个帖子
你试试这样能获取到吗
//*[@id="comment-0"]/div/div/p/text()

小小鹏 发表于 2020-8-31 18:25:32

1q23w31 发表于 2020-8-31 18:21
不知道为啥我看不到上一个帖子
你试试这样能获取到吗

报错了，SyntaxError: invalid syntax

疾风怪盗 发表于 2020-8-31 18:33:40

你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反爬的吧

小小鹏 发表于 2020-8-31 18:40:02

疾风怪盗 发表于 2020-8-31 18:33
你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反 ...

怎么打印html呢？

suchocolate 发表于 2020-8-31 20:16:09

发你的代码，截图看不全网页结构

小小鹏 发表于 2020-8-31 21:22:00

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

import scrapy

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]
    start_urls = ["https://item.jd.com/69105038113.html",]

    def parse(self,response):
      filename = response.url.split("/")[-1]
      with open (filename,"wb") as f:
            f.write(response.body)

小小鹏 发表于 2020-8-31 21:22:32

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

一发代码就提示我要审核..

1q23w31 发表于 2020-8-31 21:37:42

小小鹏 发表于 2020-8-31 21:22
一发代码就提示我要审核..

把代码文件用网盘传上来，推荐文叔叔

小小鹏 发表于 2020-9-1 08:54:54

1q23w31 发表于 2020-8-31 21:37
把代码文件用网盘传上来，推荐文叔叔

import scrapy
from comments.items import CommentsItem

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]   
    start_urls = ["https://item.jd.com/69105038113.html",]


    def parse(self,response):
      sel = scrapy.selector.Selector(response)
      sites = sel.xpath("//div[@class = 'tab-con']/div")
      items = []
      for site in sites:
            item = CommentsItem()
            item["comm"] = site.xpath("div/div/p/text()").extract()
            items.append(item)

      return items

京东是不是有反爬虫，这个里面怎么设置反爬虫呀

查看完整版本: 爬虫中提取数据