爬虫中提取数据

小小鹏

                               
登录/注册后可看大图

                               
登录/注册后可看大图

                               
登录/注册后可看大图

我想爬取“特别好！面料滑润凉爽，手感特别舒服.....多谢啦！还会再买的。”这段话，但是我写地xpath返回的是一个空列表，请问是哪里出错了吗？

1q23w31

不知道为啥我看不到上一个帖子
你试试这样能获取到吗

//*[@id="comment-0"]/div[1]/div[2]/p/text()

小小鹏

1q23w31 发表于 2020-8-31 18:21
不知道为啥我看不到上一个帖子
你试试这样能获取到吗

报错了，SyntaxError: invalid syntax

疾风怪盗

你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反爬的吧

小小鹏

疾风怪盗 发表于 2020-8-31 18:33
你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反 ...

怎么打印html呢？

suchocolate

发你的代码，截图看不全网页结构

小小鹏

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

import scrapy

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]
    start_urls = ["https://item.jd.com/69105038113.html",]

    def parse(self,response):
        filename = response.url.split("/")[-1]
        with open (filename,"wb") as f:
            f.write(response.body)

小小鹏

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

一发代码就提示我要审核..

1q23w31

小小鹏 发表于 2020-8-31 21:22
一发代码就提示我要审核..

把代码文件用网盘传上来，推荐文叔叔

小小鹏

1q23w31 发表于 2020-8-31 21:37
把代码文件用网盘传上来，推荐文叔叔

import scrapy
from comments.items import CommentsItem

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]    
    start_urls = ["https://item.jd.com/69105038113.html",]


    def parse(self,response):
        sel = scrapy.selector.Selector(response)
        sites = sel.xpath("//div[@class = 'tab-con']/div")
        items = []
        for site in sites:
            item = CommentsItem()
            item["comm"] = site.xpath("div/div/p/text()").extract()
            items.append(item)

        return items

京东是不是有反爬虫，这个里面怎么设置反爬虫呀