爬虫中提取数据

小小鹏

                               
登录/注册后可看大图

                               
登录/注册后可看大图

                               
登录/注册后可看大图

我想爬取“特别好！面料滑润凉爽，手感特别舒服.....多谢啦！还会再买的。”这段话，但是我写地xpath返回的是一个空列表，请问是哪里出错了吗？

1q23w31

不知道为啥我看不到上一个帖子
你试试这样能获取到吗

1. //*[@id="comment-0"]/div[1]/div[2]/p/text()

复制代码

小小鹏

1q23w31 发表于 2020-8-31 18:21
不知道为啥我看不到上一个帖子
你试试这样能获取到吗

报错了，SyntaxError: invalid syntax

疾风怪盗

你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反爬的吧

小小鹏

疾风怪盗 发表于 2020-8-31 18:33
你打印一下html看下，是不是“全部评论”下面显示的是“正在加载中”，就没获取到评论的数据
京东应该由反 ...

怎么打印html呢？

suchocolate

发你的代码，截图看不全网页结构

小小鹏

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

1. import scrapy
   
2. 
   
3. class CommentsSpider(scrapy.Spider):
   
4.     name = "comm"
   
5.     allowed_domains = ["item.jd.com"]
   
6.     start_urls = ["https://item.jd.com/69105038113.html",]
   
7. 
   
8.     def parse(self,response):
   
9.         filename = response.url.split("/")[-1]
   
10.         with open (filename,"wb") as f:
    
11.             f.write(response.body)
    

复制代码

小小鹏

suchocolate 发表于 2020-8-31 20:16
发你的代码，截图看不全网页结构

一发代码就提示我要审核..

1q23w31

小小鹏 发表于 2020-8-31 21:22
一发代码就提示我要审核..

把代码文件用网盘传上来，推荐文叔叔

小小鹏

1q23w31 发表于 2020-8-31 21:37
把代码文件用网盘传上来，推荐文叔叔

1. import scrapy
   
2. from comments.items import CommentsItem
   
3. 
   
4. class CommentsSpider(scrapy.Spider):
   
5.     name = "comm"
   
6.     allowed_domains = ["item.jd.com"]   
   
7.     start_urls = ["https://item.jd.com/69105038113.html",]
   
8. 
   
9. 
   
10.     def parse(self,response):
    
11.         sel = scrapy.selector.Selector(response)
    
12.         sites = sel.xpath("//div[@class = 'tab-con']/div")
    
13.         items = []
    
14.         for site in sites:
    
15.             item = CommentsItem()
    
16.             item["comm"] = site.xpath("div/div/p/text()").extract()
    
17.             items.append(item)
    
18. 
    
19.         return items

复制代码

京东是不是有反爬虫，这个里面怎么设置反爬虫呀