小小鹏 发表于 2020-8-31 17:25:40

爬虫中提取数据

本帖最后由 小小鹏 于 2020-8-31 18:06 编辑

https://pic.downk.cc/item/5f4cc565160a154a67cf5d9f.png


https://pic.downk.cc/item/5f4cc565160a154a67cf5da2.png
想获取“”特别好！面料滑润凉爽，手感特别舒服......多谢啦！还会再买的。”这段话，我写出来的运行出来是个空列表，请问哪里有错误吗？

我没有权限加你好友 然后我这里也有bug 我明明回复了 但是没有看到我回复的内容

1q23w31 发表于 2020-8-31 17:38:41

图挂了

1q23w31 发表于 2020-8-31 17:40:40

发一下源码和链接

小小鹏 发表于 2020-8-31 17:40:48

1q23w31 发表于 2020-8-31 17:38
图挂了

重新编辑了一下，应该可以看到了吧

1q23w31 发表于 2020-8-31 17:41:24

本帖最后由 1q23w31 于 2020-8-31 17:43 编辑

小小鹏 发表于 2020-8-31 17:40
重新编辑了一下，应该可以看到了吧

可以了，发一下源码吧，大概看了一下，你的xpath写错了

小小鹏 发表于 2020-8-31 17:45:10

1q23w31 发表于 2020-8-31 17:41
可以了，发一下源码吧，大概看了一下，你的xpath写错了

import scrapy

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]
    start_urls = ["https://item.jd.com/69105038113.html",]

    def parse(self,response):
      filename = response.url.split("/")[-1]
      with open (filename,"wb") as f:
            f.write(response.body)

我还只是保存了response 然后我在用shell试一下 想爬出评论 网页地址是https://item.jd.com/69105038113.html

小小鹏 发表于 2020-8-31 17:46:23

1q23w31 发表于 2020-8-31 17:41
可以了，发一下源码吧，大概看了一下，你的xpath写错了

import scrapy

class CommentsSpider(scrapy.Spider):
    name = "comm"
    allowed_domains = ["item.jd.com"]
    start_urls = ["https://item.jd.com/69105038113.html",]

    def parse(self,response):
      filename = response.url.split("/")[-1]
      with open (filename,"wb") as f:
            f.write(response.body)


还只是保存了response，再用shell试一下，想爬出评论，网址在上面代码中。

小小鹏 发表于 2020-8-31 17:47:03

1q23w31 发表于 2020-8-31 17:41
可以了，发一下源码吧，大概看了一下，你的xpath写错了

它提示我回复x需要审核。。

1q23w31 发表于 2020-8-31 17:47:46

小小鹏 发表于 2020-8-31 17:47
它提示我回复x需要审核。。

把那个网址发出来

小小鹏 发表于 2020-8-31 17:48:19

1q23w31 发表于 2020-8-31 17:47
把那个网址发出来

https://item.jd.com/69105038113.html

小小鹏 发表于 2020-8-31 17:49:03

1q23w31 发表于 2020-8-31 17:47
把那个网址发出来

京东

小小鹏 发表于 2020-8-31 17:49:55

1q23w31 发表于 2020-8-31 17:47
把那个网址发出来



http://
item.jd.
com/
69105038113.html

小小鹏 发表于 2020-8-31 17:50:50

1q23w31 发表于 2020-8-31 17:47
把那个网址发出来

https://pic.downk.cc/item/5f4cc7f0160a154a67d16374.png

小小鹏 发表于 2020-8-31 17:51:42

1q23w31 发表于 2020-8-31 17:47
把那个网址发出来

网址不能添加链接发出来 我用图片发出来试试

1q23w31 发表于 2020-8-31 17:52:47

小小鹏 发表于 2020-8-31 17:47
它提示我回复x需要审核。。

我的论坛出现了bug,有你的消息提示，但没有消息{:9_241:}

小小鹏 发表于 2020-8-31 18:01:36

1q23w31 发表于 2020-8-31 17:52
我的论坛出现了bug,有你的消息提示，但没有消息

我这边也是 他提醒我发出去了 但是没有看见我回复的..

小小鹏 发表于 2020-8-31 18:02:44

1q23w31 发表于 2020-8-31 17:52
我的论坛出现了bug,有你的消息提示，但没有消息

我没有权限申请添加好友..

1q23w31 发表于 2020-8-31 18:03:45

小小鹏 发表于 2020-8-31 17:47
它提示我回复x需要审核。。

看不到你的消息，只有消息提示，我加你好友了

小小鹏 发表于 2020-8-31 18:05:17

我没有权限 不能加好友

小小鹏 发表于 2020-8-31 18:06:35

1q23w31 发表于 2020-8-31 18:03
看不到你的消息，只有消息提示，我加你好友了

这咋办呀
页: [1] 2
查看完整版本: 爬虫中提取数据