[已解决]64爬虫的scrapy 框架中的问题，抓取不了a标签中的@href，大佬求助！

我下何从

64爬虫的scrapy 框架中的问题，抓取不了a标签中的@href，大佬求助！

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-7 14:40:27

我下何从 发表于 2020-6-7 14:38
hhhhh我为什么总出现这种弱智问题
可以了也，可是为什么呢？定位模糊了反而可以了？？

哈哈，你Xpath 语法都错了 就算刚刚改了 也不行 ，改刚刚这样才行

跳转到最佳答案楼层

Twilight6

你Xpath 语法错误了，不能直接 a // 的   //a/text

jia159753

我下何从

Twilight6 发表于 2020-6-7 14:06
你Xpath 语法错误了，不能直接 a // 的   //a/text

其实是更新后的图片，斜杠问题我有上网搜过，试过都不行

Twilight6

我下何从 发表于 2020-6-7 14:11
其实是更新后的图片，斜杠问题我有上网搜过，试过都不行

发代码吧

我下何从

Twilight6 发表于 2020-6-7 14:06
你Xpath 语法错误了，不能直接 a // 的   //a/text

a 前面有没有斜杠都是不行的，都会显示无效参数，但是那个title就算把text()改成@title也行

我下何从

Twilight6 发表于 2020-6-7 14:12
发代码吧

#########这是dmoz_spider.py             在64讲里面，总共需要写的模块就是左边的和items，小哥应该很熟，唔该赛
import scrapy

from tutor.items import DemozItem

class DmozSpider(scrapy.Spider):
    name='dmoz'
    allowed_domains=['tupianzj.com']
    start_urls=[
        'https://www.tupianzj.com/chuangyi/',
        'https://www.tupianzj.com/mingxingku/'
        ]


    def parse(self,response):
        sel=scrapy.selector.Selector(response)
        sites=sel.xpath('//div[@class="warpbox_con_bottom"]/ul/li')
        items=[]
        for site in sites:
            item=DemozItem()
            item['title']= site.xpath('a/text()').extract()
            item['links']l=site.xpath('a/@href').extract()
            items.append(item)

        return items
##############################
#######这是items.py

import scrapy


class DemozItem(scrapy.Item):
   
    title=scrapy.Field()
    links=scrapy.Field()
###########################
   
            

Twilight6

我下何从 发表于 2020-6-7 14:16
#########这是dmoz_spider.py             在64讲里面，总共需要写的模块就是左边的和items，小哥应该很 ...

1. import scrapy
   
2. 
   
3. from tutor.items import DemozItem
   
4. 
   
5. class DmozSpider(scrapy.Spider):
   
6.     name='dmoz'
   
7.     allowed_domains=['tupianzj.com']
   
8.     start_urls=[
   
9.         'https://www.tupianzj.com/chuangyi/',
   
10.         'https://www.tupianzj.com/mingxingku/'
    
11.         ]
    
12. 
    
13. 
    
14.     def parse(self,response):
    
15.         sel=scrapy.selector.Selector(response)
    
16.         sites=sel.xpath('//div[@class="warpbox_con_bottom"]')
    
17.         items=[]
    
18.         for site in sites:
    
19.             item=DemozItem()
    
20.             item['title']= site.xpath('//@title').extract()
    
21.             item['links']=site.xpath('//@href').extract()
    
22.             items.append(item)
    
23. 
    
24.         return items

复制代码

Twilight6

我下何从 发表于 2020-6-7 14:16
#########这是dmoz_spider.py             在64讲里面，总共需要写的模块就是左边的和items，小哥应该很 ...

试试看？

我下何从

Twilight6 发表于 2020-6-7 14:22
试试看？

小哥，还是有同样的问题，好像就是href有问题啊

Twilight6

我下何从 发表于 2020-6-7 14:28
小哥，还是有同样的问题，好像就是href有问题啊

你把你代码 items 那后面的 l 去掉...

我下何从

Twilight6 发表于 2020-6-7 14:29
你把你代码 items 那后面的 l 去掉...

hhhhh我为什么总出现这种弱智问题
可以了也，可是为什么呢？定位模糊了反而可以了？？

Twilight6

我下何从 发表于 2020-6-7 14:38
hhhhh我为什么总出现这种弱智问题
可以了也，可是为什么呢？定位模糊了反而可以了？？

哈哈，你Xpath 语法都错了 就算刚刚改了 也不行 ，改刚刚这样才行

liuzhengyuan

jia159753 发表于 2020-6-7 14:09

？

我下何从

Twilight6 发表于 2020-6-7 14:40
哈哈，你Xpath 语法都错了 就算刚刚改了 也不行 ，改刚刚这样才行

我发现我实力眼瞎，把那个l去掉，一开始就已经行了！！！！！谢谢小哥

Twilight6

我下何从 发表于 2020-6-7 14:43
我发现我实力眼瞎，把那个l去掉，一开始就已经行了！！！！！谢谢小哥

噗  好吧