鱼C论坛

 找回密码
 立即注册
查看: 1077|回复: 2

Scrapy只能爬取第一组数据

[复制链接]
发表于 2021-12-7 13:31:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
写的代码只能爬取网站第一组数据,后面的爬不了。@不二如是
代码:
import scrapy
from tutorial.items import DmozItem

class DmozSpidera(scrapy.Spider):
    name = 'dmoz'
    allowed_domains = ['dmoz-odp.org']
    start_urls = [
        'https://www.dmoz-odp.org/Computers/Programming/Languages/Python/Books/',
        'https://www.dmoz-odp.org/Computers/Programming/Languages/Python/Resources/'
        ]
    def parse(self,response):
        res = scrapy.selector.Selector(response)
        i =1
        sites = res.xpath('//*[@id="site-list-content"]')
        items = []
        for site in sites:
            item = DmozItem()
            ti = 'div[%d]/div[3]/a/div' % i
            li = 'div[%d]/div[3]/a' % i
            de = 'div[%d]/div[3]/div' % i
            item['title'] = site.xpath(ti).extract()
            item['link'] = site.xpath(li).extract()
            item['desc'] = site.xpath(de).extract()
            items.append(item)
            i += 1

        return items
        

微信图片_20211205200636.png

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2021-12-7 20:43:21 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-12-10 21:38:34 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-10-5 17:38

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表