鱼C论坛

 找回密码
 立即注册
查看: 2337|回复: 2

63讲scrapy的xpath出问题

[复制链接]
发表于 2017-12-11 20:30:23 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
代码如下:

  1. import scrapy

  2. class DmozSpider(scrapy.Spider):
  3.         name = "dmoz"
  4.         allowed_domains = ['domztools.net']
  5.         start_urls = [
  6.             'http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/',
  7.             'http://www.dmoztools.net/Computers/Programming/Languages/Python/Resources/'
  8.             ]
  9.         
  10.         def parse(self,response):
  11.            sel = xpath.selector.Selector(response)
  12.            sites = sel.xpath('//div[@class="title-and-desc"]/a')
  13.            for site in sites:
  14.                 title = site.xpath('div/text()').extract()
  15.                 link = site.xpath('div/@href').extract()
  16.                 desc = site.xpath('div[@class="title-and-desc"]/text()').extract()
  17.                 print(title,link.desc)

复制代码


但是在cmd中运行时出现如下错误:

Traceback (most recent call last):
  File "e:\python36\lib\site-packages\twisted\internet\defer.py", line 653, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "C:\Users\dwc\Desktop\scr1\scr1\spiders\dmoz_spider.py", line 12, in parse
    sel = xpath.selector.Selector(response)
NameError: name 'xpath' is not defined
2017-12-11 20:10:01 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmoztools.net/Computers/Programming/Languages/Python/Resources/> (referer: None)
2017-12-11 20:10:01 [scrapy.core.scraper] ERROR: Spider error processing <GET http://www.dmoztools.net/Computers/Programming/Languages/Python/Resources/> (referer: None)
Traceback (most recent call last):
  File "e:\python36\lib\site-packages\twisted\internet\defer.py", line 653, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "C:\Users\dwc\Desktop\scr1\scr1\spiders\dmoz_spider.py", line 12, in parse
    sel = xpath.selector.Selector(response)
NameError: name 'xpath' is not defined


求大佬解答,谢谢

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2017-12-12 23:21:18 | 显示全部楼层
sites = response.xpath ('//div[@class="title-and-desc"]/a')
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-14 22:30:01 | 显示全部楼层
sel = xpath.selector.Selector(response)

->
sel = scrapy.selector.Selector(response)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-26 12:02

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表