关于爬虫问题

vincenzo0823

出现这个问题是怎么回事？

Python 3.5.3 (v3.5.3:1880cb95a742, Jan 16 2017, 16:02:32) [MSC v.1900 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> 
 RESTART: C:\Users\Administrator\Desktop\wangyi(1)\wangyi\wangyi\spiders\wangYi.py 

Warning (from warnings module):
  File "C:\Users\Administrator\Desktop\wangyi(1)\wangyi\wangyi\spiders\wangYi.py", line 2
    from scrapy.contrib.spiders import CrawlSpider
ScrapyDeprecationWarning: Module `scrapy.contrib.spiders` is deprecated, use `scrapy.spiders` instead
Traceback (most recent call last):
  File "C:\Users\Administrator\Desktop\wangyi(1)\wangyi\wangyi\spiders\wangYi.py", line 5, in <module>
    from wangyi.items import WangyiItem
ImportError: No module named 'wangyi'
>>> 

雪山凌狐

根据你的提示，说的是一个警告和一个错误，警告那个是说你代码里面scrapy.contrib.spiders这个包已经弃用，自动使用scrapy.spiders这个包替代之，这个警告不会造成程序失败。
失败的部分在于第五行的错误，第五行from wangyi.items import WangyiItem这句代码，提示错误的地方在于，没有一个包叫做wangyi，请检查你是否有这个包或者是否命名了别的包叫这个名字呢~

希望我的回答能对你有帮助，谢谢！祝你在学习的道路上越走越远！

文明的读书人

能把源程序贴上么？

白昼之殇

没找到方法或者模块，你看一下是不是模块未正常引用。

sunnychou

模块引入的时候出错，看一下名称是否正确和应用方式

ooxx7788

ScrapyDeprecationWarning: Module `scrapy.contrib.spiders` is deprecated, use `scrapy.spiders` instead

第一，你爬虫里面的类的继承应该是scrapy.spiders而不是scrapy.contrib.spiders
第二，从你的文件名上面来看，我认为你应该是写
from wangyi import WangyiItem

vincenzo0823

文明的读书人 发表于 2017-3-15 16:44
能把源程序贴上么？

已经贴上了麻烦看下。这个是让我朋友帮忙弄得程序。我还没到这个地步。。

老子最酷

你的wangyi的文件夹还只是个文件夹，把他放到你python的安装目录下=>lib=>site-packages中再引用就没问题了

老子最酷

老子最酷 发表于 2017-3-19 01:35
你的wangyi的文件夹还只是个文件夹，把他放到你python的安装目录下=>lib=>site-packages中再引用就没问题了

突然想起来，如果是爬虫的话，在这里报错也没有关系 去cmd scrapy crawl dmoz运行爬虫不会出错

vincenzo0823

老子最酷 发表于 2017-3-19 01:35
你的wangyi的文件夹还只是个文件夹，把他放到你python的安装目录下=>lib=>site-packages中再引用就没问题了

Warning (from warnings module):
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Lib\site-packages\wangyi(1)\wangyi\wangyi\spiders\wangYi.py", line 2
    from scrapy.contrib.spiders import CrawlSpider
ScrapyDeprecationWarning: Module `scrapy.contrib.spiders` is deprecated, use `scrapy.spiders` instead
Traceback (most recent call last):
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Lib\site-packages\wangyi(1)\wangyi\wangyi\spiders\wangYi.py", line 5, in <module>
    from wangyi.items import WangyiItem
ImportError: No module named 'wangyi'
>>>
依然还是报错呢。

老子最酷

你去cmd 运行爬虫也会错？  

老子最酷

vincenzo0823 发表于 2017-3-20 00:26
Warning (from warnings module):
  File "C:%users\Administrator\AppData\Local\Programs\Python\Py ...

你放进去的是wangyi（1）  你引用用的wangyi   你把wangyi的那个文件夹直接放进site-packages   还有这个错误在python运行的时候报是不耽误你爬虫的  你爬虫的时候不会报这个错啦