|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
本帖最后由 liuzg123 于 2021-2-7 10:36 编辑
1.初学爬虫,想爬新浪。只想找最简单的新闻标题
2.spiders 代码如下:
import scrapy
import requests
from sina.items import SinaItem
class ParsesinaSpider(scrapy.Spider):
name = 'parsesina'
allowed_domains = ['sina.com']
start_urls = ['http://sina.com.cn/']
def parse(self,response):
html=response.body
with open('sinatitle.html','wb') as f:
f.write(html)
print('parse被调用了')
title = html.xpath('//ul[@class="list-a news_top"]/a/text()').extract(0)
print(title)
item = SinaItem()
item['title'] = title
yield item
3.item代码如下:
class SinaItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
4.pipeline代码如下:
class SinaPipeline:
def process_item(self, item, spider):
title = item('title')
return item
5.setting 里面机器协议设为False,itempipeline也打开了。
6.当前目录也设置为sourse 了,
问题:1.导入不了sina.item,设置sourse后,也没有解决
2.老是提示spider closed.
3.sinatitle.html能正确显示,但在代码中设置的两个打印都没有反应。
|
|