[已解决]请问为什么用scrapy写一个之前已经实现的程序，xpath解析的结果却出现不同？

fishclove

代码：
<code>
# -*- coding: utf-8 -*-
import scrapy
from twlk.items import TwlkItem

class MoviesSpider(scrapy.Spider):
    name = 'movies'
    #allowed_domains = ['twlkbt.com']

    def start_requests(self):
        start_urls = ['http://twlkbt.com/forum-2-%s.html' %str(x) for x in range(1,3)]
        #print(start_urls)
        for url in start_urls:
            yield scrapy.Request(url,self.parse)

    def parse(self, response):
        # GET SINGLE_PAGE URL
        for href in response.xpath('//a[@class=\'xst\']/@href'):
            yield response.follow(href,self.parse2)

    def parse2(self,response):
        item = TwlkItem()
        #get torrent link
        src_link = response.xpath("//span[@onmouseover]/a/@href")
        print('外部src_link是：',src_link)
        item['title'] = response.xpath("//*[@id='thread_subject']/text()").extract_first()
        #title = title.replace('/','-')
        #title = title.replace(':',' ')
        #img_url = response.xpath("//img[@onclick='zoom(this, this.src, 0, 0, 0)']/@src")
        #print(img_url)
        print('title======',item['title'])
        if src_link:
            print('第一个if')
            src_link = response.xpath("//span[@onmouseover]/a/@href").extract_first()
            print("现在的src_link是",src_link)
            item['src_link'] = 'http://twlkbt.com/' + src_link
            print("现在的item['src_link']是",item['src_link'])
            yield item
            print("yiele ok")

        else:
            print('进入else块--')
            src_link = response.xpath("//a[@onmouseover=\"showMenu({'ctrlid':this.id,'pos':'12'})\"]/@href").extract_first()
            print("现在的src_link是",src_link)
            item['src_link'] = 'http://twlkbt.com/' + src_link
            print("现在的item['src_link']是",item['src_link'])
            yield item
            print('yield ok')
        #下载Torrent
</code>

结果在 前面一部分还没问题src_link正常的解析结果只有一个。 但是程序运行到中间 后面的部分 src_link就解析出2个元素了 所以导致结果出现问题
想了很久 想不到为什么同一个解析语句 到后面结果会一个变2个 （特别用scrapy shell 分别就结果正常网址 与 结果不正常网址做了测试 发现在shell里 同一个解析语句 解析结果又没问题 ，。。所以。。程序有问题？看不出来 囧。。。）

下面是中间一部分不同结果运行信息 ：
  
                 018-11-25 20:05:42 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://twlkbt.com/thread-86371-1-1.html> (referer: http://twlkbt.com/forum-2-1.html) ['partial']
外部src_link是： [<Selector xpath='//span[@onmouseover]/a/@href' data='forum.php?mod=attachment&aid=NDg2MjF8N2E'>]
title====== [11.24][中国][动作][新七侠五义之屠龙案][WEB.1080p-MKV/2G][国语中字][2018新片]
第一个if
现在的src_link是 forum.php?mod=attachment&aid=NDg2MjF8N2EzOTMwZTF8MTU0MzE0NzU0MHwwfDg2Mzcx
现在的item['src_link']是 http://twlkbt.com/forum.php?mod=attachment&aid=NDg2MjF8N2EzOTMwZTF8MTU0MzE0NzU0MHwwfDg2Mzcx
2018-11-25 20:05:42 [scrapy.core.scraper] DEBUG: Scraped from <200 http://twlkbt.com/thread-86371-1-1.html>
{'src_link': 'http://twlkbt.com/forum.php?mod=attachment&aid=NDg2MjF8N2EzOTMwZTF8MTU0MzE0NzU0MHwwfDg2Mzcx',
'title': '[11.24][中国][动作][新七侠五义之屠龙案][WEB.1080p-MKV/2G][国语中字][2018新片]'}
yiele ok
2018-11-25 20:05:43 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://twlkbt.com/thread-86117-1-1.html> (referer: http://twlkbt.com/forum-2-1.html) ['partial']
外部src_link是： [<Selector xpath='//span[@onmouseover]/a/@href' data='forum-37-1.html'>, <Selector xpath='//span[@onmouseover]/a/@href' data='forum.php?mod=attachment&aid=NDgzNDB8Mzg'>, <Selector xpath='//span[@onmouseover]/a/@href' data='forum-37-1.html'>]
title====== [10.18][美国][动作][第九禁区][高清BluRay.1080p-MKV/7G][国英双语中字][经典刺激]
第一个if
现在的src_link是 forum-37-1.html
现在的item['src_link']是 http://twlkbt.com/forum-37-1.html
2018-11-25 20:05:43 [scrapy.core.scraper] DEBUG: Scraped from <200 http://twlkbt.com/thread-86117-1-1.html>
{'src_link': 'http://twlkbt.com/forum-37-1.html',
'title': '[10.18][美国][动作][第九禁区][高清BluRay.1080p-MKV/7G][国英双语中字][经典刺激]'}
yiele ok

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-11-26 20:16:29

fishclove 发表于 2018-11-26 19:53
改了你的这个xpath语句 就好了...
请问在写这个scrapy之前我用class类 同样的xpath语句 写的 ...

怎么说好呢？？  
我不是通过网页审查元素写的xpath语句。  

我直接阅读网页源代码写的xpath语句。   

解析方法，像bs4、re、pq、xpath、pandas 等，有好几种变化，每个人写出来，有34种变化。  

变化的原因一般在网页源代码中。  
应该是由于这个网页有一点动态加载吧。

跳转到最佳答案楼层

fishclove

求大佬指教

wongyusing

fishclove 发表于 2018-11-25 20:53
求大佬指教

你到底想爬什么内容。能详细说一下吗？？
我要分析一下页面内容的取法

fishclove

wongyusing 发表于 2018-11-25 21:13
你到底想爬什么内容。能详细说一下吗？？
我要分析一下页面内容的取法

爬帖子的 标题文本 和 种子的链接地址

wongyusing

fishclove 发表于 2018-11-25 21:49
爬帖子的 标题文本 和 种子的链接地址

我想问的是那个区域里面的数据？  
转载区？？？

wongyusing

分析了一下网页，感觉用re比xpath好。  

感觉你好像只是看审查元素，而没有看源代码的感觉。   

我从网页源代码中看到的结果是，你的xpath表达式好像是写错了

fishclove

wongyusing 发表于 2018-11-25 22:00
我想问的是那个区域里面的数据？  
转载区？？？

对 转载区

fishclove

wongyusing 发表于 2018-11-25 22:13
分析了一下网页，感觉用re比xpath好。  

感觉你好像只是看审查元素，而没有看源代码的感觉。   

啊 我在scrapy shell中测试了xpath语法的结果 就是种子链接 和 帖子标题 没错

wongyusing

fishclove 发表于 2018-11-25 22:54
啊 我在scrapy shell中测试了xpath语法的结果 就是种子链接 和 帖子标题 没错

下面的是我写的xpath语句（好久没用xpath了，没测试过，你自己试试）

1. //td[1]//span/a/@href

复制代码

稍微认真的看了一下你的代码，其实你一开始生成一个空字典。再yeild过去会比较好写。

fishclove

wongyusing 发表于 2018-11-26 01:12
下面的是我写的xpath语句（好久没用xpath了，没测试过，你自己试试）

额 我上电脑了试试

fishclove

wongyusing 发表于 2018-11-26 01:12
下面的是我写的xpath语句（好久没用xpath了，没测试过，你自己试试）

改了你的这个xpath语句 就好了...
请问在写这个scrapy之前我用class类 同样的xpath语句 写的程序 下载就没有问题  为什么我为了熟悉下scrapy 写的程序 xpath语句就不行了呢。。。 下面是我之前写的 还麻烦大佬看看
   

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. import time
   
5. from hashlib import md5
   
6. 
   
7. class  Twlk():# 1 page cost time 655s
   
8.     headers = {
   
9.         'user_agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'
   
10.     }
    
11. 
    
12.     def __init__(self,url):
    
13.         self.url = url
    
14. 
    
15.     def get_response(self):
    
16.         response = requests.get(self.url,headers = self.headers)
    
17.         text = response.text
    
18.         self.parse_page(text)
    
19. 
    
20.     def parse_page(self,text):
    
21.         html = etree.HTML(text)
    
22.         href = html.xpath("//a[@class='xst']/@href")
    
23.         #title = html.xpath("//a[@class='xst']/text()")
    
24.         #获取单个电影详情页URL
    
25.         for i in href:
    
26.             stime = time.time()
    
27.             page_link = 'http://twlkbt.com/{}'.format(i)
    
28.             print('pagelink is:',page_link)
    
29.             res2 = requests.get(page_link,headers = self.headers)
    
30.             text2 = res2.text
    
31.             html2 = etree.HTML(text2)
    
32.             #get torrent link
    
33.             src_link = html2.xpath("//span[@onmouseover]/a/@href")
    
34.             title = html2.xpath("//*[@id='thread_subject']/text()")[0]
    
35.             title = title.replace('/','-')
    
36.             title = title.replace(':',' ')
    
37.             img_url = html2.xpath("//img[@onclick='zoom(this, this.src, 0, 0, 0)']/@src")
    
38.             print(img_url)
    
39.             print(title)
    
40.             if src_link:
    
41.                 src_link = 'http://twlkbt.com/' + html2.xpath("//span[@onmouseover]/a/@href")[0]
    
42. 
    
43.             else:
    
44.                 src_link = 'http://twlkbt.com/' + html2.xpath("//a[@onmouseover="showMenu({'ctrlid':this.id,'pos':'12'})"]/@href")[0]            
    
45.             #下载Torrent
    
46.             time.sleep(1)
    
47.             res = requests.get(src_link,headers = self.headers)
    
48.             goal = res.content
    
49.             etime = time.time()
    
50.             print('循环单次耗时：：',etime - stime)
    
51.             #若不存在则创建目录
    
52.             path = "I:/IDM_Download/TWLK/%s/" %title
    
53.             if not os.path.exists(path):
    
54. 
    
55.                 os.makedirs(path)
    
56.             file_path = path + title + '.torrent'
    
57.             
    
58.             #print(file_path)
    
59.             if not os.path.exists(file_path):
    
60.                 with open(file_path,'wb') as f:
    
61.                     f.write(goal)
    
62. 
    
63.             #get img content
    
64.             for x in img_url:
    
65.                 img_path = path + title + x.split('/')[-1]
    
66.                 if x == 'static/image/common/back.gif':
    
67.                     pass
    
68.                 elif not os.path.exists(img_path):
    
69.                     
    
70.                     print("img_url is :",x)
    
71.                     res_img = requests.get(x,headers= self.headers)
    
72.                     print('1')
    
73.                     img_goal = res_img.content
    
74.                     print('即将打开路径')
    
75.                     m = open(img_path,'wb')
    
76.                     print('写入前——————')
    
77.                     m.write(img_goal)
    
78. 
    
79.                     print("img_goal save ok.")
    
80. 
    
81.                     m.close()
    
82.                     
    
83. 
    
84.             print('save %s success' %title,'\n')
    
85. 
    
86.         
    
87.         
    
88. 
    
89. 
    
90.     def run(self):
    
91.         #获取主题网页
    
92.         self.get_response()
    
93. 
    
94.         #获取标题title主题网页src_link
    
95.         print('开始解析页面')
    
96.       
    
97. 
    
98. 
    
99. 
    
100. def timecount(func):
     
101.     def wrapper():
     
102.         timestart = time.time()
     
103.         print(timestart)
     
104.         func()
     
105.         timeend = time.time()
     
106.         print(timeend)
     
107.         timecost = timeend - timestart
     
108.         print("time cost is %s" %timecost)
     
109.     return wrapper
     
110. 
     
111. 
     
112. @timecount
     
113. def main():
     
114.     #构造URL
     
115. 
     
116.     for x in range(2,4):
     
117.         url = 'http://twlkbt.com/forum-2-%s.html' %str(x)
     
118.         print(url)
     
119. 
     
120.         twlk = Twlk(url)
     
121.         twlk.run()
     
122.         print("%s ------------- 已下载完成！" %url)
     
123. 
     
124. 
     
125. if __name__ == "__main__":
     
126.     main()
     
127. 
     

复制代码

wongyusing

fishclove 发表于 2018-11-26 19:53
改了你的这个xpath语句 就好了...
请问在写这个scrapy之前我用class类 同样的xpath语句 写的 ...

怎么说好呢？？  
我不是通过网页审查元素写的xpath语句。  

我直接阅读网页源代码写的xpath语句。   

解析方法，像bs4、re、pq、xpath、pandas 等，有好几种变化，每个人写出来，有34种变化。  

变化的原因一般在网页源代码中。  
应该是由于这个网页有一点动态加载吧。

fishclove

wongyusing 发表于 2018-11-26 20:16
怎么说好呢？？  
我不是通过网页审查元素写的xpath语句。  

谢谢你 你能说一下你的xpath吗  开头的td[1]是什么意思 我看源代码有好多td

wongyusing

fishclove 发表于 2018-11-26 20:44
谢谢你 你能说一下你的xpath吗  开头的td[1]是什么意思 我看源代码有好多td

应该是选择第一个td吧

昨天无聊，随便写的。

今天不想看网页源代码。自己去查查文档吧，应该不是很深奥吧

fishclove

好