百度贴吧爬虫实例，一直在第一页循环不能翻页，循环体哪里有问题呢？

我爱l两条柴

1. import requests
   
2. from lxml import etree
   
3. 
   
4. class Tieba(object):
   
5.     def __init__(self,name):
   
6.         #1.url/headers
   
7.         self.url='https://tieba.baidu.com/f?ie=utf-8&kw={}&fr=search'.format(name)
   
8.         #headers
   
9.         self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}
   
10. 
    
11.     def get_data(self,url):
    
12.         #request、返回网页源码
    
13.         response=requests.get(self.url,self.headers)
    
14.         return response.content
    
15. 
    
16.     def parse_data(self,data): #解析
    
17.         html=etree.HTML(data)
    
18. 
    
19.         el_list=html.xpath('//*[@id="thread_list"]/li/div/div[2]/div[1]/div[1]/a|//*[@id="thread_top_list"]/li/div/div[2]/div/div[1]/a')
    
20.         #print(len(el_list))  #看能出来几个结果   如果没有 则可能是语法 或者 浏览器高级渲染把源代码注释了，换个低级headers
    
21.         #    或者网页中 用此格式做标注  < !-- 引入百度统计 -->  ，可以用空格替换掉   data=data.decode().replace('< !--','').replace('-->','')
    
22.         data_list=[]  #title+link的列表
    
23.         for el in el_list:   #el 是 html的子项 也属于elment 也可以用xpath语法
    
24.             title_link={}
    
25.             title_link['title']=el.xpath('./text()')[0]
    
26.             title_link['link']='http://tieba.baidu.com' + el.xpath('./@href')[0]
    
27.             data_list.append(title_link)
    
28.         #一页操作完成，接着下一页  找下一页是相对的，不同页索引不一样
    
29.         try:
    
30.             next_url='https:'+html.xpath('//a[contains(text(),"下一页")]/@href')[0]  #最后一页没有下一页标签 会报错
    
31.         except:         #//a[@class ="next pagination-item"]/@href    这里用这个语法 网页中可以，但py中显示不出下一页的链接
    
32.             next_url =None
    
33.         return data_list,next_url
    
34. 
    
35.     def save_data(self,data_list):
    
36.         for data in data_list:
    
37.             print(data)
    
38. 
    
39.     def run(self):
    
40.         next_url=self.url
    
41.         while True:
    
42.             data = self.get_data(next_url)             #第一次的下一页链接从首页获取，
    
43.             data_list,next_url=self.parse_data(data)   #后面的下一页链接从解析出来的当前页面获取
    
44.             # 提取 (数据和翻页的url)
    
45.             self.save_data(data_list)
    
46.             print(next_url)
    
47.             if next_url ==None:
    
48.                 break
    
49. 
    
50. if __name__ == '__main__':
    
51.     tieba=Tieba('李毅')
    
52.     tieba.run()

复制代码

suchocolate

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. class Tieba():
   
6.     def __init__(self, name):
   
7.         self.name = name
   
8.         self.base_url = 'https://tieba.baidu.com/'
   
9.         self.headers = {'user-agent': 'Mozilla', 'host': 'tieba.baidu.com'}
   
10. 
    
11.     def run(self):
    
12.         num = int(input('Please enter the number of pages you want to download: '))
    
13.         for x in range(num):
    
14.             url = f'https://tieba.baidu.com/f?ie=utf-8&kw={self.name}&pn={x * 50}'
    
15.             r = requests.get(url, headers=self.headers)
    
16.             html = etree.HTML(r.text)
    
17.             tits = html.xpath('//a[@class="j_th_tit "]/@title')
    
18.             hrefs = html.xpath('//a[@class="j_th_tit "]/@href')
    
19.             print(f'第{x + 1}页标题和链接：')
    
20.             for k, v in zip(tits, hrefs):
    
21.                 print(k, f'{self.base_url}{v}')
    
22.             print('=' * 100)
    
23. 
    
24. 
    
25. if __name__ == '__main__':
    
26.     t = Tieba('李毅')
    
27.     t.run()
    

复制代码

我爱l两条柴

suchocolate 发表于 2021-9-11 20:35

感谢
我最后把 next_url=  删了，在下面加了 self.url=next_url  就好了

不过我想了几天还是没想通 抄的  教程里的  run（） 究竟错在哪了