百度贴吧抓取问题

wzdyjn

【求助帖】请及时确认最佳答案，下次提问时可以得到更多关注，问题可以更快解决
我前几天还可以爬百度贴吧，，今天不行了，，，，
url =https://tieba.baidu.com/f?kw=%E6%9D%8E%E6%AF%85&mo_device=1&pn=0&      那位大神看下 谢谢了
加上cookie都抓不到数据

zltzlt

发代码……

wzdyjn

import requests
from lxml import etree



class TiebaSpider:
    def __init__(self,tieba_name):
        self.start_url='https://tieba.baidu.com/f?kw='+tieba_name+'&mo_device=1&pn=30&'
        self.headers={
            'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36',
            'Cookie':'BAIDUID=3910AAC3648F83F7C91FF62BFEEA3A5B:FG=1; PSTM=1594791849; BIDUPSID=A2C9C50B4451698E8184A5127F79101E; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; TIEBA_USERTYPE=6a1d9b62b655485ece22e331; TIEBAUID=cb23caae14130a0d384a57f1; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1594843199; st_key_id=17; wise_device=0; mo_originid=2; IS_NEW_USER=c6ccba2c6228269eac804531; BAIDU_WISE_UID=wapp_1594843363615_668; USER_JUMP=-1; CLIENTHEIGHT=854; CLIENTWIDTH=505; SEENKW=%E6%9D%8E%E6%AF%85%23%C0%EE%D2%E3; LASW=438; tb_as_data=4456f8ecf42b3af3a51ef6ea935a01f27d2a7a870cccced869901a220fce8c7c96cadfab4b8a09ab92f3b8b2ee59517fc9171f24849c9ac8c876069a8f0fce82e8316b8b7aa12a7d91f45f4bdabb157527bdbea2a9a9c34951b455c83aabb44dc5eb764996c71d96871c92136257eca5; Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1594843579; st_data=d1c224669d51a4f51e54c234cfd7fe5dc27d3abd9093bfde2c26d005e01a4983a767a2283682899a336c9984c0ef2a7040e18c05fe4e46f1af81e114fe504bcdd9dbc90a669bca7e765bffc8bb9e82758f3fd788ae2fe18bac7df53c4ccc45ac375988682f4e7ecbc4780269fe01be9b745511ca7bcce149c6fc7ea4c104624a; st_sign=814136cd'
        }

    def parse_url(self,url):
        response=requests.get(url,headers=self.headers,verify=False)
        rel=response.content.decode()
        with open('baidutieba.html','w',encoding='utf-8') as f:
            f.write(rel)
            print('ok')
        return rel

    def get_content_list(self,html_str):
        html=etree.HTML(html_str)


    def run(self):
        #1 start_url
        #2 发送请求 获取响应
        html_str=self.parse_url(self.start_url)
        #3 提取数据 提取下一页的URL地址
           #3.1  提取列表中的url地址和标题
           #3.2  请求别表中的url地址 获取详情页的第一页
           #3.3  提取详情页第一页的图片，提取下一页的url地址
           #3.4  请求下一页 进入循环 3.2---3.4

        # 保存数据
        # 请求下一页的url地址 进入循环2-5步


if __name__ == "__main__":
    baidu=TiebaSpider('李毅')
    baidu.run()

wzdyjn

只写了个框，，，写到这调试都没过去  取不到要的数据

Twilight6

贴吧这段时间反爬更强了好像，我之前的代码也无效了

suchocolate

用爬美女吧图片的代码可以爬李毅吧的图

1. 
   
2. import requests
   
3. from lxml import etree
   
4. import os
   
5. 
   
6. 
   
7. # 主函数
   
8. def main(num):
   
9.     # 检查目录
   
10.     ckdir()
    
11.     # 图片计数
    
12.     n = 1
    
13.     # 逐页下载
    
14.     for x in range(num):
    
15.         # 第一页的url和其他页不同
    
16.         if x == 0:
    
17.             url = url1
    
18.         else:
    
19.             url = url2 + str(x * 50)
    
20.         imgs = get_url(url)
    
21.         print('开始下载第' + str(x + 1) + '页')
    
22.         n = dl_img(imgs, n)
    
23.     print('下载完成，共下载' + str(n) + '张')
    
24. 
    
25. 
    
26. # 创建存储图片的目录，可根据喜好更改名称
    
27. def ckdir():
    
28.     if not os.path.isdir('pics'):
    
29.         os.mkdir("pics")
    
30. 
    
31. 
    
32. # 分析页面图片的url
    
33. def get_url(url):
    
34.     # 登陆论坛页面
    
35.     r = requests.get(url, headers=headers)
    
36.     html = etree.HTML(r.text)
    
37.     # 过滤出贴子url
    
38.     result1 = html.xpath('//div[contains(@class, "threadlist_title")]/a/@href')
    
39.     img_urls = []
    
40.     # 进入各个贴子
    
41.     for sfx in result1:
    
42.         r = requests.get(base_url + sfx, headers=headers)
    
43.         print('获取页面' + sfx + '的图片地址...')
    
44.         html = etree.HTML(r.text)
    
45.         # 查找贴子内的图片链接
    
46.         result2 = html.xpath('//img[@class="BDE_Image"]/@src')
    
47.         # 如果有图片连接，放入到图片链接列表
    
48.         if result2:
    
49.             img_urls.extend(result2)
    
50.     return img_urls
    
51. 
    
52. 
    
53. # 下载图片
    
54. def dl_img(img_urls, n):
    
55.     num = str(len(img_urls))
    
56.     print('有' + num + '张照片要下载。')
    
57.     # 遍历图片链接列表
    
58.     for img in img_urls:
    
59.         r = requests.get(img, headers=headers)
    
60.         pic_name = img.split('/')[-1]
    
61.         with open('pics\\' + pic_name, 'wb') as f:
    
62.             f.write(r.content)
    
63.         print('已下载' + pic_name + '，共下载' + str(n) + '张。')
    
64.         n = n + 1
    
65.     return n
    
66. 
    
67. 
    
68. if __name__ == '__main__':
    
69.     # 设置基础参数
    
70.     headers = {'user-agent': 'firefox'}
    
71.     # url1是李毅吧的网址，可根据需要自行更换其他贴吧，复制浏览器地址，粘贴到这里即可
    
72.     url1 = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E6%AF%85&fp=0'
    
73.     # url2是李毅吧非第一页的网址，后面的字稍有变化，大家自行更换
    
74.     url2 = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E6%AF%85&pn='
    
75.     base_url = 'https://tieba.baidu.com'
    
76.     page_num = input('请问你想下载几页的贴子的图片：')
    
77.     page_num = int(page_num)
    
78.     main(page_num)
    

复制代码

wzdyjn

这个代码依然不行，，看来贴吧反爬做的越来越好了

suchocolate

wzdyjn 发表于 2020-7-17 19:02
这个代码依然不行，，看来贴吧反爬做的越来越好了

这个是你的python对ssl的警告，verify关掉，35行：

1. r = requests.get(url, headers=headers, verify=False)

复制代码

我这里用这个代码可以下载出图片：