[已解决]求教此网站的Ajax该如何处理？

nanrenne

URL：https://www.umtuba.com/
我之前做过这个站点的整站爬取程序

今天进来发现改版了，需要点击加载更多，才出现Ajax的加载，而我都还不会甚至从来没做过这样的爬虫
请教各位前辈，这个站点需要如何爬取，我需要补充哪些知识点
如果你有详细解说小弟不甚感激！

谢谢！

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-6-17 17:29:51

查看【浏览器f12】-【网络】-【参数】就能看出每次ajax的参数，主要是page变动了，从0-n变动，所以request时把page参数变一下即可。

1. url = 'https://www.umtuba.com/wp-admin/admin-ajax.php'
   
2. headers = {'User-Agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
   
3. # 页码数据
   
4. data = {'action': 'postlist_newajax', 'id': '0', 'type': 'index'}
   
5. # 存储图集的url
   
6. result = []
   
7. # 爬5页的图片url，可以根据自己需要修改。
   
8. num = 5
   
9. for item in range(num):
   
10.     data['paged'] = item
    
11.     r = requests.post(url, headers=headers, data=data)
    
12.     j_data = r.json()
    
13.     result.extend(re.findall(r'href="(.*?)"', str(j_data)))
    
14. print(result)
    

复制代码

跳转到最佳答案楼层

suchocolate

查看【浏览器f12】-【网络】-【参数】就能看出每次ajax的参数，主要是page变动了，从0-n变动，所以request时把page参数变一下即可。

1. url = 'https://www.umtuba.com/wp-admin/admin-ajax.php'
   
2. headers = {'User-Agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
   
3. # 页码数据
   
4. data = {'action': 'postlist_newajax', 'id': '0', 'type': 'index'}
   
5. # 存储图集的url
   
6. result = []
   
7. # 爬5页的图片url，可以根据自己需要修改。
   
8. num = 5
   
9. for item in range(num):
   
10.     data['paged'] = item
    
11.     r = requests.post(url, headers=headers, data=data)
    
12.     j_data = r.json()
    
13.     result.extend(re.findall(r'href="(.*?)"', str(j_data)))
    
14. print(result)
    

复制代码

nanrenne

suchocolate 发表于 2020-6-17 17:29
查看【浏览器f12】-【网络】-【参数】就能看出每次ajax的参数，主要是page变动了，从0-n变动，所以request ...

真棒的解答,很适合学习的答案.

nanrenne

suchocolate 发表于 2020-6-17 17:29
查看【浏览器f12】-【网络】-【参数】就能看出每次ajax的参数，主要是page变动了，从0-n变动，所以request ...

哎?获取到的每一条URL都重复了一次

nanrenne

nanrenne 发表于 2020-6-17 20:45
哎?获取到的每一条URL都重复了一次

哦哦,确实 ,在源文件中就出现了2此

suchocolate

nanrenne 发表于 2020-6-17 20:47
哦哦,确实 ,在源文件中就出现了2此

这个我没注意，你可以用set去重：

1. result = set(result)
   
2. result = list(result)
   
3. print(result)

复制代码

nanrenne

suchocolate 发表于 2020-6-17 21:02
这个我没注意，你可以用set去重：

谢谢,之前我也这么用,后来发现他会乱序,改了一下正则,目前好啦.十分感谢

nanrenne

suchocolate 发表于 2020-6-17 21:02
这个我没注意，你可以用set去重：

抓取到有些地方匹配还是出错了，请问大佬
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
    picnamezz = re.compile('点击图片.*?alt="(.*?)" width',re.S)
    picname = re.findall(picnamezz,content)
    print('该图片名称为:',picname[0])

    jpgnow = re.compile('点击图片查看.*?<img src="(.*?)" alt="' + r'picname[0]',re.S)#正则中添加变量的方式

以上的jpgnow的正则匹配就是不对，我第一次从正则内添加变量，可是这样匹配不到为什么呢

suchocolate

正则比较麻烦，还是建议用xpath，给你写了一个整个网站的爬虫，不过这个网站慢，建议数字改小：

1. 
   
2. import requests
   
3. import re
   
4. from lxml import etree
   
5. import os
   
6. 
   
7. 
   
8. def ck_dir():
   
9.     if not os.path.exists('pic'):
   
10.         os.mkdir('pic')
    
11. 
    
12. 
    
13. def get_album_list(num):
    
14.     firstpage_url = 'https://www.umtuba.com/wp-admin/admin-ajax.php'
    
15.     data = {'action': 'postlist_newajax', 'id': '0', 'type': 'index'}
    
16.     # 存储图集的url
    
17.     result = []
    
18.     for item in range(num):
    
19.         data['paged'] = item
    
20.         r = requests.post(firstpage_url, headers=headers, data=data)
    
21.         j_data = r.json()
    
22.         result.extend(re.findall(r'href="(.*?)"', str(j_data)))
    
23.     result = set(result)
    
24.     result = list(result)
    
25.     return result
    
26. 
    
27. 
    
28. def get_pics_list(plist, url, num):
    
29.     baseurl = url.replace('.html', '')
    
30.     for x in range(2, num + 1):
    
31.     # for x in range(2, 5):
    
32.         r = requests.get(baseurl + '_' + str(x) + '.html', headers=headers)
    
33.         html = etree.HTML(r.text)
    
34.         result = html.xpath('//img[contains(@class, "alignnone")]/@src')
    
35.         plist.extend(result)
    
36.     return plist
    
37. 
    
38. 
    
39. def ana_album(alist):
    
40.     m = 1
    
41.     for item in alist:
    
42.         r = requests.get(item, headers=headers)
    
43.         html = etree.HTML(r.text)
    
44.         picname = html.xpath('//h1/text()')[0][11:]
    
45.         # print(picname)
    
46.         lastpagenum = html.xpath('//a[@title="最后页"]/text()')
    
47.         # print(lastpagenum)
    
48.         piclist = html.xpath('//img[contains(@class, "alignnone")]/@src')
    
49.         # print(piclist)
    
50.         piclist = get_pics_list(piclist, item, lastpagenum)
    
51.         n = 1
    
52.         for x in piclist:
    
53.             r = requests.get(x, headers=headers)
    
54.             with open('pic\\' + picname + '_' + str(n) + '.jpg', 'wb') as f:
    
55.                 f.write(r.content)
    
56.             print(picname + '_' + str(n) + '.jpg下载完成, 共下载' + str(m) + '张图片。')
    
57.             n = n + 1
    
58.             m = m + 1
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     headers = {'User-Agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
    
63.     num = 5
    
64.     ck_dir()
    
65.     album_list = get_album_list(num)
    
66.     ana_album(album_list)

复制代码

nanrenne

suchocolate 发表于 2020-6-18 12:54
正则比较麻烦，还是建议用xpath，给你写了一个整个网站的爬虫，不过这个网站慢，建议数字改小：

十分感谢,我也贴一下我的,希望多多指教我

import re,os,time,random,lxml,sys
from lxml import etree
import requests
from bs4 import BeautifulSoup
from requests.adapters import HTTPAdapter
from concurrent.futures import ThreadPoolExecutor,wait,ALL_COMPLETED
os.system('title 优美图吧整站爬虫程序 @小伍的游乐场-5yang.cc')#设置窗口标题
#coding:utf-8
result = []
urls = []
down_path = '优美图吧'
if not os.path.exists(down_path):
    os.makedirs(down_path)

def getpage(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
    s = requests.session()#加入会话保持系统
    s.mount('http://', HTTPAdapter(max_retries=10))#http和https都为最大重试10次
    s.mount('https://', HTTPAdapter(max_retries=10))
    x = 0
    while x < 10:
        try:
            r = s.get(url,headers=headers,timeout = (20,20))
            if r.status_code == 200:
                return r.text
                print('该地址已经Return')
        except requests.exceptions.RequestException as e:
            print(e)
            x += 1
            print('出错重试！')

def lastpage(content,url):#获取lastpage
    zhengze = re.compile('page-numbers".*?"最后页">(.*?)</a>',re.S)
    picurl = re.findall(zhengze,content)#取得每个页面的最大page,例如某图集最大42页
    if len(picurl) == 0:#判断列表是否为空
#        print('该页面为空,不存在最大页面: ',url)
        return 0
    else:   
        lastpage = picurl[0]#最大page是列表,取出来使用
        #print(lastpage)
        return lastpage

def pingjie(cc):
    pingjie1 = re.sub('.html','',url)#将.html替换为空
    pinjie2 = pingjie1+'_'+ str(x) +'.html'
    urls.append(pinjie2)


def down_pic(content):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
    picnamezz = re.compile('点击图片.*?alt="(.*?)" width',re.S)
    picname = re.findall(picnamezz,content)
    #print('该图片名称为:',picname[0])

    jpgnow = re.compile('点击图片查看.*?<img src="(.*?)" alt=".*? width',re.S)#正则中添加变量的方式
    #print(jpgnow)
    jpgdown = re.findall(jpgnow,content)#图片绝对地址
    #print('图片绝对地址为:',jpgdown[0])
   
    html = etree.HTML(content)
    filename = html.xpath('//*[@id="body-header-top"]/div[2]/div/div/div[2]/h1/text()')
    #print('该图集名称为:',filename[0])
    s = requests.session()#加入会话保持系统
    s.mount('http://', HTTPAdapter(max_retries=3))#http和https都为最大重试3次
    s.mount('https://', HTTPAdapter(max_retries=3))
    try:
        jpgget = s.get(jpgdown[0],headers=headers,timeout = (30,30))#这里的timeout分别是链接时间和读取时间,超时自动放弃
    except requests.exceptions.RequestException as e:#必须加入except,否则程序爆出的错误让你无法定位,之前没加我的程序报我语法错误,且错误在pagenum()
        print(e)
        print(time.strftime('%Y-%m-%d %H:%M:%S'))
    pass

    down_path1 = f'优美图吧/{filename[0]}'
    if not os.path.exists(f'优美图吧/{filename[0]}'):
        os.makedirs(f'优美图吧/{filename[0]}')
    try:
        #print(jpgdown) #打印图片绝对网址
        with open(f'优美图吧/{filename[0]}/{picname[0]}.jpg','wb') as f:
            f.write(jpgget.content)
            print(f'已完成{picname[0]}的下载')
    except:
        print('该图片下载超时,自动跳过...')




if __name__ == "__main__":

    url = 'https://www.umtuba.com/wp-admin/admin-ajax.php'

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36', 'X-Requested-With': 'XMLHttpRequest'}

    data = {'action': 'postlist_newajax', 'id': '0', 'type': 'index'}

    num = int(input('请问您要下载多少页 ：'))
    print('时间较长，请耐心等待.')
    print('时间较长，请耐心等待..')
    print('时间较长，请耐心等待...')
    print('时间较长，请耐心等待....')
    print('时间较长，请耐心等待.....')
    print('时间较长，请耐心等待......')
    for item in range(num):
        data['paged'] = item
        r = requests.post(url, headers=headers, data=data)
        j_data = r.json()
    #print(j_data)
        result.extend(re.findall(r'<a href="(.*?)"', str(j_data)))
#print(result)

    for url in result:
        content = getpage(url)
        cc = lastpage(content,url)
        for x in range(1,int(cc)+1):
            pingjie(cc)
    print(urls)
    print('时间较长，请耐心等待.')
    print('时间较长，请耐心等待..')
    print('时间较长，请耐心等待...')
    print('时间较长，请耐心等待....')
    print('时间较长，请耐心等待.....')
    print('时间较长，请耐心等待......')



#    for url in urls:
#        down_pic(getpage(url))
    ex = ThreadPoolExecutor(max_workers = 20)
    future = [ex.submit(down_pic,getpage(url)) for url in urls]
    wait(future,return_when=ALL_COMPLETED)

nanrenne

suchocolate 发表于 2020-6-18 12:54
正则比较麻烦，还是建议用xpath，给你写了一个整个网站的爬虫，不过这个网站慢，建议数字改小：

还有一个小小的疑问，我尝试了接收类型为text，
j_data你的接收类型是json
可是我怎么知道我需要接收什么类型呢？难道每一次我都接收来尝试一下吗？
您是如何知道接收数据类型为json的

suchocolate

nanrenne 发表于 2020-6-18 14:48
还有一个小小的疑问，我尝试了接收类型为text，
j_data你的接收类型是json
可是我怎么知道我需要接收什 ...

还是【浏览器f12】-【网络】，登陆网址https://www.umtuba.com/wp-admin/admin-ajax.php一看返回参数就是json，所以都是json。

nanrenne

suchocolate 发表于 2020-6-18 19:38
还是【浏览器f12】-【网络】，登陆网址https://www.umtuba.com/wp-admin/admin-ajax.php一看返回参数就是 ...

打开主页 点击Ajax加载更多,Network ---Respon里面是
{"success":"ok","msg":
这样的大括号就证明是json吗

suchocolate

nanrenne 发表于 2020-6-18 23:19
打开主页 点击Ajax加载更多,Network ---Respon里面是
{"success":"ok","msg":
这样的大括号就证明是jso ...

一般是的，浏览器应该会提示这是个json数据。
我这里已经登录不上这个网站了，给你截个别的图网站的图例：

nanrenne

suchocolate 发表于 2020-6-19 08:31
一般是的，浏览器应该会提示这是个json数据。
我这里已经登录不上这个网站了，给你截个别的图网站的图例 ...

额 怪不得，我这没。我用的chrome
<a href="https://sm.ms/image/XI7L1B2Pe6qvFog" target="_blank"><img src="https://i.loli.net/2020/06/19/XI7L1B2Pe6qvFog.jpg" ></a>

nanrenne

suchocolate 发表于 2020-6-19 08:31
一般是的，浏览器应该会提示这是个json数据。
我这里已经登录不上这个网站了，给你截个别的图网站的图例 ...

额，我的chrome或者windows自带浏览器里面写的类型都是XHR，但是你的是触发，你多了一个类型写的是JSON
而那个站点在windows自带浏览器写的类型是text/html