[已解决]关于selenium的

丨游戏灬需要

怎么向建立出的浏览器发送ctrl+t(或者直接建立新的窗口啊?)

不能是用下面的方法:
from selenium import webdriver
browser =webdriver.Firefox()
browser.execute_script(f'window.open("{url}")')

这方法没办法建新超过21个窗口

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-10-9 18:55:08

丨游戏灬需要 发表于 2020-10-9 19:35
我想着用selenium代替requests爬取网页信息 .例如爬取英雄联盟所有角色的所有皮肤(对,我就是如此的渣渣 ...

1. 
   
2. import requests
   
3. 
   
4. 
   
5. def main():
   
6.     headers = {'user-agent': 'firefox'}
   
7.     for hero in range(1, 877):
   
8.         # 英雄数据的url是固定的，从1-876
   
9.         url = f'https://game.gtimg.cn/images/lol/act/img/js/hero/{hero}.js'
   
10.         r = requests.get(url, headers=headers)
    
11.         # 数据都在这里，具体想用那个自己选，这里只是打印供你参考。
    
12.         result = r.json()['skins']
    
13.         for item in result:
    
14.             print(item)
    
15.             print('-' * 100)
    
16. 
    
17. 
    
18. if __name__ == '__main__':
    
19.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

丨游戏灬需要 发表于 2020-10-9 19:35
我想着用selenium代替requests爬取网页信息 .例如爬取英雄联盟所有角色的所有皮肤(对,我就是如此的渣渣 ...

1. 
   
2. import requests
   
3. 
   
4. 
   
5. def main():
   
6.     headers = {'user-agent': 'firefox'}
   
7.     for hero in range(1, 877):
   
8.         # 英雄数据的url是固定的，从1-876
   
9.         url = f'https://game.gtimg.cn/images/lol/act/img/js/hero/{hero}.js'
   
10.         r = requests.get(url, headers=headers)
    
11.         # 数据都在这里，具体想用那个自己选，这里只是打印供你参考。
    
12.         result = r.json()['skins']
    
13.         for item in result:
    
14.             print(item)
    
15.             print('-' * 100)
    
16. 
    
17. 
    
18. if __name__ == '__main__':
    
19.     main()
    

复制代码

suchocolate

这就是新建选项卡的方法。
要那么多选项卡做啥？多进程？

丨游戏灬需要

suchocolate 发表于 2020-10-9 19:00
这就是新建选项卡的方法。
要那么多选项卡做啥？多进程？

想一次开打100个以上的网页(目标是无限多个) ,然后统一操作.可惜这方法最多打开20个
或者有没有办法用execute_script这个方法发送'ctrl+t'的js命令?

suchocolate

丨游戏灬需要 发表于 2020-10-9 19:09
想一次开打100个以上的网页(目标是无限多个) ,然后统一操作.可惜这方法最多打开20个
或者有没有办法用 ...

估计selenium性能没有那么强，ctrl-t就是浏览器开选项卡，是一回事。
要不你发下你想操作的网站，以及想操作啥，说说，看看能不能用其他模块实现。

丨游戏灬需要

suchocolate 发表于 2020-10-9 19:19
估计selenium性能没有那么强，ctrl-t就是浏览器开选项卡，是一回事。
要不你发下你想操作的网站，以及 ...

我想着用selenium代替requests爬取网页信息 .例如爬取英雄联盟所有角色的所有皮肤(对,我就是如此的渣渣 ,还在拿这种题练手).
requests爬取时 ,页面有可能没加载完或者爬取后的信息不完整(浏览器f12里面有的 ,响应回的html信息里没有),例如用requests爬https://lol.qq.com/data/info-defail.shtml?id=1时 ,css选择器里都找不到'#skinNAV > li'这复制出来的信息(试过 ,但不知道还是不是一样).
还有皮肤图片信息 ,它需要点击页面里那些小头像后才会加载 ,这个requests也是爬不到(例如要爬原图 ,需要你点击小头像后才会加载 ,还是一个一个加载的(在f12的网络那),所以不可能用requests一个一个爬那些图片吧) .所以
所以想着是不是selenium比requests更通用些

如果真没有的话 ,那么大概暂时只能每20个20个来爬了

丨游戏灬需要

suchocolate 发表于 2020-10-9 19:56

这个确实可以 ,不过 ,你那url是怎么获得?
还有个问题就是残月之肃id=523 ,而下一个角色血港鬼影派克的id=555 ,也就是说 ,它不一定是按这么个顺序排的(所以用最简单的try:except?解决).
而且最后一个角色的id=876 ,每次更新都会增加 ,而增加的是什么数我们也不可能知道

所以我想着的是先从最基础的页面获取所有id组成的列表 ,然后再根据id进入单个角色的界面 ,然后爬取单个角色的所有皮肤信息那些(以此循环全部角色)

suchocolate

丨游戏灬需要 发表于 2020-10-9 20:11
这个确实可以 ,不过 ,你那url是怎么获得?

f12-网络-xhr，这种是ajax。
图片总归有来源，要么html里，要么json里，直接放javascript里很少见，安全高的需要配合javascript解密得到。
lol这个看f12就知道规律了。
1.js这个url从登陆的id=1的页面得来，2.js也是从id=2的得来，以此类推。

丨游戏灬需要

suchocolate 发表于 2020-10-9 20:17
f12-网络-xhr，这种是ajax。
图片总归有来源，要么html里，要么json里，直接放javascript里很少见，安全 ...

ok吧.url找到是找到了.但是这种全部信息刚好有的js字典 ,还是不太放心,怕其他网页找不到(例如得像点击小头像才能加载大图的情况) .ok先这样吧

丨游戏灬需要

suchocolate 发表于 2020-10-9 20:17
f12-网络-xhr，这种是ajax。
图片总归有来源，要么html里，要么json里，直接放javascript里很少见，安全 ...

大佬留步 ,还是不太行啊 .例如你的那个方法(应该是教学机构教的标准方法(嫖的体验课上看过)) ,
首先 ,你可以看看https://game.gtimg.cn/images/lol/act/img/js/hero/876.js ,里面有一堆空信息 ,而实际爬的时候只需要两个皮肤信息而已.
其次 ,爬王者荣耀皮肤好像却不行 ,因为我打开https://pvp.qq.com/web201605/herodetail/533.shtml 页面时 ,没看到有一样的js ,而用html爬取也爬取不到(就是我所说的那种情况 f12里有 ,但res里没有(soup里找到后却不是))

suchocolate

丨游戏灬需要 发表于 2020-10-9 21:19
大佬留步 ,还是不太行啊 .例如你的那个方法(应该是教学机构教的标准方法(嫖的体验课上看过)) ,
首先 ,你 ...

只是帮你打印一下整体信息，用什么你自己选，比如只要iconImg；print(item['iconImg'])。
爬虫就是这样，定制化很强，往往不通用，即使用爬虫架构，不同的网站，甚至有时不同的页面都需要定制不同的代码。
掌握方法，自己分析写代码。

suchocolate

1. 
   
2. import requests
   
3. import re
   
4. import os
   
5. from lxml import etree
   
6. 
   
7. 
   
8. def ck_dir():
   
9.     pic_dir = 'pics'
   
10.     if not os.path.exists(pic_dir):
    
11.         os.mkdir(pic_dir)
    
12.     os.chdir(pic_dir)
    
13. 
    
14. 
    
15. def main():
    
16.     ck_dir()
    
17.     headers = {'user-agent': 'firefox'}
    
18.     count = 1
    
19.     port_url = 'https://pvp.qq.com/web201605/herolist.shtml'
    
20.     r = requests.get(port_url, headers=headers)
    
21.     r.encoding = 'gbk'
    
22.     html = etree.HTML(r.text)
    
23.     # 获取英雄主页列表
    
24.     li_list = html.xpath('//ul[contains(@class,"herolist") and contains(@class,"clearfix")]/li')
    
25.     # 遍历列表
    
26.     for li in li_list:
    
27.         # 获取英雄主页资源url
    
28.         h_url = li.xpath('./a/@href')[0]
    
29.         # 合成访问url
    
30.         port_url = f'https://pvp.qq.com/web201605/{h_url}'
    
31.         r = requests.get(port_url, headers=headers)
    
32.         # 获取图片base 路径
    
33.         p_url = re.findall(r'(game.*?bigskin-)1.jpg', r.text)[0]
    
34.         # 统计皮肤数目，url数据等于pic数
    
35.         p_num = len(re.findall(r'pf_pic[0-9].jpg', r.text))
    
36.         # 下载所有皮肤
    
37.         for jtem in range(1, p_num + 1):
    
38.             # 用base路径+数目合成图片url
    
39.             url = f'https://{p_url}{jtem}.jpg'
    
40.             # print(url)
    
41.             # 取名
    
42.             p_name = url.split('/')[-1]
    
43.             r = requests.get(url, headers=headers, timeout=5)
    
44.             with open(p_name, 'wb') as f:
    
45.                 f.write(r.content)
    
46.             print(f'已下载{p_name}，共下载{count}张图片。')
    
47.             count = count + 1
    
48. 
    
49. 
    
50. if __name__ == '__main__':
    
51.     main()
    

复制代码

丨游戏灬需要

suchocolate 发表于 2020-10-10 19:13

class WZskin():
    def __init__(self):
        self.Did_LskinId_skinNameLD ={}
        pass
    def get_all_id(self):
        url =r'https://pvp.qq.com/web201605/js/herolist.json'
        response =requests.get(url)
        response.encoding =response.apparent_encoding
        for i in response.json():
            id =i['ename']
            self.Did_LskinId_skinNameLD[id] =[]

    def get_skinId_skinName_from_id(self ,id):
        url =f'https://pvp.qq.com/web201605/herodetail/{id}.shtml'
        response = requests.get(url)
        response.encoding = response.apparent_encoding
        soup =bs4.BeautifulSoup(response.text ,'lxml')

        heroName =soup.select('.cover-name')[0].text
        print(f'正在整理{heroName}的数据...')
        L_skinName =soup.select('.pic-pf-list')[0]['data-imgname'].split('|')
        for skinId ,baseSkinName in enumerate(L_skinName ,1):
            skinName =heroName +' ' +baseSkinName.split('&')[0].replace(heroName ,'')
            self.Did_LskinId_skinNameLD[id].append([skinId ,skinName])
        print('Done.\n')

    def endLoad(self ,id ,skinId ,skinName):
        url =f'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{id}/{id}-bigskin-{skinId}.jpg'
        res =requests.get(url)
        with open(skinName+'.jpg' ,'wb') as f:
            f.write(res.content)


    def testMain(self):
        self.get_all_id()

        for id in self.Did_LskinId_skinNameLD:
            self.get_skinId_skinName_from_id(id)

        os.mkdir('王者_皮肤_结果')
        os.chdir('王者_皮肤_结果')
        for id ,L_skinInfo in self.Did_LskinId_skinNameLD.items():
            for skinID ,skinName in L_skinInfo:
                print(f'下载{skinName}中')
                self.endLoad(id ,skinID ,skinName)
                print('Done.\n')
        os.chdir(os.pardir)

try_ =WZskin()
try_.testMain()

昨天写的,用的逻辑可能和你的是一样的(补充完整基础url).可选写这个的逻辑用不到爬LOLl里(例如暴走萝莉 金克斯的 她的皮肤id顺序不是按1234这样连续的.而lol皮肤ld ,我好像没在html找到)
而且你的这个答案...如之前问的lol爬取问题一样 ,有爬取空图的风险...

丨游戏灬需要

suchocolate 发表于 2020-10-10 19:13

我selenium学的不深 ,问下 ,这模块有没有设置浏览器''不阻止网站弹窗''的设置? ,其实还是那个问题 :
browser =selenium.webdriver.Firefox()
browser.execute_script(f'window.open("{url}")')
打不开超过20个页面(大概设置了就可以了)

suchocolate

丨游戏灬需要 发表于 2020-10-10 21:21
class WZskin():
    def __init__(self):
        self.Did_LskinId_skinNameLD ={}

加个if判断是否为空，程序都是活学活用。

丨游戏灬需要

suchocolate 发表于 2020-10-11 10:18
加个if判断是否为空，程序都是活学活用。

哦,这个优化我昨天想过 ,就是往软件上那种(生成缓存文件 ,加载缓存文件)的级别上写而已.可惜水平不够 ,还是有些难的.我慢慢想吧(但加个if判断 ,太简单粗暴了 ,不实用)

suchocolate

丨游戏灬需要 发表于 2020-10-11 11:14
哦,这个优化我昨天想过 ,就是往软件上那种(生成缓存文件 ,加载缓存文件)的级别上写而已.可惜水平不够 ,还 ...

有的网站的html自身就不规范，有时返回空值很正常。
发一个你的筛查方式