网络爬虫时候死活无法定位搜索框

Him_洪

最近接触python后发现很多东西需要实践才能深刻体会，然后就结合实际在工作中的一些内容，想减轻工作负担，所以就尝试python解决
但是功夫不到家，有些地方自己研究了很久还是没解决到，故求助各位大神，话不多说，我先解释一下整个任务要求：

商标局商标查询网址如下：
http://wcjs.sbj.cnipa.gov.cn/txn ... aFa9X.qkDuloAz0.kKg

我希望以后我能通过python自动登录商标局，然后查询到我希望查询的企业的商标情况，然后把这些情况爬取下来
现在遇到的第一个门槛是，我用了所有【driver.find_element_by_】 都无法定位成功具体的搜索框
那个商标查询网页一共有5个检索条件框，我选用的是“申请人名称（中文）”这个检索框
就是在这个检索框输入公司中文名字，然后点击“查询”就能跳转查看到 该公司全部的商标情况

我尝试用driver.find_element_by_xpath，用driver.find_element_by_name，都不成功


我写的代码如下：
from selenium import webdriver    #引入模块

import urllib.request

driver = webdriver.Chrome( )      #打开指定浏览器

网址="http://wcjs.sbj.cnipa.gov.cn/txnS02.do?RyPaGY3r=qqrwdIZpmaLl49CEdA4YihgIVcPqqqYbHOENBVFeK50si3j.VYUrqez06VnvCC9s7ffxha6bAUiXkgHAAWeSJ7EqCwV83mfXUIlTxaFMk8zy1aFuM9Ugl7DOjjgz57ITXiMaq1m14hzYRnaQKd4ko4f92eN4OYxLu6GWE46sv9cijgkb&dy8fK6xo=2xNmH6E..RnyPLTDwY_neISRhYVlxz5NSmBaHykFbThgleYt_JAnT1xJxID_k2_qOzW2SweOmGFPIJya17BfqUBjAJanl31MHr0vD74OfywvkpEKlPDGlL2csV3oe7asa"

头部={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"}  

请求响应=urllib.request.Request(网址,headers=头部)  #封装网页，防止被识破是python自动程序

driver.get(网址)

定位搜索框=driver.find_element_by_xpath('//*[@id="submitForm"]/div/div[1]/table/tbody/tr[4]/td[2]/div/input')     #用xpath定位“申请人名称（中文）”的搜索框

搜索框输入内容=定位搜索框.send_keys ( "百度在线网络技术（北京）有限公司" )       #确定用“申请人名称（中文）”这个检索条件，在该检索框输入的内容为“百度在线网络技术（北京）有限公司”

点击=driver.find_element_by_id(r"_searchButton").click()   #点击搜索

wp231957

这个网站是否需要登录？？

wp231957

不好弄啊 ，检索时  还要输入验证码

Him_洪

wp231957 发表于 2021-9-17 09:51
不好弄啊 ，检索时  还要输入验证码

那个验证码后面再谈，问题是 我根本没办法定位 然后输入那个 公司名称 到那个框，然后就没办法继续后面的点击查询的python操作。我本来的想法是一个个步骤去攻略结果就卡在那个定位框那里了。不过我有百度搜索过怎么样处理验证码问题，据说会有一些OCR技术可以帮忙处理验证码，虽然我还没认真去研究

Him_洪

wp231957 发表于 2021-9-17 09:51
不好弄啊 ，检索时  还要输入验证码

我尝试过用百度的搜索框定位是成功的，但是到了这个商标局的搜索框定位 不知道为啥没有一个方法是成功定位的。sad

wp231957

Him_洪 发表于 2021-9-17 22:06
那个验证码后面再谈，问题是 我根本没办法定位 然后输入那个 公司名称 到那个框，然后就没办法继续后面的 ...

验证码肯定好弄，但是要花银子，不花银子的方法，我试过，都无法识别
在我看来，前面部分都好弄，

Him_洪

wp231957 发表于 2021-9-17 22:08
验证码肯定好弄，但是要花银子，不花银子的方法，我试过，都无法识别
在我看来，前面部分都好弄，

所以为什么我还是定位不到这个搜索框的位置？
我用F12查看了 那个搜索框明明就有 name啊
定位搜索框=driver.find_element_by_name('request:hnc')
这里为什么会报错呢？

Daniel_Zhang

wp231957 发表于 2021-9-17 22:08
验证码肯定好弄，但是要花银子，不花银子的方法，我试过，都无法识别
在我看来，前面部分都好弄，

不花银子的话,暴力识别 50 次,碰运气,万一对了呢?

主要是这种只要有干扰项就搞不了,而且多次登录失败不会被认为是撞库封 IP 才行

Daniel_Zhang

Him_洪 发表于 2021-9-17 22:36
所以为什么我还是定位不到这个搜索框的位置？
我用F12查看了 那个搜索框明明就有 name啊
定位搜索框=dr ...

可能是后期 load 出来的?你让 selenium 等几秒再搜索试试?

wp231957

Him_洪 发表于 2021-9-17 22:36
所以为什么我还是定位不到这个搜索框的位置？
我用F12查看了 那个搜索框明明就有 name啊
定位搜索框=dr ...

可以的，有图为证

wp231957

Him_洪 发表于 2021-9-17 22:36
所以为什么我还是定位不到这个搜索框的位置？
我用F12查看了 那个搜索框明明就有 name啊
定位搜索框=dr ...

开始时  我没加延时   也就是你的原装代码   也通过一次，但是第二次 就没有通过

所以  玩selenium 添加延时  还是必要的

from selenium import webdriver   
import time
driver = webdriver.Chrome( )     
url="http://wcjs.sbj.cnipa.gov.cn/txnS02.do?RyPaGY3r=qqrwdIZpmaLl49CEdA4YihgIVcPqqqYbHOENBVFeK50si3j.VYUrqez06VnvCC9s7ffxha6bAUiXkgHAAWeSJ7EqCwV83mfXUIlTxaFMk8zy1aFuM9Ugl7DOjjgz57ITXiMaq1m14hzYRnaQKd4ko4f92eN4OYxLu6GWE46sv9cijgkb&dy8fK6xo=2xNmH6E..RnyPLTDwY_neISRhYVlxz5NSmBaHykFbThgleYt_JAnT1xJxID_k2_qOzW2SweOmGFPIJya17BfqUBjAJanl31MHr0vD74OfywvkpEKlPDGlL2csV3oe7asa"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"}  
driver.get(url)
time.sleep(3)
search=driver.find_element_by_xpath('//*[@id="submitForm"]/div/div[1]/table/tbody/tr[4]/td[2]/div/input')     
time.sleep(3)
txt=search.send_keys ( "百度在线网络技术（北京）有限公司" )      
ok=driver.find_element_by_id(r"_searchButton").click()  

另：不建议使用中文变量   看起来  太乱了
我没有测试，，headers 应该是不用加的，，selenium 自己应该有封装

Him_洪

wp231957 发表于 2021-9-18 08:27
开始时  我没加延时   也就是你的原装代码   也通过一次，但是第二次 就没有通过

所以  玩selenium  ...

是我没学会走路就先跑步了 害  但是依然感恩大佬，
没用延时，是因为我以为 如果我不加延时 他可以一直运行直到成功，如果加了延时，那么延时完毕之后还不行那岂不是白搭……然后我当时就傻乎乎没加，所以我很纳闷为什么第一次成功，后面没有一次成功定位了。
用中文变量是因为我很容易绕晕，毕竟不是专业的，我这边努力慢慢改吧 哈哈
真的谢谢啦