[已解决]爬虫

哈岁NB

请问一下，这个报错是因为什么呢

最佳答案

月排行榜 / 总排行榜

isdkz

2023-3-2 17:12:39

哈岁NB 发表于 2023-3-2 17:05
这是代码

从 get 打开网址到 执行 js 之间没有等待，有时候可能页面还没有加载出来

跳转到最佳答案楼层

isdkz

js 执行出错了

哈岁NB

isdkz 发表于 2023-3-2 17:02
js 执行出错了

那他是什么情况呢出错呢，有时候爬的就不错，有时候就出错

哈岁NB

isdkz 发表于 2023-3-2 17:02
js 执行出错了

这是代码

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from selenium import webdriver
   
4. from selenium.webdriver.chrome.options import Options
   
5. from selenium import webdriver
   
6. from time import sleep
   
7. from selenium.webdriver.common.by import By
   
8. import bs4
   
9. import csv
   
10. import datetime
    
11. import time
    
12. time_start=time.time()
    
13.     # 生成日期数据
    
14. def create_assist_date(datestart=None, dateend=None):
    
15.     # 创建日期辅助表
    
16. 
    
17.     if datestart is None:
    
18.         datestart = '2016-01-01'
    
19.     if dateend is None:
    
20.         dateend = datetime.datetime.now().strftime('%Y-%m-%d')
    
21. 
    
22.     # 转为日期格式
    
23.     datestart = datetime.datetime.strptime(datestart, '%Y-%m-%d')
    
24.     dateend = datetime.datetime.strptime(dateend, '%Y-%m-%d')
    
25.     date_list = []
    
26.     date_list.append(datestart.strftime('%Y-%m-%d'))
    
27.     while datestart < dateend:
    
28.         # 日期叠加一天
    
29.         datestart += datetime.timedelta(days=+1)
    
30.         # 日期转字符串存入列表
    
31.         date_list.append(datestart.strftime('%Y-%m-%d'))
    
32.     return date_list
    
33. 
    
34. 
    
35. if __name__ == '__main__':
    
36.     date = create_assist_date("2006-04-05", '2006-6-30')
    
37. for i in range(len(date)):
    
38.     # 设置selenium使用chrome的无头模式
    
39.     chrome_options = Options()
    
40.     chrome_options.add_argument('--headless')
    
41.     chrome_options.add_argument('--disable-gpu')
    
42.     # 在启动浏览器时加入配置
    
43.     browser = webdriver.Chrome("D:/技能/chromedriver.exe",options=chrome_options)
    
44.     # 模拟浏览器打开网址
    
45.     browser.get('http://61.163.88.227:8006/hwsq.aspx?sr=0nkRxv6s9CTRMlwRgmfFF6jTpJPtAv87')
    
46.     # 等待加载，最多等待20秒
    
47.     js='document.getElementById("ContentLeft_menuDate1_TextBox11").removeAttribute("readonly");'
    
48.     browser.execute_script(js)
    
49.     browser.find_element(By.ID,'ContentLeft_menuDate1_TextBox11').clear()#清空原来的数据
    
50.     browser.find_element(By.ID,'ContentLeft_menuDate1_TextBox11').send_keys(date[i])
    
51.     browser.find_element(By.ID,'ContentLeft_Button1').click()#模拟点击按钮
    
52.     sleep(2)
    
53.     html=browser.page_source
    
54.     try:
    
55.         soup=BeautifulSoup(html,'html.parser')
    
56.         data=soup.find_all('table','mainTxt')
    
57.     except:
    
58.         print("找不到")
    
59.     f = open('data2006（4）.csv', 'a+', newline="", encoding='gbk')
    
60.     writer = csv.writer(f)
    
61.     for tr in data[1]('tbody')[0].children:#注意因为data[1]('tbody')是列表，必须加上[0]
    
62.         if isinstance(tr,bs4.element.Tag):
    
63.             tds=tr('td')
    
64.             writer.writerow([date[i],tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])
    
65.     for tr in data[2]('tbody')[0].children:#注意因为data[2]('tbody')是列表，必须加上[0]
    
66.         if isinstance(tr,bs4.element.Tag):
    
67.             tds=tr('td')
    
68.             writer.writerow([date[i],tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])
    
69.     f.close()
    
70. time_end=time.time()
    
71. print('共运行{}s'.format(time_end-time_start))
    

复制代码

isdkz

哈岁NB 发表于 2023-3-2 17:04
那他是什么情况呢出错呢，有时候爬的就不错，有时候就出错

这个报错可能是因为你的 JavaScript 代码试图访问一个不存在或者未加载的元素，导致无法读取或者修改它的属性。你可以检查一下你的代码是否正确地定位到了你想要操作的元素，或者是否在 DOM 加载完成之后才执行了 JavaScript 代码。

isdkz

哈岁NB 发表于 2023-3-2 17:05
这是代码

从 get 打开网址到 执行 js 之间没有等待，有时候可能页面还没有加载出来

哈岁NB

isdkz 发表于 2023-3-2 17:12
从 get 打开网址到 执行 js 之间没有等待，有时候可能页面还没有加载出来

好的，感谢感谢