设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 想写个脚本，自动删除网页上的文件，总是无法登陆
返回列表 发新帖
查看: 2171|回复: 6

[已解决]想写个脚本，自动删除网页上的文件，总是无法登陆

[复制链接]
sjjy1813
发表于 2023-2-28 19:41:19 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本帖最后由 sjjy1813 于 2023-2-28 19:46 编辑

想写个脚本，自动删除百度文库上的文件，但是在登陆这块，总是无法执行下去，cookie这块无法模拟，至于后面的功能，也没办法测试是否对了，求大神帮忙看看，到底哪里出了问题
基本思路是：
1、打开BD文库网页，通过cookie登陆账号；2、检测登陆完成后，进入创作中心，3、在创作中心页面下，进入“文档”页面；4、进入“付费”页面；5、统计每页每个网页链接下列表状态，筛选出状态为未通过、未上架的文档链接；6、通过筛选出的未通过、未上架文档的删除按键，删除该文档，每次间隔设置为7秒


  1. import time
  2. from selenium import webdriver
  3. from selenium.webdriver.common.by import By
  4. from selenium.webdriver.support.ui import WebDriverWait
  5. from selenium.webdriver.support import expected_conditions as EC

  7. # 设置Chrome驱动路径
  8. chrome_driver_path = "D:/chromedriver.exe"

  10. # 创建Chrome浏览器实例
  11. from selenium.webdriver.chrome.service import Service

  13. service = Service(executable_path=chrome_driver_path)
  14. driver = webdriver.Chrome(service=service)


  17. # 利用cookie模拟登陆
  18. driver.get("h t t p s://cuttlefish.baidu.com/")
  19. cookie = {'name': 'BDUSS', 'value': '这里就不写了'}
  20. driver.add_cookie(cookie)

  22. # 进入文档页面
  23. wait = WebDriverWait(driver, 20)
  24. driver.get("h  t  t p s://cuttlefish.baidu.c o m/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation")
  25. wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  26. driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()

  28. # 统计每页每个网页链接下列表状态，筛选出状态为未通过、未上架的文档链接，并删除
  29. while True:
  30.     # 获取所有文档链接
  31.     doc_links = driver.find_elements_by_css_selector(".doc-link")
  32.     for link in doc_links:
  33.         # 获取文档状态
  34.         status = link.find_element_by_css_selector(".status").text
  35.         if status == "未通过" or status == "未上架":
  36.             # 点击删除按钮
  37.             link.find_element_by_css_selector(".doc-del").click()
  38.             # 等待弹出确认窗口
  39.             wait.until(EC.alert_is_present())
  40.             # 确认删除
  41.             alert = driver.switch_to.alert
  42.             alert.accept()
  43.             # 等待7秒
  44.             time.sleep(7)
  45.             # 返回文档页面
  46.             driver.get("h t t ps ://cu ttlefish.ba idu.c o m/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation)
  47.             wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  48.             driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()
  49.     # 判断是否存在下一页
  50.     next_page = driver.find_element_by_css_selector(".ant-pagination-next")
  51.     if "ant-pagination-disabled" in next_page.get_attribute("class"):
  52.         break
  53.     # 点击下一页
  54.     next_page.click()
  55.     # 等待页面刷新
  56.     time.sleep(3)
复制代码


不让发链接，里面的网址都加了空格
最佳答案
月排行榜 / 总排行榜
isdkz
2023-3-1 09:42:22
本帖最后由 isdkz 于 2023-3-1 09:43 编辑

你可能需要在添加cookie后刷新浏览器才能显示登录后的页面。

你可以使用 driver.refresh() 来刷新浏览器

  1. import time
  2. from selenium import webdriver
  3. from selenium.webdriver.common.by import By
  4. from selenium.webdriver.support.ui import WebDriverWait
  5. from selenium.webdriver.support import expected_conditions as EC

  7. # 设置Chrome驱动路径
  8. chrome_driver_path = "chromedriver.exe"

  10. # 创建Chrome浏览器实例
  11. from selenium.webdriver.chrome.service import Service

  13. service = Service(executable_path=chrome_driver_path)
  14. driver = webdriver.Chrome(service=service)


  17. # 利用cookie模拟登陆
  18. driver.get("https://cuttlefish.baidu.com/")
  19. cookie = {'name': 'BDUSS', 'value': ''}
  20. driver.add_cookie(cookie)
  21. driver.refresh()                    # 加这个刷新一下浏览器 cookie 才会生效

  23. # 进入文档页面
  24. wait = WebDriverWait(driver, 20)
  25. driver.get("https://cuttlefish.baidu.com/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation")
  26. wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  27. driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()

  29. # 统计每页每个网页链接下列表状态，筛选出状态为未通过、未上架的文档链接，并删除
  30. while True:
  31.     # 获取所有文档链接
  32.     doc_links = driver.find_elements_by_css_selector(".doc-link")
  33.     for link in doc_links:
  34.         # 获取文档状态
  35.         status = link.find_element_by_css_selector(".status").text
  36.         if status == "未通过" or status == "未上架":
  37.             # 点击删除按钮
  38.             link.find_element_by_css_selector(".doc-del").click()
  39.             # 等待弹出确认窗口
  40.             wait.until(EC.alert_is_present())
  41.             # 确认删除
  42.             alert = driver.switch_to.alert
  43.             alert.accept()
  44.             # 等待7秒
  45.             time.sleep(7)
  46.             # 返回文档页面
  47.             driver.get("https://cuttlefish.baidu.com/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation")
  48.             wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  49.             driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()
  50.     # 判断是否存在下一页
  51.     next_page = driver.find_element_by_css_selector(".ant-pagination-next")
  52.     if "ant-pagination-disabled" in next_page.get_attribute("class"):
  53.         break
  54.     # 点击下一页
  55.     next_page.click()
  56.     # 等待页面刷新
  57.     time.sleep(3)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wp231957
发表于 2023-3-1 09:25:50 From FishC Mobile | 显示全部楼层
涉及用户登录，不太好帮
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

isdkz
发表于 2023-3-1 09:42:22 | 显示全部楼层    本楼为最佳答案   
本帖最后由 isdkz 于 2023-3-1 09:43 编辑

你可能需要在添加cookie后刷新浏览器才能显示登录后的页面。

你可以使用 driver.refresh() 来刷新浏览器

  1. import time
  2. from selenium import webdriver
  3. from selenium.webdriver.common.by import By
  4. from selenium.webdriver.support.ui import WebDriverWait
  5. from selenium.webdriver.support import expected_conditions as EC

  7. # 设置Chrome驱动路径
  8. chrome_driver_path = "chromedriver.exe"

  10. # 创建Chrome浏览器实例
  11. from selenium.webdriver.chrome.service import Service

  13. service = Service(executable_path=chrome_driver_path)
  14. driver = webdriver.Chrome(service=service)


  17. # 利用cookie模拟登陆
  18. driver.get("https://cuttlefish.baidu.com/")
  19. cookie = {'name': 'BDUSS', 'value': ''}
  20. driver.add_cookie(cookie)
  21. driver.refresh()                    # 加这个刷新一下浏览器 cookie 才会生效

  23. # 进入文档页面
  24. wait = WebDriverWait(driver, 20)
  25. driver.get("https://cuttlefish.baidu.com/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation")
  26. wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  27. driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()

  29. # 统计每页每个网页链接下列表状态，筛选出状态为未通过、未上架的文档链接，并删除
  30. while True:
  31.     # 获取所有文档链接
  32.     doc_links = driver.find_elements_by_css_selector(".doc-link")
  33.     for link in doc_links:
  34.         # 获取文档状态
  35.         status = link.find_element_by_css_selector(".status").text
  36.         if status == "未通过" or status == "未上架":
  37.             # 点击删除按钮
  38.             link.find_element_by_css_selector(".doc-del").click()
  39.             # 等待弹出确认窗口
  40.             wait.until(EC.alert_is_present())
  41.             # 确认删除
  42.             alert = driver.switch_to.alert
  43.             alert.accept()
  44.             # 等待7秒
  45.             time.sleep(7)
  46.             # 返回文档页面
  47.             driver.get("https://cuttlefish.baidu.com/shopmis?_wkts_=xxxxxxxxxx#/commodityManage/documentation")
  48.             wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".ant-tabs-tab:nth-child(2)")))
  49.             driver.find_element_by_css_selector(".ant-tabs-tab:nth-child(2)").click()
  50.     # 判断是否存在下一页
  51.     next_page = driver.find_element_by_css_selector(".ant-pagination-next")
  52.     if "ant-pagination-disabled" in next_page.get_attribute("class"):
  53.         break
  54.     # 点击下一页
  55.     next_page.click()
  56.     # 等待页面刷新
  57.     time.sleep(3)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

sjjy1813
 楼主| 发表于 2023-3-1 17:18:01 | 显示全部楼层
isdkz 发表于 2023-3-1 09:42
你可能需要在添加cookie后刷新浏览器才能显示登录后的页面。

你可以使用 driver.refresh() 来刷新浏览器 ...


加了driver.refresh()果然好使，登陆上了
就是剩下的代码，总是爬取不到信息，愁人
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

isdkz
发表于 2023-3-1 19:20:56 | 显示全部楼层
sjjy1813 发表于 2023-3-1 17:18
加了driver.refresh()果然好使，登陆上了
就是剩下的代码，总是爬取不到信息，愁人

你先确定 .ant-tabs-tab:nth-child(2) 这个元素能找得到再说吧
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

sjjy1813
 楼主| 发表于 2023-3-7 11:22:20 | 显示全部楼层
本帖最后由 sjjy1813 于 2023-3-7 11:36 编辑
isdkz 发表于 2023-3-1 19:20
你先确定 .ant-tabs-tab:nth-child(2) 这个元素能找得到再说吧

  1. <table cellspacing="0" cellpadding="0" border="0" class="el-table__body" style="width: 1013px;"><colgroup><col name="el-table_3_column_9" width="516"><col name="el-table_3_column_10" width="120"><col name="el-table_3_column_12" width="120"><col name="el-table_3_column_11" width="257"></colgroup><tbody><tr class="el-table__row"><td rowspan="1" colspan="1" class="el-table_3_column_9  "><div class="cell"><!----> <div data-v-01ceff70="" data-v-3cd85bb6="" class="doc-type-icon doc"></div> <span data-v-3cd85bb6="" style="cursor: pointer;">
  2.                             房管局购房协议正文
  3.                         </span></div></td><td rowspan="1" colspan="1" class="el-table_3_column_10 is-center table-status"><div class="cell"><span data-v-3cd85bb6="" class="dot not-pass"></span> <span data-v-3cd85bb6="" style="margin-left: 6px;">未通过</span> <i data-v-3cd85bb6="" class="el-tooltip el-icon-warning-outline" aria-describedby="el-tooltip-2112" tabindex="0"></i></div></td><td rowspan="1" colspan="1" class="el-table_3_column_12 is-center "><div class="cell">8.00</div></td><td rowspan="1" colspan="1" class="el-table_3_column_11 is-center "><div class="cell"><button data-v-3cd85bb6="" type="button" class="el-button el-tooltip el-button--default el-button--mini" aria-describedby="el-tooltip-6024" tabindex="0" style="display: none;"><!----><!----><span>
  4.                                 查看原因
  5.                             </span></button> <button data-v-3cd85bb6="" type="button" class="el-button el-tooltip disabled-btn el-button--default el-button--mini" aria-describedby="el-tooltip-6723" tabindex="0" style="display: none;"><!----><!----><span>编辑
  6.                             </span></button> <button data-v-3cd85bb6="" type="button" class="el-button el-button--default el-button--mini" style="display: none;"><!----><!----><span>编辑
  7.                         </span></button> <button data-v-3cd85bb6="" type="button" class="el-button el-button--default el-button--mini"><!----><!----><span>
  8.                             下载
  9.                         </span></button> <button data-v-3cd85bb6="" type="button" class="el-button el-button--default el-button--mini"><!----><!----><span>删除
  10.                         </span></button></div></td></tr><tr class="el-table__row"><td rowspan="1" colspan="1" class="el-table_3_column_9  "><div class="cell"><!----> <div data-v-01ceff70="" data-v-3cd85bb6="" class="doc-type-icon doc"></div> <span data-v-3cd85bb6="" style="cursor: pointer;">
复制代码

这里面想选出所有文件名，及其对应的状态未通过、已上架、未上架、审核中，还有文件编辑、下载、删除，然后查找出操作功能的编辑、删除、下载，接着是筛选未上架、未通过的状态文件，通过删除操作，将其删除，不知道怎么了，代码总是无法执行。

  1. # 使用BeautifulSoup来解析页面
  2. soup = BeautifulSoup(driver.page_source, 'html.parser')

  4. # 查找文件名和状态
  5. file_names = []
  6. statuses = []
  7. for td in soup.find_all('td', {'class': 'el-table_3_column_9'}):
  8.     file_names.append(td.find('span', {'class': 'cell'}).text.strip())
  9. for td in soup.find_all('td', {'class': 'el-table_3_column_10 is-center table-status'}):
  10.     statuses.append(td.find('span', {'class': 'cell'}).text.strip())

  12. # 查找编辑、下载、删除按钮
  13. buttons = {}
  14. for td in soup.find_all('td', {'class': 'el-table_3_column_11 is-center'}):
  15.     button_dict = {}
  16.     for button in td.find_all('button', {'class': 'el-button el-button--default el-button--mini'}):
  17.         button_text = button.find('span').text.strip()
  18.         button_dict[button_text] = button
  19.     buttons[td.parent.index(td)] = button_dict

  21. # 筛选状态只有未上架和未通过的文件名，并使用删除按钮
  22. for i, status in enumerate(statuses):
  23.     if status in ['未上架', '未通过']:
  24.         delete_button = buttons[i]['删除']
  25.         delete_button.click()
  26.         # 弹出确认窗口，点击确认
  27.         driver.switch_to.alert.accept()

  29. # 关闭webdriver
  30. driver.quit()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

sjjy1813
 楼主| 发表于 2023-3-12 17:47:55 | 显示全部楼层
最后和ChatGPT深入交流了一下，完美实现了所有的需求，不得不说，只要把需求给chatgpt说明白了，还真是强大，不但能给代码，还能查错，就是网络不给力，经常断，导致经常输出代码一半了，停止了，大量时间浪费在反复输出结果上
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-24 16:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表