[已解决]一个自动爬取帖子的爬虫，总是出错

shadowmage

如题。学了一点点皮毛，编了一个爬虫，想实现输入网址，输入关键词，自动翻找帖子，自动复制帖子到一个txt文档中去。结果总是提示没有相关方法。代码附上，还请大神们斧正

1. from selenium import webdriver
   
2. from selenium.webdriver.common.keys import Keys
   
3. from bs4 import BeautifulSoup
   
4. import time
   
5. 
   
6. # 创建 WebDriver 对象，指明使用chrome浏览器驱动
   
7. driver = webdriver.Chrome()
   
8. 
   
9. # 打开要访问的网页
   
10. url = input("请输入要访问的网址：")
    
11. driver.get(url)
    
12. 
    
13. # 找到搜索输入框，并输入关键词
    
14. keyword = input("请输入要搜索的关键词：")
    
15. search_box = driver.find_element_by_xpath('//input[@name="keyword"]')
    
16. search_box.send_keys(keyword)
    
17. search_box.send_keys(Keys.RETURN)
    
18. 
    
19. # 创建一个空列表，用于保存搜索结果的标题和内容
    
20. results = []
    
21. 
    
22. # 循环遍历搜索结果页面，查找关键词
    
23. while True:
    
24.     # 找到所有的搜索结果元素
    
25.     posts = driver.find_elements_by_xpath('//div[@class="search-list"]/ul/li')
    
26.     # 遍历搜索结果元素，查找包含关键词的搜索结果
    
27.     for post in posts:
    
28.         # 解析搜索结果元素的 HTML 内容
    
29.         soup = BeautifulSoup(post.get_attribute('innerHTML'), 'html.parser')
    
30.         # 找到搜索结果元素的标题和内容
    
31.         title = soup.find('a', class_='title').text.strip()
    
32.         content = soup.find('p', class_='content').text.strip()
    
33.         # 如果标题或内容中包含关键词，则将标题和内容添加到结果列表中
    
34.         if keyword in title or keyword in content:
    
35.             results.append((title, content))
    
36.             # 找到帖子第一个发布者写的内容
    
37.             author_content = soup.find('div', class_='post-item').find('div', class_='post-content').text.strip()
    
38.             # 将帖子标题和第一个发布者写的内容添加到结果列表中
    
39.             results.append((title, author_content))
    
40.     try:
    
41.         # 找到“下一页”链接元素
    
42.         next_link = driver.find_element_by_partial_link_text('下一页')
    
43.         # 点击“下一页”链接
    
44.         next_link.click()
    
45.         time.sleep(2)
    
46.     except:
    
47.         # 如果没有“下一页”链接，则退出循环
    
48.         break
    
49. 
    
50. # 将结果保存到文件中
    
51. with open('results.txt', 'w', encoding='utf-8') as f:
    
52.     for i, (title, content) in enumerate(results):
    
53.         f.write(f'[{i+1}] {title}\n{content}\n\n')
    
54. 
    
55. # 关闭浏览器
    
56. driver.quit()
    

复制代码

我输入鱼C的网址：https://fishc.com.cn/forum-173-1.html
输入关键词：爬虫

结果返回的错误信息如下：

Traceback (most recent call last):
  File "D:\Python学习\Cursor\爬虫\指定网址指定关键词\mian.py", line 15, in <module>
    search_box = driver.find_element_by_xpath('//input[@name="keyword"]')
AttributeError: 'WebDriver' object has no attribute 'find_element_by_xpath'

最佳答案

月排行榜 / 总排行榜

歌者文明清理员

2023-5-14 23:31:27

新版selenium发生了一些变化。

1. from selenium.webdriver.common.by import By
   
2. driver.find_element(By.XPATH, '//input[@name="keyword"]')

复制代码

并且fishc的网页结构也变了，需要重新f12看看，现在是

1. <input type="text" name="srchtxt" id="scbar_txt" value="请输入搜索内容" autocomplete="off" x-webkit-speech="" speech="" class=" xg1" placeholder="请输入搜索内容">

复制代码

完整代码：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.keys import Keys
   
3. from selenium.webdriver.common.by import By
   
4. from bs4 import BeautifulSoup
   
5. import time
   
6. 
   
7. # 创建 WebDriver 对象，指明使用chrome浏览器驱动
   
8. driver = webdriver.Chrome()
   
9. 
   
10. # 打开要访问的网页
    
11. url = input("请输入要访问的网址：")
    
12. driver.get(url)
    
13. 
    
14. # 找到搜索输入框，并输入关键词
    
15. keyword = input("请输入要搜索的关键词：")
    
16. search_box = driver.find_element(By.XPATH, '//input[@id="scbar_txt"]')
    
17. search_box.send_keys(keyword)
    
18. search_box.send_keys(Keys.RETURN)
    
19. 
    
20. # 创建一个空列表，用于保存搜索结果的标题和内容
    
21. results = []
    
22. 
    
23. # 循环遍历搜索结果页面，查找关键词
    
24. while True:
    
25.     # 找到所有的搜索结果元素
    
26.     posts = driver.find_elements(By.XPATH, '//div[@class="search-list"]/ul/li')
    
27.     # 遍历搜索结果元素，查找包含关键词的搜索结果
    
28.     for post in posts:
    
29.         # 解析搜索结果元素的 HTML 内容
    
30.         soup = BeautifulSoup(post.get_attribute('innerHTML'), 'html.parser')
    
31.         # 找到搜索结果元素的标题和内容
    
32.         title = soup.find('a', class_='title').text.strip()
    
33.         content = soup.find('p', class_='content').text.strip()
    
34.         # 如果标题或内容中包含关键词，则将标题和内容添加到结果列表中
    
35.         if keyword in title or keyword in content:
    
36.             results.append((title, content))
    
37.             # 找到帖子第一个发布者写的内容
    
38.             author_content = soup.find('div', class_='post-item').find('div', class_='post-content').text.strip()
    
39.             # 将帖子标题和第一个发布者写的内容添加到结果列表中
    
40.             results.append((title, author_content))
    
41.     try:
    
42.         # 找到“下一页”链接元素
    
43.         next_link = driver.find_element_by(By.PARTIAL_LINK_TEXT, '下一页')
    
44.         # 点击“下一页”链接
    
45.         next_link.click()
    
46.         time.sleep(2)
    
47.     except:
    
48.         # 如果没有“下一页”链接，则退出循环
    
49.         break
    
50. 
    
51. # 将结果保存到文件中
    
52. with open('results.txt', 'w', encoding='utf-8') as f:
    
53.     for i, (title, content) in enumerate(results):
    
54.         f.write(f'[{i+1}] {title}\n{content}\n\n')
    
55. 
    
56. # 关闭浏览器
    
57. driver.quit()
    

复制代码

跳转到最佳答案楼层

isdkz

问题出在第15行，因为WebDriver对象没有find_element_by_xpath方法。解决方法是将该行代码改为：

search_box = driver.find_element_by_name('srchtxt')

同时，需要将第29行的xpath表达式改为：

'//div[@class="showContent"]/div[@class="showContentMain"]/div[@class="showContentWrap"]/div[@class="showContentLeft"]/div[@class="showContentLeftContent"]/div[@class="showContentLeftContentInner"]'

这是因为鱼C论坛的网页结构发生了变化。

歌者文明清理员

新版selenium发生了一些变化。

1. from selenium.webdriver.common.by import By
   
2. driver.find_element(By.XPATH, '//input[@name="keyword"]')

复制代码

并且fishc的网页结构也变了，需要重新f12看看，现在是

1. <input type="text" name="srchtxt" id="scbar_txt" value="请输入搜索内容" autocomplete="off" x-webkit-speech="" speech="" class=" xg1" placeholder="请输入搜索内容">

复制代码

完整代码：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.keys import Keys
   
3. from selenium.webdriver.common.by import By
   
4. from bs4 import BeautifulSoup
   
5. import time
   
6. 
   
7. # 创建 WebDriver 对象，指明使用chrome浏览器驱动
   
8. driver = webdriver.Chrome()
   
9. 
   
10. # 打开要访问的网页
    
11. url = input("请输入要访问的网址：")
    
12. driver.get(url)
    
13. 
    
14. # 找到搜索输入框，并输入关键词
    
15. keyword = input("请输入要搜索的关键词：")
    
16. search_box = driver.find_element(By.XPATH, '//input[@id="scbar_txt"]')
    
17. search_box.send_keys(keyword)
    
18. search_box.send_keys(Keys.RETURN)
    
19. 
    
20. # 创建一个空列表，用于保存搜索结果的标题和内容
    
21. results = []
    
22. 
    
23. # 循环遍历搜索结果页面，查找关键词
    
24. while True:
    
25.     # 找到所有的搜索结果元素
    
26.     posts = driver.find_elements(By.XPATH, '//div[@class="search-list"]/ul/li')
    
27.     # 遍历搜索结果元素，查找包含关键词的搜索结果
    
28.     for post in posts:
    
29.         # 解析搜索结果元素的 HTML 内容
    
30.         soup = BeautifulSoup(post.get_attribute('innerHTML'), 'html.parser')
    
31.         # 找到搜索结果元素的标题和内容
    
32.         title = soup.find('a', class_='title').text.strip()
    
33.         content = soup.find('p', class_='content').text.strip()
    
34.         # 如果标题或内容中包含关键词，则将标题和内容添加到结果列表中
    
35.         if keyword in title or keyword in content:
    
36.             results.append((title, content))
    
37.             # 找到帖子第一个发布者写的内容
    
38.             author_content = soup.find('div', class_='post-item').find('div', class_='post-content').text.strip()
    
39.             # 将帖子标题和第一个发布者写的内容添加到结果列表中
    
40.             results.append((title, author_content))
    
41.     try:
    
42.         # 找到“下一页”链接元素
    
43.         next_link = driver.find_element_by(By.PARTIAL_LINK_TEXT, '下一页')
    
44.         # 点击“下一页”链接
    
45.         next_link.click()
    
46.         time.sleep(2)
    
47.     except:
    
48.         # 如果没有“下一页”链接，则退出循环
    
49.         break
    
50. 
    
51. # 将结果保存到文件中
    
52. with open('results.txt', 'w', encoding='utf-8') as f:
    
53.     for i, (title, content) in enumerate(results):
    
54.         f.write(f'[{i+1}] {title}\n{content}\n\n')
    
55. 
    
56. # 关闭浏览器
    
57. driver.quit()
    

复制代码

歌者文明清理员

isdkz 发表于 2023-5-14 23:29
问题出在第15行，因为WebDriver对象没有find_element_by_xpath方法。解决方法是将该行代码改为：

search_b ...

gpt就是这个问题，不管我怎么设置（联网模式开不开），因为旧代码太多，每次都得手动改
幸好我没用脚本

liuhongrun2022

同楼上，用By。