新手问题指教

fengma

Python 写一段代码，是获取标题和对应的url。具体如下：

1.     # 读取课程
   
2.     lis = driver.find_elements(By.CSS_SELECTOR, '.full>li')
   
3.     #遍历数组
   
4.     for li in lis:   
   
5.         #获得id
   
6.         original_string = li.get_attribute('id')
   
7.         #去除前12位和后1位的字符
   
8.         formatted_string = original_string[12:-2]
   
9.         #构建url
   
10.         url = f'hp:com/#/train-new/class-detail/{formatted_string}'
    
11.         
    
12.         # 这里哪种方式获取？程序代码如何写呢？
    
13. 
    

复制代码

第一种，是在当前页面获取。但是他当前第一项是<span class="li-active">培训班1</span>，后面的项是<span>培训班2</span>。

1. 
   
2. <ul class="full">
   
3. <li id="D197listImg-572b4b91-200e-4690-8d3a-3913ea200dfc/0" data-url="" class="li-active">
   
4.             <div class="tags">专题班</div>
   
5.         <div class="context text-overflow active-status li-active">
   
6.             <span class="active">正在进行</span>
   
7.             <span class="li-active">培训班1</span>
   
8.         </div>
   
9.     </li>
   
10. 
    
11.     <li id="D197listImg-d4fe3660-95f1-4a10-81c5-0ce5e4655d69/1" data-url="" class="">
    
12.             <div class="tags">专题班</div>
    
13.         <div class="context text-overflow  active-status ">
    
14.             <span class=" active ">正在进行</span>
    
15.             <span>培训班2</span>
    
16.         </div>
    
17.     </li>
    
18. 
    
19.     <li id="D197listImg-c1fc2792-50c0-4850-a872-5dbaab28064e/2" data-url="" class="">
    
20.             <div class="tags">专题班</div>
    
21.         <div class="context text-overflow  active-status ">
    
22.             <span class=" active ">正在进行</span>
    
23.             <span>培训班3</span>
    
24.         </div>
    
25.     </li>
    
26. 
    
27.     <li id="D197listImg-5b43f47f-a68c-4e9f-ae51-3ba9577f648b/3" data-url="" class="">
    
28.             <div class="tags">专题班</div>
    
29.         <div class="context text-overflow  active-status ">
    
30.             <span class=" active ">正在进行</span>
    
31.             <span>培训班4</span>
    
32.         </div>
    
33.     </li>
    
34. </ul>
    

复制代码

第二种是构建的url获得题目（response = requests.get(url).text？）：

1. <div class="inline-block class-name h3 text-overflow strong" title="培训班">化工过程安全管理网上专题培训班</div>

复制代码

这里哪种方式获取？程序代码如何写呢？

FishC

嘿，鱼油，看起来你陷入了个“标题和URL大冒险”！这是我们Python中的经典情节。好吧，别担心，我来帮你。

### 第一种方式：在当前页面获取

假设你的每个 `li` 里面都有你要的标题元素，比如一个 `h3` 或者 `span` 标签，我们可以像这样写：

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. 
   
4. driver = webdriver.Chrome()
   
5. driver.get("http://your-website-url.com")
   
6. 
   
7. # 读取课程
   
8. lis = driver.find_elements(By.CSS_SELECTOR, '.full>li')
   
9. 
   
10. # 遍历数组
    
11. for li in lis:
    
12.     # 获得id
    
13.     original_string = li.get_attribute('id')
    
14.     if not original_string:
    
15.         continue
    
16.    
    
17.     # 去除前12位和后1位的字符（这个理解有点模糊，需要根据具体情况处理）
    
18.     formatted_string = original_string[12:-1]
    
19.    
    
20.     # 构建URL
    
21.     url = f'http://your-website-url.com/#/train-new/class-detail/{formatted_string}'
    
22.    
    
23.     # 获取标题（假设标题在一个h3标签内）
    
24.     title_element = li.find_element(By.TAG_NAME, 'h3')
    
25.     title = title_element.text
    
26.    
    
27.     print(f"Title: {title}, URL: {url}")
    
28.    
    
29. driver.quit()

复制代码

不过你提到“培训班1、2、3...”这些标题可能不在 `li` 里面而在页面其他部分，找到合适的标签以及层级还是关键。

### 第二种方式：通过构建的URL获得标题

在这种情况下，我们需要发请求拿到网页然后解析内容。这儿我们可以用 `requests` 和 `BeautifulSoup` 搭配一下，这就跟吃火锅要蘸酱一样完美！

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. base_url = "http://your-website-url.com/#/train-new/class-detail/"
   
5. 
   
6. # 读取课程ID列表
   
7. ids = ["1234567890123", "2234567890123", "3234567890123"]  # 假设你有这些ID
   
8. 
   
9. for id_ in ids:
   
10.     # 构建URL
    
11.     url = f'{base_url}{id_}'
    
12.     response = requests.get(url)
    
13.    
    
14.     if response.status_code == 200:
    
15.         soup = BeautifulSoup(response.text, 'html.parser')
    
16.         
    
17.         # 假设标题在一个h1标签内
    
18.         title_element = soup.find('h1')
    
19.         title = title_element.text if title_element else "No title found"
    
20.         
    
21.         print(f"Title: {title}, URL: {url}")
    
22.     else:
    
23.         print(f"Failed to retrieve page for ID: {id_}")

复制代码

这两种方式要看你的实际需求和页面结构而定。**如果页面已经加载了所需信息，直接用第一种方式效率更高；如果信息分散在多个页面上，用第二种方式更加灵活。**

希望这段“代码冒险”对你有所帮助，你可以根据情况调整来达成目的啦！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

fengma

FishC 发表于 2024-7-14 09:51
嘿，鱼油，看起来你陷入了个“标题和URL大冒险”！这是我们Python中的经典情节。好吧，别担心，我来帮你。
...

第一种方式，都是在li标签里。
但是，第一个：

1. <span class="li-active">培训班1</span>

复制代码

第二、三、四个是：

1. <span>培训班2</span>

复制代码

FishC

fengma 发表于 2024-07-14 10:26
第一种方式，都是在li标签里。
但是，第一个：
培训 ...

明白了，如果所有的标题都在 `li` 标签内部，但是第一个标题是在 `li` 之外，那么我们可以稍作调整来处理这种情况。假设第一个标题是在 `li` 之外，而其余标题在 `li` 内，我们可以分别处理这两种情况。

### 方案一：处理所有标题都在 `li` 内的情况

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. 
   
4. driver = webdriver.Chrome()
   
5. driver.get("http://your-website-url.com")
   
6. 
   
7. # 读取课程
   
8. lis = driver.find_elements(By.CSS_SELECTOR, '.full>li')
   
9. 
   
10. # 遍历数组
    
11. for li in lis:
    
12.     # 获得id
    
13.     original_string = li.get_attribute('id')
    
14.     if not original_string:
    
15.         continue
    
16.    
    
17.     # 去除前12位和后1位的字符（这个理解有点模糊，需要根据具体情况处理）
    
18.     formatted_string = original_string
    
19.    
    
20.     # 构建URL
    
21.     url = f'http://your-website-url.com/#/train-new/class-detail/{formatted_string}'
    
22.    
    
23.     # 获取标题（假设标题在一个h3标签内）
    
24.     title_element = li.find_element(By.TAG_NAME, 'h3')
    
25.     title = title_element.text
    
26.    
    
27.     print(f"Title: {title}, URL: {url}")
    
28.    
    
29. driver.quit()

复制代码

### 方案二：处理第一个标题在 `li` 外，其余标题在 `li` 内的情况

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. 
   
4. driver = webdriver.Chrome()
   
5. driver.get("http://your-website-url.com")
   
6. 
   
7. # 找到第一个标题
   
8. first_title_element = driver.find_element(By.XPATH, '//h3[contains(text(), "培训班1")]')
   
9. first_title = first_title_element.text.strip()  # 假设标题在h3标签内
   
10. 
    
11. print(f"Title: {first_title}, URL: http://your-website-url.com/#/train-new/class-detail/first_id")
    
12. 
    
13. # 读取课程
    
14. lis = driver.find_elements(By.CSS_SELECTOR, '.full>li')
    
15. 
    
16. # 遍历数组（从第二个开始）
    
17. for li in lis[1:]:
    
18.     # 获得id
    
19.     original_string = li.get_attribute('id')
    
20.     if not original_string:
    
21.         continue
    
22.    
    
23.     # 去除前12位和后1位的字符（这个理解有点模糊，需要根据具体情况处理）
    
24.     formatted_string = original_string
    
25.    
    
26.     # 构建URL
    
27.     url = f'http://your-website-url.com/#/train-new/class-detail/{formatted_string}'
    
28.    
    
29.     # 获取标题（假设标题在一个h3标签内）
    
30.     title_element = li.find_element(By.TAG_NAME, 'h3')
    
31.     title = title_element.text
    
32.    
    
33.     print(f"Title: {title}, URL: {url}")
    
34.    
    
35. driver.quit()

复制代码

在方案二中，我们先单独处理第一个标题，然后再处理剩余的 `li` 标签内的标题。这样就能灵活应对不同的页面结构了。记得根据实际情况调整代码中的具体元素和选择器。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

fengma

FishC 发表于 2024-7-14 10:26
明白了，如果所有的标题都在 `li` 标签内部，但是第一个标题是在 `li` 之外，那么我们可以稍作调整来处 ...

第二种方法是出错：
requests.exceptions.SSLError

FishC

fengma 发表于 2024-07-14 11:32
第二种方法是出错：
requests.exceptions.SSLError

嗨，鱼油，看起来你遇到了一个典型的网络钓鱼陷阱——SSL错误！别担心，这个问题相对容易解决。`requests.exceptions.SSLError` 通常是因为请求的URL使用了HTTPS，而你的Python环境对SSL证书认证有点挑剔。

### 方法一：忽略SSL证书验证

虽然这不是最安全的方式，但在某些情况下，尤其是测试或自家服务器时，可以忽略SSL证书验证：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. base_url = "https://your-website-url.com/#/train-new/class-detail/"
   
5. 
   
6. # 读取课程ID列表
   
7. ids = ["id1", "id2", "id3"]  # 假设你有这些ID
   
8. 
   
9. for id_ in ids:
   
10.     # 构建URL
    
11.     url = f'{base_url}{id_}'
    
12.     response = requests.get(url, verify=False)
    
13.    
    
14.     if response.status_code == 200:
    
15.         soup = BeautifulSoup(response.text, 'html.parser')
    
16.         
    
17.         # 假设标题在一个h1标签内
    
18.         title_element = soup.find('h1')
    
19.         title = title_element.text if title_element else "No title found"
    
20.         
    
21.         print(f"Title: {title}, URL: {url}")
    
22.     else:
    
23.         print(f"Failed to retrieve page for ID: {id_}")

复制代码

注意：`verify=False` 会忽略SSL证书验证，但它会让连接变得不那么安全，所以请谨慎使用。

### 方法二：使用Session对象并指定SSL证书

在更高级的场景中，你可能需要自己指定SSL证书的路径。如果你有合法的证书，可以这么做：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. base_url = "https://your-website-url.com/#/train-new/class-detail/"
   
5. 
   
6. # 读取课程ID列表
   
7. ids = ["id1", "id2", "id3"]  # 假设你有这些ID
   
8. 
   
9. session = requests.Session()
   
10. session.verify = '/path/to/your/certificate.pem'  # 替换为你的证书路径
    
11. 
    
12. for id_ in ids:
    
13.     # 构建URL
    
14.     url = f'{base_url}{id_}'
    
15.     response = session.get(url)
    
16.    
    
17.     if response.status_code == 200:
    
18.         soup = BeautifulSoup(response.text, 'html.parser')
    
19.         
    
20.         # 假设标题在一个h1标签内
    
21.         title_element = soup.find('h1')
    
22.         title = title_element.text if title_element else "No title found"
    
23.         
    
24.         print(f"Title: {title}, URL: {url}")
    
25.     else:
    
26.         print(f"Failed to retrieve page for ID: {id_}")

复制代码

### 方法三：更新requests库

有时候SSL错误是因为`requests`库版本过旧导致的，你可以尝试更新它：

1. pip install --upgrade requests

复制代码

另外，如果上面的方法还是不能解决问题，你还可以尝试安装一些额外的依赖包，比如 `certifi`:

1. pip install certifi

复制代码

希望这几个方法能帮你解决问题，让你继续你的“标题和URL冒险”！记得，忽略SSL验证只是临时方案，尽量找出根本原因并解决它。加油！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

fengma

现在第一种和第二种都不考虑。

1. <div class="inline-block class-name h3 text-overflow strong" title="培训班">化工过程安全管理网上专题培训班</div>

复制代码

在response中，如何获得文字“化工过程安全管理网上专题培训班”呢？

FishC

fengma 发表于 2024-07-14 21:04
现在第一种和第二种都不考虑。
化工过程安全管理网上 ...

明白了，鱼油。你现在的目标是通过 `requests` 获取页面并解析出标题“化工过程安全管理网上专题培训班”。好吧，我们来开启这一段“化工过程安全管理网上专题培训班”的探索之旅！

### 使用 `requests` 和 `BeautifulSoup` 获取页面并解析标题

我们假设页面中的标题是用某种标签（例如 `h1`, `h2`, `div` 等）包裹的。下面是在 `BeautifulSoup` 中查找这个特定标题的通用方法：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 构建URL（请根据实际情况调整）
   
5. url = 'https://your-website-url.com/#/train-new/class-detail/some_id'
   
6. 
   
7. # 发起请求
   
8. response = requests.get(url)
   
9. 
   
10. # 检查响应状态码
    
11. if response.status_code == 200:
    
12.     # 解析HTML内容
    
13.     soup = BeautifulSoup(response.text, 'html.parser')
    
14.    
    
15.     # 假设标题在一个h1标签内
    
16.     title_element = soup.find('h1')  # 如果不是h1, 换成实际的标签，比如div, span等等
    
17.    
    
18.     if title_element:
    
19.         title = title_element.text.strip()  # 获取文本并去除首尾空格
    
20.         print(f"Title: {title}")
    
21.     else:
    
22.         print("No title found in h1 tag!")
    
23. else:
    
24.     print(f"Failed to retrieve page. Status code: {response.status_code}")

复制代码

### 更具体化的例子

如果页面结构比较复杂，或者标题在嵌套标签中，我们需要使用更具体的选择器。例如：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 构建URL
   
5. url = 'https://your-website-url.com/#/train-new/class-detail/some_id'
   
6. 
   
7. # 发起请求
   
8. response = requests.get(url)
   
9. 
   
10. # 检查响应状态码
    
11. if response.status_code == 200:
    
12.     # 解析HTML内容
    
13.     soup = BeautifulSoup(response.text, 'html.parser')
    
14.    
    
15.     # 假设标题在一个特定的div内，带有特殊的CSS类
    
16.     title_element = soup.find('div', class_='special-title-class')
    
17.    
    
18.     if title_element:
    
19.         title = title_element.text.strip()  # 获取文本并去除首尾空格
    
20.         print(f"Title: {title}")
    
21.     else:
    
22.         print("No title found with the given CSS class!")
    
23. else:
    
24.     print(f"Failed to retrieve page. Status code: {response.status_code}")

复制代码

### 万能大法：打印整个页面确认位置

如果你不确定标题在哪个标签里，可以先打印整个页面的HTML，看一看：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 构建URL
   
5. url = 'https://your-website-url.com/#/train-new/class-detail/some_id'
   
6. 
   
7. # 发起请求
   
8. response = requests.get(url)
   
9. 
   
10. # 检查响应状态码
    
11. if response.status_code == 200:
    
12.     # 打印整个页面HTML
    
13.     print(response.text)
    
14. else:
    
15.     print(f"Failed to retrieve page. Status code: {response.status_code}")

复制代码

通过打印页面HTML，你可以很清楚地看到标题在哪个标签里，然后针对性地选择合适的标签和类名。

希望这些方法能帮你成功找到你要的“化工过程安全管理网上专题培训班”标题！加油吧！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

fengma

1. 
   
2.      <li id="D197listImg-572b4b91-200e-4690-8d3a-3913ea200dfc/0" data-url="" class="li-active">
   
3.             <div class="tags">专题班</div>
   
4.         <div class="context text-overflow active-status li-active">
   
5.             <span class="active">正在进行</span>
   
6.             <span class="li-active">培训班1</span>
   
7.         </div>
   
8.     </li>
   
9. 
   
10.     <li id="D197listImg-d4fe3660-95f1-4a10-81c5-0ce5e4655d69/1" data-url="" class="">
    
11.             <div class="tags">专题班</div>
    
12.         <div class="context text-overflow  active-status ">
    
13.             <span class=" active ">正在进行</span>
    
14.             <span>培训班2</span>
    
15.         </div>
    
16.     </li>

复制代码

第一段li标签抓取 <span class="li-active"> 来获得文字信息：培训班1
第二段li标签抓取<span> 来获取文字信息：培训班2

该如何写代码？

FishC

fengma 发表于 2024-07-15 10:11
专题班
        
            正在进行
           ...

好的，鱼油！让我们进入代码世界来完成这个任务。假设你要解析的网页结构看起来像这样：

1. <ul class="full">
   
2.   <li>
   
3.     <div>专题班</div>
   
4.     <div>正在进行</div>
   
5.     <div>培训班1</div>
   
6.   </li>
   
7.   <li>
   
8.     <div>专题班</div>
   
9.     <div>正在进行</div>
   
10.     <div>培训班2</div>
    
11.   </li>
    
12. </ul>

复制代码

### 使用 `requests` 和 `beautifulsoup4` 库

首先，你需要安装 `beautifulsoup4` 和 `requests` 库：

1. pip install beautifulsoup4 requests

复制代码

接下来，我们使用这些库来获取并解析网页中的数据：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 假设你的 URL 是如下
   
5. url = 'http://example.com'
   
6. 
   
7. # 发出 GET 请求获取网页内容
   
8. response = requests.get(url)
   
9. response.raise_for_status()  # 如果请求失败会抛出 HTTPError
   
10. 
    
11. # 解析网页内容
    
12. soup = BeautifulSoup(response.text, 'html.parser')
    
13. 
    
14. # 根据CSS选择器找到所有符合条件的<li>标签
    
15. lis = soup.select('.full > li')
    
16. 
    
17. # 遍历每个<li>标签并提取里面第三个<div>标签的文本
    
18. for li in lis:
    
19.     divs = li.find_all('div')
    
20.     if len(divs) > 2:
    
21.         title = divs[2].get_text().strip()  # 获取文本并去掉前后空白字符
    
22.         print(title)

复制代码

在这段代码里，我们做了以下几件事：

1. 使用 `requests` 获取网页内容。
2. 使用 `BeautifulSoup` 解析网页内容。
3. 使用 `select` 方法找到所有 `.full > li` 元素。
4. 遍历每一个 `li` 元素，提取第三个 `div` 标签的文本内容（假设标题在第三个 `div` 标签中）。

只要 `HTML` 结构你提供的示例一致，这段代码应该可以正确提取到“培训班1”、“培训班2”等信息。

如果HTML结构有所变化，请告诉我细节，我会相应调整代码。希望这些代码能让你在化工过程中游刃有余！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。