[已解决]爬虫问题求助

isdkz

第一个问题：

你可以继续对 tip 标签的内容使用 BeautifulSoup 解析

第二个问题：

想打印的更整齐一点可以使用 prettytable 这个库，使用之前先执行以下命令安装。

1. pip install prettytable -i https://mirrors.aliyun.com/pypi/simple

复制代码

对你的代码修改如下：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from prettytable import PrettyTable
   
4. 
   
5. def gethttpText(url) :   #获取网页数据
   
6.     try :
   
7.         r = requests.get(url ,timeout = 30)
   
8.         r.raise_for_status()
   
9.         r.encoding = r.apparent_encoding
   
10.         return r.text
    
11.     except :
    
12.         print("Funation getHttpText 代码出错！")
    
13. 
    
14. def parserPage(itl,html):   #解析网页数据
    
15.     try :
    
16.         soup = BeautifulSoup(html,"html.parser")
    
17.         find_shuju = soup.find('div', attrs={'class': "subjectbox"})  #查找标签div 内容为class="tit_replay"  这是 最新的回复
    
18.         find_a = find_shuju.find_all('a')      #进一步查找到 标签  a 内容
    
19.         for each in find_a :                   #迭代标签 a  的取内容
    
20.             tip_soup = BeautifulSoup(each['tip'],"html.parser")
    
21.             ls_name = tip_soup.find('strong').text
    
22.             zz_name = tip_soup.find('br').next_element.split(':')[1].split('(')[0]
    
23.             itl.append([ls_name,zz_name,each.get("href")])   #放进itl 参数列表中
    
24.     except:
    
25.         print("Funation parserPage 程序出错！")
    
26. 
    
27. 
    
28. def main():
    
29.     try:
    
30.         url = 'http://bbs.lwhfishing.com/forum.php'
    
31.         html = gethttpText(url)
    
32.         itl = []
    
33.         parserPage(itl,html)
    
34.         table = PrettyTable(field_names=("序号","题目","作者","链接"))
    
35.         for i,j in enumerate(itl):
    
36.             table.add_row([i] + j)
    
37.         print(table)
    
38.     except :
    
39.         print("Funation main 程序出错！")
    
40. 
    
41. if __name__ =="__main__" :
    
42.     main()

复制代码