[已解决]python期末大作业，求思路

刘远帆

给出你想要在网站上获得的5个关键词，注意要含有中文词组，如“中国”，“人工智能”等，自己选定几个网站进行爬取，并汇总这些信息，然后按照出现的频率从高到低次序存储到一个CSV文件中。

最佳答案

月排行榜 / 总排行榜

笨鸟学飞

2020-12-20 19:08:21

这里给个思路吧。
1、对选定网站爬取信息，例如新浪、网易等，知道怎么爬。这里可以借助度娘。。。
2、知晓度娘爬取特定站点的方法（其实自行度娘就知道方法了，我这里直接告诉你吧），例如www.abc.com
在度娘的搜索栏，输入site:abc.com+空格+关键词就行了
3、分析度娘的爬取过程，发现很简单的方法：(以度娘搜索site:sina.com 123456789为例)，搜索后地址栏的url变成了如下
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=48020221_14_hao_pg&wd=site%3Asina.com%20123456789&rsv_spt=3&oq=SIT%2526gt%253B%253ASINA.%2526lt%253BOM%2520%25E4%25BA%25BA%25E5%25B7%25A5%25E6%2599%25BA%25E8%2583%25BD&rsv_pq=c0e63f1c0002d223&rsv_t=a817Aa%2F5tU%2F535EnkDMJ77HK0zqINE9wa5iqDu%2FKYYr3PtQMQSCLVSOQwxB9%2BGTFKWDNEQyc0iUX&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=31&rsv_sug1=13&rsv_sug7=100&bs=SITE%3ASINA.COM%20%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD
4、测试链接---成功----注意一点，汉字在url中需要转码，具体方法自行度娘
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=48020221_14_hao_pg&wd=site%3Asina.com%20周杰伦&rsv_spt=3&oq=SIT%2526gt%253B%253ASINA.%2526lt%253BOM%2520%25E4%25BA%25BA%25E5%25B7%25A5%25E6%2599%25BA%25E8%2583%25BD&rsv_pq=c0e63f1c0002d223&rsv_t=a817Aa%2F5tU%2F535EnkDMJ77HK0zqINE9wa5iqDu%2FKYYr3PtQMQSCLVSOQwxB9%2BGTFKWDNEQyc0iUX&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=31&rsv_sug1=13&rsv_sug7=100&bs=SITE%3ASINA.COM%20%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD

到这一步完成爬虫问题不大了吧？再不行就去补下基础吧

跳转到最佳答案楼层

笨鸟学飞

这里给个思路吧。
1、对选定网站爬取信息，例如新浪、网易等，知道怎么爬。这里可以借助度娘。。。
2、知晓度娘爬取特定站点的方法（其实自行度娘就知道方法了，我这里直接告诉你吧），例如www.abc.com
在度娘的搜索栏，输入site:abc.com+空格+关键词就行了
3、分析度娘的爬取过程，发现很简单的方法：(以度娘搜索site:sina.com 123456789为例)，搜索后地址栏的url变成了如下
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=48020221_14_hao_pg&wd=site%3Asina.com%20123456789&rsv_spt=3&oq=SIT%2526gt%253B%253ASINA.%2526lt%253BOM%2520%25E4%25BA%25BA%25E5%25B7%25A5%25E6%2599%25BA%25E8%2583%25BD&rsv_pq=c0e63f1c0002d223&rsv_t=a817Aa%2F5tU%2F535EnkDMJ77HK0zqINE9wa5iqDu%2FKYYr3PtQMQSCLVSOQwxB9%2BGTFKWDNEQyc0iUX&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=31&rsv_sug1=13&rsv_sug7=100&bs=SITE%3ASINA.COM%20%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD
4、测试链接---成功----注意一点，汉字在url中需要转码，具体方法自行度娘
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=48020221_14_hao_pg&wd=site%3Asina.com%20周杰伦&rsv_spt=3&oq=SIT%2526gt%253B%253ASINA.%2526lt%253BOM%2520%25E4%25BA%25BA%25E5%25B7%25A5%25E6%2599%25BA%25E8%2583%25BD&rsv_pq=c0e63f1c0002d223&rsv_t=a817Aa%2F5tU%2F535EnkDMJ77HK0zqINE9wa5iqDu%2FKYYr3PtQMQSCLVSOQwxB9%2BGTFKWDNEQyc0iUX&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=31&rsv_sug1=13&rsv_sug7=100&bs=SITE%3ASINA.COM%20%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD

到这一步完成爬虫问题不大了吧？再不行就去补下基础吧

刘远帆

笨鸟学飞 发表于 2020-12-20 19:08
这里给个思路吧。
1、对选定网站爬取信息，例如新浪、网易等，知道怎么爬。这里可以借助度娘。。。
2、知 ...

谢谢谢谢大佬

刘远帆

1. import requests
   
2. import csv
   
3. SUCCESS_CODE=200#成功访问状态码
   
4. FILE_NAME="test.csv"#保存的文件名
   
5. keyWords=["中国","科技","文化","政策","北京"]#5个关键字
   
6. headers={"User-Agent":"Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"}
   
7. #6个网站
   
8. webs=[
   
9.     "https://www.bnu.edu.cn/index.htm",
   
10.     "http://www.bnuzh.edu.cn/",
    
11.     "http://jwb.bnu.edu.cn/",
    
12.     "https://www.bnu.edu.cn/xysh/index.htm",
    
13.     "https://www.bnu.edu.cn/kxyj/index.htm",
    
14.     "http://www.bnuzh.edu.cn/xqjj/bnsd/index.htm"
    
15. ]
    
16. #保存文本文件，测试用
    
17. def saveFile(fileName,text,encoding="utf-8"):
    
18.     with open(fileName,"w",encoding=encoding) as f:
    
19.         f.write(text)
    
20. class MyWeb:
    
21.     def __init__(self,web):
    
22.         self.website=web
    
23.         self.count={"中国":0,"科技":0,"文化":0,"政策":0,"北京":0}
    
24.         response=requests.get(self.website,headers=headers)
    
25.         if response.status_code!=SUCCESS_CODE:
    
26.             #如果访问出问题
    
27.             raise Exception("Error:failed to get response from"+web)
    
28.         #将HTML字符编码转换为utf-8
    
29.         st=response.text
    
30.         temp=st.encode(response.encoding)
    
31.         st=temp.decode("utf-8")
    
32.         #统计各关键词数量
    
33.         for word in keyWords:
    
34.             x=0
    
35.             while True:
    
36.                 x=st.find(word,x)
    
37.                 if x>0:
    
38.                     self.count[word]+=1
    
39.                     x+=1
    
40.                 else:
    
41.                     break
    
42.     #测试打印其各关键词统计数据
    
43.     def printData(self):
    
44.         print(self.count)
    
45. 
    
46. 
    
47. #快速排序算法，arr为MyWeb类型的数组，key为关键词
    
48. def quickSort(arr,key):
    
49.     if len(arr)<=1:
    
50.         return arr
    
51.     a=arr[0]
    
52.     x1=[]
    
53.     x2=[]
    
54.     for i in range(1,len(arr)):
    
55.         if arr[i].count[key]>=a.count[key]:
    
56.             x1.append(arr[i])
    
57.         else:
    
58.             x2.append(arr[i])
    
59.     x1=quickSort(x1,key)
    
60.     x1.append(a)
    
61.     x2=quickSort(x2,key)
    
62.     x1.extend(x2)
    
63.     return x1
    
64. #主程序
    
65. if __name__=="__main__":
    
66.     allWeb=[]
    
67.     #汇总所有网站爬取的数据
    
68.     for web in webs:
    
69.         allWeb.append(MyWeb(web))
    
70.     #写入到文件中去
    
71.     with open(FILE_NAME,"wt") as f:
    
72.         writer=csv.writer(f)
    
73.         writer.writerow(['关键词/频率排位','1','2','3','4','5','6'])
    
74.         for word in keyWords:
    
75.             tmpWebs=quickSort(allWeb,word)
    
76.             row=[word]
    
77.             for w in tmpWebs:
    
78.                 row.append(w.website+':'+str(w.count[word]))
    
79.             writer.writerow(row)
    

复制代码

刘远帆

笨鸟学飞 发表于 2020-12-20 19:08
这里给个思路吧。
1、对选定网站爬取信息，例如新浪、网易等，知道怎么爬。这里可以借助度娘。。。
2、知 ...

大佬我的代码发在下面，你觉得还有什么可以改进的地方吗