爬取百度文库

Daniel_Zhang

下午心血来潮做了一个爬取百度文库的爬虫

此处鸣谢站内大佬 v.ki 的百度文库免费复制3.0 震撼来袭！！！

仅借鉴获取 json 文件地址的部分，并未针对整个程序进行测试

没有上面这篇文章的帮助，想要写出来这只爬虫真的不太容易

说实话，百度的反爬太强大了

注：本帖仅用于学习交流使用，如有违规使用，后果自负，本人概不负责

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import json
   
4. import requests
   
5. import ssl
   
6. import re
   
7. import easygui as g
   
8. import os
   
9. import tkinter
   
10. from tkinter import filedialog
    
11. 
    
12. 
    
13. headers = {
    
14.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    
15.     'Accept': 'text/html'
    
16. }
    
17. 
    
18. 
    
19. def hellocallback():
    
20.     """获取用户输入的 url"""
    
21.     global url
    
22.     url = E1.get()
    
23.     get_api(url)
    
24. 
    
25. 
    
26. def open_folder():
    
27.     """选择文件存储的目标文件夹"""
    
28.     root = tkinter.Tk()
    
29.     root.withdraw()
    
30. 
    
31.     file_path = filedialog.askdirectory(initialdir=os.getcwd())
    
32. 
    
33.     return file_path
    
34. 
    
35. 
    
36. def open_url(url):
    
37.     """打开 url 获取内容"""
    
38.     # encoding: utf-8
    
39.     ssl._create_default_https_context = ssl._create_unverified_context
    
40.     html = requests.get(url, headers=headers).text  # 获取url内容
    
41.     return html
    
42. 
    
43. 
    
44. def save_article(final_result):
    
45.     """存储文章至 txt 文件"""
    
46.     folder_dir = open_folder()
    
47.     #folder_dir = ''
    
48.     file_store_path = ''
    
49.     while True:
    
50.         filename = g.enterbox("输入想要命名的 txt 文件名", title="新建 txt 文件")
    
51.         if '.txt' not in filename:
    
52.             filename += '.txt'
    
53.         file_store_path = ''
    
54.         file_store_path += (folder_dir+'/' + filename)
    
55.         try:
    
56.             with open(file_store_path) as f:
    
57.                 g.msgbox('目标文件已存在')
    
58.         except FileNotFoundError:
    
59.             break
    
60.     with open(file_store_path, 'w') as f:
    
61.         f.write(final_result)
    
62.         g.msgbox('文件保存成功!')
    
63. 
    
64. 
    
65. def get_article_result(url):
    
66.     """获得文库文章内容"""
    
67.     content_list = []
    
68.     contents_result = []
    
69.     res = ''
    
70.     ssl._create_default_https_context = ssl._create_unverified_context
    
71.     r = requests.get(url, headers=headers).text
    
72.     try:
    
73.         res = json.loads(r)
    
74.         res_length = len(res)
    
75.         for each in range(res_length):
    
76.             content_list.append(each)
    
77.         # print((res[1]['parags'][0]))
    
78.     except json.JSONDecodeError:
    
79.         print("error!")
    
80.     # print(content_list)
    
81. 
    
82.     try:
    
83.         for each in range(len(content_list)):
    
84.             contents_result.append(
    
85.                 res[each]['parags'][0]["c"].replace('\n\n\f', '').replace('\r\n', ''))  # 去除干扰项并将文章结果插入到列表里
    
86.     except KeyError:
    
87.         pass
    
88. 
    
89.     # print(contents_result)
    
90.     final_result = ''.join(contents_result)  # 合并列表内容并转换为 str 类型
    
91.     save_article(final_result)  # 存储内容至指定的位置
    
92. 
    
93. 
    
94. def get_api_page(api_url, api):
    
95.     """获取到包含文件内容的 json 文件"""
    
96.     api_page = open_url(api_url)
    
97.     get_md5 = r'"md5sum":"([^"]+)'
    
98.     md5 = re.findall(get_md5, api_page)[0]  # 获取 md5 值
    
99. 
    
100.     get_total_page_num = r'"totalPageNum":"([^"]+)'
     
101.     total_page_number = re.findall(get_total_page_num, api_page)[0]  # 获取 总页数
     
102. 
     
103.     get_rsign = r'"rsign":"([^"]+)'
     
104.     rsign = re.findall(get_rsign, api_page)[0]  # 获取 rsign 值
     
105. 
     
106.     content_url = 'https://wkretype.bdimg.com/retype/text/' + \
     
107.         api+'?rn='+total_page_number+md5+'&type=txt'+'&rsign='+rsign    # 获取 含有所需文章的 url
     
108.     get_article_result(content_url)
     
109. 
     
110. 
     
111. def get_api(url):
     
112.     """获取api"""
     
113.     get_api = r'([^/]+).html'
     
114.     api = re.findall(
     
115.         get_api, url)[0]
     
116.     api_url = 'https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id=' + \
     
117.         api
     
118. 
     
119.     get_api_page(api_url, api)
     
120. 
     
121. 
     
122. if __name__ == '__main__':
     
123.     url = ''
     
124.     top = tkinter.Tk()
     
125.     top.geometry('1000x300')
     
126. 
     
127.     w = tkinter.Label(top, text="文档链接: ")
     
128.     w.place(x=40, y=50)
     
129. 
     
130.     E1 = tkinter.Entry(top, bd=3, width=80)
     
131.     E1.place(x=170, y=45)
     
132. 
     
133.     B = tkinter.Button(top, text="确认", command=hellocallback,
     
134.                        width=20, height=3, font=('宋体', 20, 'italic'))
     
135. 
     
136.     B.place(x=363, y=200)
     
137. 
     
138.     top.mainloop()
     
139. 
     

复制代码

P.s 我的 tkinter 真的学的很烂，一个打开文件夹的窗口操作都花了半天去研究怎么弄。一开始用的是 wxpython 的一个模块，但是不知道什么原因会和 tkinter 发生冲突，导致程序卡死。后来研究半天，才在 tkinter 的 python 文档找到方法。区区几行代码，敲出来以后，真的吐血了

Daniel_Zhang

说实话，v.ki 大佬的界面看上去真的比我做的好太多了

没有添加 v.ki 大佬为好友，此处只能手动艾特

已在文章开头附上大佬的原帖

hlgy9918

牛啊，更新了

yayc_zcyd

哈哈，我爬虫的时候经常被反爬虫

hornwong

感谢分享!

小伤口

我爬虫特别菜，羡慕死了
厉害

Daniel_Zhang

小伤口 发表于 2021-3-19 23:18
我爬虫特别菜，羡慕死了
厉害

我 tkinter 特别菜，pygame 啥也不会，羡慕死了
厉害

crisfo

厉害

sevendevix

厉害

松冈有沙

不愧是大佬

1406598279

666

小伤口

Daniel_Zhang 发表于 2021-3-19 23:52
我 tkinter 特别菜，pygame 啥也不会，羡慕死了
厉害

爬虫才是灵魂

noah-py

喵喵不咪

厉害

1406598279

厉害了！！！

heishali

羡慕大佬

格格巫s

太强了

13332948511

948832598

咋的用为啥我的实现不了啊

凝泪成冰

yayc_zcyd 发表于 2021-3-19 22:11
哈哈，我爬虫的时候经常被反爬虫