爬取微信公众号文章

FHS

自学了几天爬虫写的，有很多功能有想法不会做，哈哈啊哈哈。。。。。然后我想输出后为word文档然后输出后的格式和在网页上的一样，因为我正则表达式没怎么学会，提取中间文本提取不到。

                               
登录/注册后可看大图

1. # -*- coding:utf-8 -*-
   
2. import requests
   
3. import  re
   
4. from docx import Document
   
5. 
   
6. 
   
7. headers= {
   
8. "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12A365 MicroMessenger/5.4.1 NetType/WIFI"
   
9. }
   
10. #'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'
    
11. #requests.get()提取网页源码，返回一个对象
    
12. duixiang = requests.get("https://mp.weixin.qq.com/s/lJPHTQADa_b9D7VAimx_3w",headers=headers)#微信公众号文章地址
    
13. #print(duixiang.request.headers)
    
14. #biaoti = re.split(r'[< h2class ="rich_media_title" id="activity-name" >(.*?)< / h2 >]',duixiang.text,1)
    
15. biaoti=re.findall(r'<meta property="og:title" content="(.*?)" />',duixiang.text)#文章标题
    
16. wenzhangfenzu=re.findall(r'[^\x00-\xff]',duixiang.text)#文章分组
    
17. chuza_biaoti=re.findall(r'<strong class="profile_nickname">(.*?)</strong>',duixiang.text)
    
18. chuza_gongneng=re.findall(r'<span class="profile_meta_value">(.*?)</span>',duixiang.text)
    
19. chuza_buzhidao1=re.findall(r'var msg_desc = "(.*?)";',duixiang.text)
    
20. yuansugeshu=len(wenzhangfenzu)
    
21. """""
    
22. range(start,end,step)
    
23. start：指定计数起始值，可是省略，如果省略则从0开始，
    
24. end：指定计数结束值(但不包括该值，如range(5)得到0~4的值，不包括5)，不能省略，
    
25. step：指定计数步长，即两个数直接的间隔；可以省略，如果省略表示步长为1，
    
26. """""
    
27. i=0
    
28. wenzhang=""
    
29. for i in range(0,yuansugeshu,1):
    
30.     wenzhang=wenzhang+str(wenzhangfenzu[i])
    
31.     i=i+1
    
32. wenzhang=wenzhang.replace(chuza_biaoti[0],"")
    
33. wenzhang=wenzhang.replace("微信公众平台","")
    
34. wenzhang=wenzhang.replace("微信号","")
    
35. wenzhang=wenzhang.replace("功能介绍","")
    
36. wenzhang=wenzhang.replace(chuza_gongneng[1],"")
    
37. wenzhang=wenzhang.replace(chuza_buzhidao1[0],"")
    
38. wenzhang=wenzhang.replace(biaoti[0],"")
    
39. wenzhang=wenzhang.replace("请求录制这里要加或才加载","")
    
40. wenzhang=wenzhang.replace("阅读在看已同步到看一看写下你的想法前往“发现”“看一看”浏览“朋友在看”前往看一看看一看入口已关闭在“设置”“通用”“发现页管理”打开“看一看”入口我知道了已发送取消发送到看一看发送写下你的想法最多字，当前共字发送中相关阅读更多文章微信扫一扫关注该公众号微信扫一扫使用小程序取消允许取消允许知道了长按识别前往小程序","")
    
41. print(wenzhang)
    
42. 
    
43. 
    
44. #wenjianming=''.join(str(biaoti[0]))+".docx"
    
45. """""
    
46. with open(r'filename.txt') as f:
    
47.    data_user=pd.read_csv(f)  #文件的读操作
    
48. with open('data.txt', 'w') as f:
    
49.    f.write('hello world')  #文件的写操作
    
50. with open('data.txt', 'w') as f:
    
51. r:        以只读方式打开文件。文件的指针将会放在文件的开头。这是**默认模式**。
    
52. rb: 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
    
53. r+: 打开一个文件用于读写。文件指针将会放在文件的开头。
    
54. rb+:以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
    
55. w:        打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
    
56. wb:        以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
    
57. w+:        打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
    
58. wb+:以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
    
59. a:        打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
    
60. ab:        以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
    
61. a+:        打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
    
62. ab+:以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件用于读写。
    
63.     """""
    
64. #with open(wenjianming, "wb") as f:
    
65. #if  f.write(duixiang.content)  :#文件的写操作
    
66. """""
    
67.     print("写出"+wenjianming+"成功！")
    
68. else:
    
69.     print("写出"+wenjianming+"失败！")
    
70. 
    
71. word = Document(wenjianming)
    
72. """""

复制代码

hwl1225

感谢分享

FHS

hwl1225 发表于 2020-3-19 19:31
感谢分享

嘿嘿