抓取香港商报数据，并上传网站更新数据

yh6788

本来可以用dict的，但是只有两个模块，不想拆腾了。

1. #香港商报。
   
2. #by yh6788
   
3. #coding:utf-8
   
4. import yh_fanyi,yh_dl
   
5. import time,datetime,os,requests,re
   
6. from bs4 import BeautifulSoup
   
7. import re
   
8. import hqbsh_post
   
9. import chardet
   
10. import html
    
11. 
    
12. 
    
13. requests.packages.urllib3.disable_warnings()
    
14. 
    
15. def save(html):
    
16.         name="1.html"
    
17.         name='f:\\1.txt'
    
18.         # print(html)
    
19.         # html1=html.content
    
20.         html1=str(html)
    
21.         # print(html1)
    
22.         with open(name,"w",encoding='utf8') as f:
    
23.         # with open(name,"wb") as f:
    
24.                 f.write(html1)
    
25.         with open(name,'r',encoding='gb18030') as ff:
    
26.                 txt=ff.read()
    
27.         return txt
    
28. 
    
29. def save_txts(txts,file='f:\\1.txt'):
    
30.     # file='f:\\1.txt'
    
31.     file1=file.replace('\\\\','\\')
    
32.     # os.system('del /q %s'%file1)
    
33.     os.system('copy NUL %s'%file1)
    
34.     # os.system('echo ..>>%s'%file1)
    
35.     # os.system('echo .>>%s'%file1)
    
36.     for i in range(len(txts)):
    
37.         # print(txts[i])
    
38.         
    
39.         with open(file,'a',encoding='gb18030') as f:
    
40.             f.write(txts[i]+'\n')
    
41.     return file1
    
42. 
    
43. def post(top_txt,txt,post_0='54'):
    
44.         hqbsh_username='2'
    
45.         hqbsh_password='2'
    
46.         fid=post_0
    
47.         typeid=''
    
48.         file_dir=''
    
49.         hqbsh_post.main(hqbsh_username,hqbsh_password,fid,typeid,file_dir,top_txt,txt)
    
50. def get_html_2(url,headers,url_0='',post_0='54'):
    
51.         pass
    
52.         # url='http://www.hkcd.com/content/2020-07/14/content_1202007.html'
    
53.         print('\n准备进入：',url)
    
54.         html_21=requests.get(url,headers=headers,verify=False)
    
55.         html_21.encoding='utf8'
    
56.         html_22=BeautifulSoup(html_21.text,'lxml')
    
57.         html_23=html_22.find(class_='con_box')
    
58.         title=html_23.find_all('h2')[0].text   #得到文件标题
    
59.         # title.encoding='utf-8'
    
60.         # title=yh_fanyi.fanyi_txt(title)
    
61.         print('抬头：',title)
    
62.         # save(title)
    
63.         html_24=html_23.find(class_='content_main')
    
64.         # os.exit()
    
65.         txts=[]
    
66.         txt=''
    
67.         # html_24=html_23
    
68.         # print(len(html_24))
    
69.         html_24=str(html_24).split('</p>')
    
70.         # print(html_24)
    
71.         # print(html_24[0])
    
72.         # os.exit()
    
73.         for i in html_24:
    
74.                 i2=[]
    
75.                 # print(i)
    
76.                 # time.sleep(1)
    
77.                 if i=='':
    
78.                         continue
    
79.                 i=i+'</p>'
    
80.                 i1=BeautifulSoup(i,'lxml')
    
81.                 # print(i1.text)
    
82.                 if '<img' in str(i):
    
83.                         i2=i1.find_all('img')
    
84.                 # re1=r'data-src=(.*)" alt'
    
85.                 # i2=re.findall(re1,i)
    
86.                 # txt_21=yh_fanyi.fanyi_txt(str(i1.text))
    
87.                         if i2!=[]:
    
88.                                 # print(i2)
    
89.                                 for ii in i2:
    
90.                                         a1=ii.get('src')
    
91.                                         if 'http' in a1:
    
92.                                                 txt=txt+'[img]'+a1+'[/img]'+'\n'
    
93.                                                 print(a1)
    
94.                                         else:
    
95.                                                 txt=txt+'[img]'+url_0+a1+'[/img]'+'\n'
    
96.                                                 print(url_0+a1)
    
97. 
    
98.                                         continue
    
99. 
    
100.                
     
101.                 txt_21=i1.text
     
102.                 # print(txt_21)
     
103.                 if '香港商報' in txt_21:
     
104.                         re2=r'(【香港.*報道：)'
     
105.                         txt_22=re.findall(re2,txt_21)
     
106.                
     
107.                         # print(txt_22)
     
108.                         if txt_22!=[]:
     
109.                                 txt_21=txt_21.replace(txt_22[0],'')
     
110.                 # if '【香港商報網訊】' in txt_21:
     
111.                 txt_21=txt_21.replace('【香港商報網訊】','')
     
112.                 txt_21=txt_21.replace('【香港商报网讯】','')
     
113.                 txt_21=txt_21.replace('香港商报','')
     
114. 
     
115. 
     
116.                 txt=txt+txt_21+'\n'
     
117.                 # time.sleep(1)
     
118.         # txt=save(txt)
     
119.         print('\n\n'+txt)
     
120.         kill_txt=['暴亂','黑暴','港獨','五大訴求','國安法','香港自治法案']
     
121.         for i3 in kill_txt:
     
122.                 if i3 in title+txt:
     
123.                         print('%s在txt里面，该条目不上传。'%i3)
     
124.                         print('\a')
     
125.                         time.sleep(5)
     
126.                         return ''
     
127.         # os.exit()
     
128. 
     
129.         # txt.replace('ü','')
     
130.         txt=txt.replace('http://','https://')
     
131.         post(title,txt,post_0)
     
132. 
     
133. def get_html_1(url,headers,post_0='54'):
     
134.         html_1=requests.get(url,headers=headers,verify=False)
     
135.         html_1.encoding='utf8'
     
136.         html_2=BeautifulSoup(html_1.text,'lxml')
     
137.         html_3=html_2.find(class_="imps_new")
     
138.         html_3=html_3.find(class_="cat_new_zs cat_newlist")
     
139.         html_4=html_3.find_all('ul')
     
140.         print(len(html_4[0]))
     
141.         # html_4=html_4.decode('utf-8')
     
142.         # print(html_4[0])
     
143. 
     
144.         yesterday = (datetime.datetime.now() + datetime.timedelta(days=-1)).date().strftime('%Y-%m-%d')
     
145.         print(yesterday)
     
146. 
     
147.         # yesterday='2020-07-14'
     
148.         # print(yesterday)
     
149.         # os.exit()
     
150.         url_0='http://www.hkcd.com/'
     
151.         urls=[]
     
152.         n=0
     
153.         for i in html_4[0]:
     
154.                 i1=[]
     
155.                 # print(i)
     
156.                 if yesterday in str(i):
     
157.                         # print(i)
     
158.                         # print('============')
     
159.                         i1=i.find_all('a')
     
160.                         if i1!=[]:
     
161.                                 # print(i1[0])
     
162.                                 title=i1[0].text
     
163.                                 re_1=r'href="(.*)" target='
     
164.                                 url1=re.findall(re_1,str(i1[0]))
     
165.                                 url=url_0+url1[0]
     
166.                                 urls.append(url)
     
167.                                 # print(url)
     
168.                                 get_html_2(url,headers,url_0,post_0)
     
169.                                 n+=1
     
170.                                 # os.exit()
     
171.                                 # print('\a')
     
172.                                 # print('-------------')
     
173.                                 # time.sleep(1)
     
174.         print(n,'个数据已经处理。')
     
175. 
     
176. def main():
     
177.         user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"
     
178.         headers={"User-Agent":user_agent}
     
179. 
     
180.         #人在香港
     
181.         url='http://www.hkcd.com/node_61.html'
     
182.         post_0='54'
     
183.         #民用科技
     
184.         url_1='http://www.hkcd.com/node_24.html'
     
185.         post_1='46'
     
186. 
     
187.         os.system('cls')
     
188.         get_html_1(url,headers,post_0)
     
189.         get_html_1(url_1,headers,post_1)
     
190. 
     
191. 
     
192. if __name__=='__main__':
     
193.         yh_dl.kill_system_dl()
     
194.         main()
     

复制代码

yue2677678183

你那个妹子图代码出问题了，你能更新更新吗