关于python爬到的信息 写进文件的问题

=滴滴滴=

写一个简单的爬虫，，，可以正常运行，，爬到的信息却不可以写到文件里  求解惑

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. key = 'Python'  # 设置搜索的关键词
   
6. url = 'https://yq.aliyun.com/search/articles/'
   
7. data = requests.get(url, params={'q': key}).text  # 拿到第一页的源码
   
8. pat1 = '<div class="_search-info">找到(.*?)条关于'
   
9. allline = re.compile(pat1, re.S).findall(data)[0]   # 正则匹配
   
10. allpage = int(allline) // 15 + 1  # 获取总页码
    
11. for i in range(0, int(allpage)):
    
12.     print('---------------正在爬第{}页'.format(i + 1))
    
13.     index = str(i + 1)   # 页码下标
    
14.     getdata = {'q': key, 'p': index, }  # 依次获取页数
    
15.     data = requests.get(url, params=getdata).text  # 获取这一页的源码
    
16.     pat_url = '<div class="media-body text-overflow>.*?<a "href=(.*?)"'
    
17.     articles = re.compile(pat_url, re.S).findall(data)   # 正则匹配这一页的内容
    
18.     for j in articles:
    
19.         thisurl = "https://yq.aliyun.com" + j
    
20.         thisdata = requests.get(thisurl).text
    
21.         pat_title = '<p class="hiddenTitle">(.*?)</p>'
    
22.         pat_content = "<div class='content-detail markdown-boby'>(.*?)<div class="">"
    
23.         title = re.compile(pat_title, re.S).findall(thisdata)[0]
    
24.         content = re.compile(pat_content, re.S).findall(thisdata)[0]
    
25.         fh = open("D:\\Captures\\p\"+str(i+1)+'_'+str(time.time())+'.html', 'w', encoding='utf-8')
    
26.         fh.write(title+'<br /><br />'+content)
    
27.         fh.close()

复制代码

qiuyouzhi

不要在循环里打开写入文件啊。。。
你在循环外面打开，在循环外面关闭
写入东西的部分可以在循环里

zltzlt

这样试试（追加模式）：

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. key = 'Python'  # 设置搜索的关键词
   
6. url = 'https://yq.aliyun.com/search/articles/'
   
7. data = requests.get(url, params={'q': key}).text  # 拿到第一页的源码
   
8. pat1 = '<div class="_search-info">找到(.*?)条关于'
   
9. allline = re.compile(pat1, re.S).findall(data)[0]  # 正则匹配
   
10. allpage = int(allline) // 15 + 1  # 获取总页码
    
11. for i in range(0, int(allpage)):
    
12.     print('---------------正在爬第{}页'.format(i + 1))
    
13.     index = str(i + 1)  # 页码下标
    
14.     getdata = {'q': key, 'p': index, }  # 依次获取页数
    
15.     data = requests.get(url, params=getdata).text  # 获取这一页的源码
    
16.     pat_url = '<div class="media-body text-overflow>.*?<a "href=(.*?)"'
    
17.     articles = re.compile(pat_url, re.S).findall(data)  # 正则匹配这一页的内容
    
18.     for j in articles:
    
19.         thisurl = "https://yq.aliyun.com" + j
    
20.         thisdata = requests.get(thisurl).text
    
21.         pat_title = '<p class="hiddenTitle">(.*?)</p>'
    
22.         pat_content = "<div class='content-detail markdown-boby'>(.*?)<div class="">"
    
23.         title = re.compile(pat_title, re.S).findall(thisdata)[0]
    
24.         content = re.compile(pat_content, re.S).findall(thisdata)[0]
    
25.         fh = open("D:\\Captures\\p\\" + str(i + 1) + '_' + str(time.time()) + '.html', 'a',
    
26.                   encoding='utf-8')
    
27.         fh.write(title + '<br /><br />' + content)
    
28.         fh.close()

复制代码