我应该怎样把我抓取到的东西保存到本地

刘英超

1. # -*- coding: utf-8 -*-
   
2. import re
   
3. import urllib.request
   
4. import urllib
   
5. import os
   
6. from collections import deque
   
7. 
   
8. 
   
9. 
   
10. 
    
11. #使用队列存放url
    
12. queue = deque()
    
13. #使用visited防止重复爬同一页面
    
14. visited = set()
    
15. 
    
16. url = 'http://www.qichongwang.com'  # 入口页面, 可以换成别的
    
17. #入队最初的页面
    
18. queue.append(url)
    
19. cnt = 0
    
20. 
    
21. while queue:
    
22.   url = queue.popleft()  # 队首元素出队
    
23.   visited |= {url}  # 标记为已访问
    
24. 
    
25.   print('已经抓取: ' + str(cnt) + '   正在抓取 <---  ' + url)
    
26.   cnt += 1
    
27. 
    
28.   try:
    
29.       #抓取页面
    
30.       urlop = urllib.request.urlopen(url,timeout=10)
    
31.   except Exception:
    
32.       print("超时")
    
33.       continue
    
34.   #判断是否为html页面
    
35.   if 'html' not in urlop.getheader('Content-Type'):
    
36.     continue
    
37. 
    
38.   # 避免程序异常中止, 用try..catch处理异常
    
39.   try:
    
40.    #转换为utf-8码
    
41.     data = urlop.read().decode('utf-8')
    
42.   except:
    
43.     continue
    
44. 
    
45.   # 正则表达式提取页面中所有队列, 并判断是否已经访问过, 然后加入待爬队列
    
46.   linkre = re.compile("href=['"]([^"'>]*?)['"].*?")
    
47.   for x in linkre.findall(data):##返回所有有匹配的列表
    
48.     if 'http' in x and x not in visited:##判断是否为http协议链接，并判断是否抓取过
    
49.       queue.append(x)
    
50. 
    
51. f = open(r'E:\sitemap.txt', 'wb')
    
52. f.write(url)
    
53. f.close()
    

复制代码

大家帮忙开一下代码哪里有问题

zxszx4

你要保存什么呀？

刘英超

zxszx4 发表于 2017-5-18 14:49
你要保存什么呀？

我要保存我抓取过来的所有URL

crooney

不明白你程序的表达
如果是保存文件

1. #一次性写入
   
2. with open(文件路径,'w') as f:
   
3.     f.write(你要写进去的东西)
   
4. #增加写入
   
5. with open(文件路径,'a') as f:
   
6.     f.write(你要写进去的东西)

复制代码

zxszx4

刘英超 发表于 2017-5-18 15:02
我要保存我抓取过来的所有URL

我还是没太搞懂
首先你打开文件是二进制的，却要把字符串写进去，格式不对吧
其次你的url最开始赋值了，一直没变，写的还是一开始赋值的
最后你的队列是排队的，最后的值都取出来的你写什么？