我应该怎样把我抓取到的东西保存到本地

刘英超

# -*- coding: utf-8 -*-
import re
import urllib.request
import urllib
import os
from collections import deque




#使用队列存放url
queue = deque()
#使用visited防止重复爬同一页面
visited = set()

url = 'http://www.qichongwang.com'  # 入口页面, 可以换成别的
 #入队最初的页面
queue.append(url)
cnt = 0

while queue:
  url = queue.popleft()  # 队首元素出队
  visited |= {url}  # 标记为已访问

  print('已经抓取: ' + str(cnt) + '   正在抓取 <---  ' + url)
  cnt += 1

  try:
      #抓取页面
      urlop = urllib.request.urlopen(url,timeout=10)
  except Exception:
      print("超时")
      continue
  #判断是否为html页面
  if 'html' not in urlop.getheader('Content-Type'):
    continue

  # 避免程序异常中止, 用try..catch处理异常
  try:
   #转换为utf-8码
    data = urlop.read().decode('utf-8')
  except:
    continue

  # 正则表达式提取页面中所有队列, 并判断是否已经访问过, 然后加入待爬队列
  linkre = re.compile("href=['"]([^"'>]*?)['"].*?")
  for x in linkre.findall(data):##返回所有有匹配的列表
    if 'http' in x and x not in visited:##判断是否为http协议链接，并判断是否抓取过
      queue.append(x)

f = open(r'E:\sitemap.txt', 'wb')
f.write(url)
f.close()

大家帮忙开一下代码哪里有问题

zxszx4

你要保存什么呀？

刘英超

zxszx4 发表于 2017-5-18 14:49
你要保存什么呀？

我要保存我抓取过来的所有URL

crooney

不明白你程序的表达
如果是保存文件

#一次性写入
with open(文件路径,'w') as f:
    f.write(你要写进去的东西)
#增加写入
with open(文件路径,'a') as f:
    f.write(你要写进去的东西)

zxszx4

刘英超 发表于 2017-5-18 15:02
我要保存我抓取过来的所有URL

我还是没太搞懂
首先你打开文件是二进制的，却要把字符串写进去，格式不对吧
其次你的url最开始赋值了，一直没变，写的还是一开始赋值的
最后你的队列是排队的，最后的值都取出来的你写什么？