鱼C论坛

 找回密码
 立即注册
查看: 2559|回复: 5

我跟着学的一段爬虫代码为什么在pycham运行不了!

[复制链接]
发表于 2017-12-11 00:38:45 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
请大佬帮忙看下,是那里的问题
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-
  3. # @Time    : ${DATE} ${TIME}
  4. # @Author  : Aries
  5. # @Site    : ${SITE}
  6. # @File    : ${NAME}.py
  7. # @Software: ${PRODUCT_NAME}
  8. import urllib2
  9. import re

  10. domain = 'http://www.quanshuwang.com'
  11. headers = { 'User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

  12. def getTypeList(pn=1):
  13.     req = urllib2.Request('http://www.quanshuwang.com/map/%s.html'%pn)
  14.     req.headers = headers
  15.     res = urllib2.urlopen(req)
  16.     html =res.read().decode('gbk').encode('utf-8')
  17.     reg =r'<a href="(/book/.*?)" target="_blank">(.*?)</a>'
  18.     reg = re.compile(reg)
  19.     return re.findall(reg,html)

  20. def getNovelList(url):
  21.     req = urllib2.Request(domain + url)
  22.     req.headers = headers
  23.     res = urllib2.urlopen(req)
  24.     html = res.read().decode('gkb')
  25.     reg  =r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'
  26.     reg = re.compile(reg)
  27.     return re.findall(reg,html)

  28. def getNovelContent(url):
  29.     req = urllib2.Request(domain + url)
  30.     req.headers = headers
  31.     res = urllib2.urlopen(req)
  32.     html = res.read().decode('gbk')
  33.     reg =r'style5\(\);</script>(.*?)<script type="text/javascript">style6\(\)'
  34.     return re.findall(reg,html)[0]


  35. if __name__== '__main__ ':
  36.     for type in range(1,10):
  37.         for url,title in getTypeList(type):
  38.             for zurl,ztitle in getNovelList(url):
  39.                 print u'正在爬取------%s' %ztitle
  40.                 content = getNovelContent(url.replace('index.html'),zurl)

复制代码

为什么在pycham运行不了@!
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-12-11 00:44:40 From FishC Mobile | 显示全部楼层
大佬回复下啊
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-11 11:07:00 | 显示全部楼层
不会用pycham呀
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-12-11 11:26:51 From FishC Mobile | 显示全部楼层
等下回家用电脑把python2.7卸载重装下,好像有点问题
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-11 13:16:50 | 显示全部楼层
zh9510 发表于 2017-12-11 11:26
等下回家用电脑把python2.7卸载重装下,好像有点问题

用python3啊
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-11 13:19:32 | 显示全部楼层
你应该把报错也贴出来。没有报错怎么帮你解决
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-26 12:02

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表