鱼C论坛

 找回密码
 立即注册
查看: 2310|回复: 4

[技术交流] 鱼C论坛Python精英挑战赛(第四季04期)评选结果

[复制链接]
发表于 2017-12-18 09:54:41 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 jerryxjr1220 于 2017-12-18 10:19 编辑

本期挑战赛只有 1 位鱼油qwc3000正确而且非常完美地完成了题目要求,获得第一名。大家可以参考他的代码,写得非常好,运用多线程定时执行,加上第三方库pdfkit+wkhtmltopdf完美地完成了任务。春衫少年薄 也提交了解答,但没有按要求输出需要的文件和内容。

qwc3000 作为本期擂主参与下期精英挑战赛,下期挑战赛只有应用题可选,所以就不给选择了。

有请 @小甲鱼 老师颁奖,第一名奖励 50 鱼币,第二名 30 鱼币,第三名 20 鱼币。

本期竞猜获胜为“单数”。

请以下鱼油回帖领奖:

  • SylarPu
  • BngThea
  • 新手·ing
  • niefeng1988
  • lovesword
  • shawn竹肃
  • gunjang
  • timeislife
  • 張小雄
  • kislar
  • 燕清

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-12-18 10:04:10 | 显示全部楼层
本题的解法其实qwc3000已经写得非常好了,大家可以参考他的程序。
如果不想使用第三方库wkhtmltopdf,仅仅把爬取的网页保存为html文件其实也是可以的。但是显示效果没有pdf来的好。
但程序相对简单,附上核心程序,未添加定时爬取和多线程等功能,仅供参考。
import requests
from bs4 import BeautifulSoup
url = 'https://daily.zhihu.com'
head = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding':'gzip, deflate, br',
        'Accept-Language':'zh-CN,zh;q=0.9',
        'Cache-Control':'max-age=0',
        'Connection':'keep-alive',
        'Host':'daily.zhihu.com',
        'Upgrade-Insecure-Requests':'1',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'}
 
resp = requests.get(url, headers=head)
bs = BeautifulSoup(resp.text, 'lxml')
for item in bs.select('div.box'):
    tt = item.span.text.replace('\r','').replace('\n','')
    href = url+item.a.attrs['href']
    content = requests.get(href, headers=head).content
    with open(tt+'.html','wb') as html:
        html.write(content)
Untitled.png
基本上爬取的内容和图片都可以正常显示的,因为是html文件,还是需要联网条件下打开,离线的话,图片会显示不正常。离线推荐用wkhtmltopdf转换成pdf阅读。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-18 11:48:32 From FishC Mobile | 显示全部楼层
领奖

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜获胜

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-12-18 12:08:44 | 显示全部楼层
难得没答贴,猜中领奖。。。

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜获胜

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-18 14:37:40 | 显示全部楼层
回帖回帖,这三期就这期没参加,没想到还拿了个猜中奖励,看来我人品不错,回头买彩票去喽

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜奖励

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-24 14:34

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表