马上注册，结交更多好友，享用更多功能^_^
您需要 登录 才可以下载或查看，没有账号？立即注册
x
本帖最后由 竹林小溪 于 2016-2-18 11:39 编辑
最近看了一些关于python的教程，觉得爬虫挺好玩的（可以爬妹纸图。。。哈哈哈。。。 ）
@小甲鱼 老师在 《论一只爬虫的自我修养4：OOXX》 这课里利用python自带的urllib库结合html查找的方式获取图片的url地址，很容易学会也非常方便。
不过我觉得这题还可以有别的解法
①URL请求部分可以利用第三方的requests库代替python的urllib，使得原本五行代码一行就能搞定！
def url_open(url):
return requests.get(url, headers=head)
②匹配字符串或者图片位置的时候，可以利用xpath解决，相对于正则表达式来说，既省时又省力。
def find_imgs(url):
html_re = url_open(url).content
xpath_img = '//*[starts-with(@id,"comment-")]/div[1]/div/div[2]/p/img/@src'
selector = etree.HTML(html_re)
return selector.xpath(xpath_img)
完整代码:#照着甲鱼的代码修改的
import requests
import os
import time
from lxml import etree
head = {
......
}
def url_open(url):
return requests.get(url, headers=head)
def get_page(url):
html_re = url_open(url).content
xpath_str = '//*[@id="comments"]/div[2]/div/span/text()'
selector = etree.HTML(html_re)
str = selector.xpath(xpath_str)[0]
return str[1:5]
def find_imgs(url):
html_re = url_open(url).content
xpath_img = '//*[starts-with(@id,"comment-")]/div[1]/div/div[2]/p/img/@src'
selector = etree.HTML(html_re)
return selector.xpath(xpath_img)
def save_imgs(folder, urls):
for each in urls:
filename = each.split('/')[-1]
with open(filename, 'wb') as f:
img = url_open(each).content
f.write(img)
def main(folder, page):
os.mkdir(folder)
os.chdir(folder)
url = 'http://jandan.net/ooxx/'
page_num = int(get_page(url))
for i in range(page):
page_num -= i
page_url = url + 'page-' + str(page_num) + '#comments'
img_urls = find_imgs(page_url)
save_imgs(folder, img_urls)
time.sleep(0.1)
if __name__ == '__main__':
main(folder='OOXX', page=10)
这个OOXX网站还有一个很蛋疼的问题，就是它会自动检测爬虫，那么如何解决这个问题呢
| 
[复制链接]
( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)
狗仔卡
发表于 2016-2-18 11:33:18
置顶卡
千斤顶
显身卡
楼主
发表于 2016-2-19 10:22:14
