设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 萌新训练营 › 萌新交流区 › python爬取煎蛋网妹子图时报错了，好气哦！有哪位大佬可 ...
返回列表 发新帖
查看: 2569|回复: 6

[已解决]python爬取煎蛋网妹子图时报错了，好气哦！有哪位大佬可以给小白解答下吗？谢谢！

[复制链接]
小白吟风
发表于 2021-2-9 10:41:17 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
import urllib.request
import re

def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36')
    page = urllib.request.urlopen(req)
    html = page.read().decode('UTF-8')
    return html

def get_img(html):
    p = r'<img src="([^"]+\.jpg)"'
    imglist = re.findall(p,html)

    for each in imglist:
          print(each)

    for each in imglist:
        filename = each.split('/')[-1]
        urllib.request.urlretrieve('http://' + each,filename,None)


if __name__ == '__main__':
    url = 'http://jandan.net/ooxx/MjAyMTAyMDgtOTk=#comments'
    get_img(open_url(url))

报错截图如下：

报错.png

网址是最近煎蛋网上的随手拍那一栏的网址，这里小白先谢过各位鱼油们！谢谢~


最佳答案
月排行榜 / 总排行榜
Daniel_Zhang
2021-2-9 14:58:12
  1. import urllib.request as u_request
  2. import os, re, base64, requests

  4. header ={}
  5. header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'

  7. def url_open(url):

  9.     html = requests.get(url, headers=header).text
  10.     return html

  12. def find_images(url):
  13.     html = url_open(url)

  15.     m = r'<img src="([^"]+\.jpg)"'
  16.     match = re.findall(m, html)

  18.     for each in range(len(match)):
  19.         match[each] = 'http:' + match[each]
  20.         print(match[each])

  22.     return match

  24. def save_images(folder, img_addrs):
  25.     for each in img_addrs:
  26.         try:
  27.             req = u_request.Request(each, headers = header)
  28.             response = u_request.urlopen(req)
  29.             cat_image = response.read()
  30.             filename = each.split('/')[-1]
  31.             with open(filename,'wb') as f:
  32.                 f.write(cat_image)
  33.             #print(each)
  34.         except OSError as error:
  35.             print(error)
  36.             continue
  37.         except ValueError as error:
  38.             print(error)
  39.             continue

  41. def web_link_encode(url, folder):
  42.     for i in range(180,200):
  43.         string_date = '20201216-'
  44.         string_date += str(i)
  45.         string_date = string_date.encode('utf-8')
  46.         str_base64 = base64.b64encode(string_date)
  47.         page_url = url + str_base64.decode() + '=#comments'
  48.         print(page_url)
  49.         img_addrs = find_images(page_url)
  50.         save_images(folder, img_addrs)

  52. def download_the_graph(url):
  53.     folder = 'graph'
  54.     os.mkdir(folder)
  55.     os.chdir(folder)
  56.     web_link_encode(url, folder)

  58. if __name__ == '__main__':
  59.     url = 'http://jandan.net/pic/'
  60.     download_the_graph(url)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Daniel_Zhang
发表于 2021-2-9 11:47:21 | 显示全部楼层
本帖最后由 Daniel_Zhang 于 2021-2-9 11:49 编辑

我觉得是你这个 url有点问题

我这里直接就 404 not found 了

我自己的代码也是，估计是反爬了，换一个网站吧
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

TerryWu
发表于 2021-2-9 12:10:46 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

°蓝鲤歌蓝
发表于 2021-2-9 14:16:31 | 显示全部楼层
  1. import requests
  2. import re


  5. url = "http://jandan.net/ooxx/MjAyMTAyMDgtOTk=#comments"
  6. headers = {
  7.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36",
  8. }
  9. req = requests.get(url, headers=headers).text

  11. p = r'<img src="([^"]+\.jpg)"'
  12. img_list = re.findall(p, req)

  14. print(img_list)
复制代码


这里没问题
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

逃兵
发表于 2021-2-9 14:17:34 | 显示全部楼层
第21行
url双斜杠多了一套，去掉就行了
  1. import urllib.request
  2. import re

  4. def open_url(url):
  5.     req = urllib.request.Request(url)
  6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36')
  7.     page = urllib.request.urlopen(req)
  8.     html = page.read().decode('UTF-8')
  9.     return html

  11. def get_img(html):
  12.     global imglist
  13.     p = r'<img src="([^"]+\.jpg)"'
  14.     imglist = re.findall(p,html)

  16.     for each in imglist:
  17.           print(each)

  19.     for each in imglist:
  20.         filename = each.split('/')[-1]
  21.         urllib.request.urlretrieve('http:' + each,filename,None)


  24. if __name__ == '__main__':
  25.     url = 'http://jandan.net/ooxx/MjAyMTAyMDgtOTk=#comments'
  26.     get_img(open_url(url))
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

Daniel_Zhang
发表于 2021-2-9 14:58:12 | 显示全部楼层    本楼为最佳答案   
  1. import urllib.request as u_request
  2. import os, re, base64, requests

  4. header ={}
  5. header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'

  7. def url_open(url):

  9.     html = requests.get(url, headers=header).text
  10.     return html

  12. def find_images(url):
  13.     html = url_open(url)

  15.     m = r'<img src="([^"]+\.jpg)"'
  16.     match = re.findall(m, html)

  18.     for each in range(len(match)):
  19.         match[each] = 'http:' + match[each]
  20.         print(match[each])

  22.     return match

  24. def save_images(folder, img_addrs):
  25.     for each in img_addrs:
  26.         try:
  27.             req = u_request.Request(each, headers = header)
  28.             response = u_request.urlopen(req)
  29.             cat_image = response.read()
  30.             filename = each.split('/')[-1]
  31.             with open(filename,'wb') as f:
  32.                 f.write(cat_image)
  33.             #print(each)
  34.         except OSError as error:
  35.             print(error)
  36.             continue
  37.         except ValueError as error:
  38.             print(error)
  39.             continue

  41. def web_link_encode(url, folder):
  42.     for i in range(180,200):
  43.         string_date = '20201216-'
  44.         string_date += str(i)
  45.         string_date = string_date.encode('utf-8')
  46.         str_base64 = base64.b64encode(string_date)
  47.         page_url = url + str_base64.decode() + '=#comments'
  48.         print(page_url)
  49.         img_addrs = find_images(page_url)
  50.         save_images(folder, img_addrs)

  52. def download_the_graph(url):
  53.     folder = 'graph'
  54.     os.mkdir(folder)
  55.     os.chdir(folder)
  56.     web_link_encode(url, folder)

  58. if __name__ == '__main__':
  59.     url = 'http://jandan.net/pic/'
  60.     download_the_graph(url)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

aguinzoo
发表于 2021-2-9 15:35:17 | 显示全部楼层
def getit(session, url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
    }
    res = session.get(url, headers=headers)
    xmls = etree.HTML(res.text)
    comments = xmls.xpath("//ol[@class='commentlist']/li/div/div/div[@class='text']/p/img/@src")
    for cm in comments:
        print(cm)
        urlretrieve(url="http:" + cm, filename=cm.split("/")[-1])
    if xmls.xpath("//div[@class='comments']/div[@class='cp-pagenavi']/a[last()]/@href"):
        next = "http:" + xmls.xpath("//div[@class='comments']/div[@class='cp-pagenavi']/a[last()]/@href")[0]
        getit(session, next)


if __name__ == '__main__':
    session = requests.Session()
    start = "http://jandan.net/ooxx/comments"
    getit(session=session, url=start)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-7-1 06:04

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表