设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 关于爬虫
返回列表 发新帖
查看: 1486|回复: 13

[已解决]关于爬虫

[复制链接]
tiger吴
发表于 2020-7-11 20:25:32 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x 



img.png



import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
    header={
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
        'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
    }
    html=requests.get(url=url,headers=header)
    #print(html.text)
    return html

# def get_list(html):
#     html=html.text
#     soup=BeautifulSoup(html,'html.parser')
#     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
#     img_list=soup.find_all(img_re,soup)
    # print(img_list)
    #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    #link_list=re.findall(a,html.text)

    #return link_list
def get_list(html):
    link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    #print(link_list)
    return link_list


def main():
    url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    html=get_html(url)
    img_list=get_list(html)
    #print(img_list)

    for img_url in img_list:
        img_name='美眉/'+img_url.split('/')[-1]
        print(img_name)
        with open(img_name,'wb') as f:
            # print('开始爬取图片')
            # html=get_html(img_list)
            # print(html.content)
            f.write(html.content)
            print('爬取成功')



if __name__ == "__main__":
    main()
爬虫爬取的图片打开后显示这样，什么问题？怎么解决尼
最佳答案
月排行榜 / 总排行榜
Twilight6
2020-7-11 20:36:54
本帖最后由 Twilight6 于 2020-7-12 14:48 编辑



这样就好了，你打印下你爬到的链接发现是这样的：

'http:\\/\\/f1.huatiku.com\\/attachment\\/forum\\/201808\\/20\\/111505racut3fuqpw7kskc.jpg'

只要用 re 模块的 sub 把 \ 替换成空字符即可，但是只能爬几个图片，然后就被反爬了

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
    header={
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
        'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
    }
    html=requests.get(url=url,headers=header)
    #print(html.text)
    return html

# def get_list(html):
#     html=html.text
#     soup=BeautifulSoup(html,'html.parser')
#     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
#     img_list=soup.find_all(img_re,soup)
    # print(img_list)
    #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    #link_list=re.findall(a,html.text)

    #return link_list
def get_list(html):
    link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    #print(link_list)
    return link_list


def main():
    url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    html=get_html(url)
    img_list=get_list(html)

    for img_url in img_list:
        img_url = re.sub(r'\\','',img_url)
        img_name='美眉'+img_url.split('/')[-1]
        # print(img_name)
        with open(img_name,'wb') as f:
            # print('开始爬取图片')
            html=get_html(img_url)
            # print(html.content)
            f.write(html.content)
            print('爬取成功')



if __name__ == "__main__":
    main()
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

xiaosi4081
发表于 2020-7-11 20:30:51 | 显示全部楼层
本帖最后由 xiaosi4081 于 2020-7-11 20:36 编辑 
import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
    header={
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
        'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
    }
    html=requests.get(url=url,headers=header)
    #print(html.text)
    return html

# def get_list(html):
#     html=html.text
#     soup=BeautifulSoup(html,'html.parser')
#     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
#     img_list=soup.find_all(img_re,soup)
    # print(img_list)
    #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    #link_list=re.findall(a,html.text)

    #return link_list
def get_list(html):
    soup = BeautifulSoup(html.text,'html.parser')
    link_list1 = soup.find_all("img")
    link_list = []
    for i in link_list1:
        link_list.append(img_list1["src"])
    #print(link_list)
    return link_list


def main():
    url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    html=get_html(url)
    img_list=get_list(html)
    #print(img_list)

    for img_url in img_list:
        img_name='美眉/'+img_url.split('/')[-1]
        print(img_name)
        with open(img_name,'wb') as f:
            html=get_html(img_list)
            print(html.content)
            f.write(html.content)



if __name__ == "__main__":
    main()
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 20:36:54 | 显示全部楼层    本楼为最佳答案   
本帖最后由 Twilight6 于 2020-7-12 14:48 编辑



这样就好了，你打印下你爬到的链接发现是这样的：

'http:\\/\\/f1.huatiku.com\\/attachment\\/forum\\/201808\\/20\\/111505racut3fuqpw7kskc.jpg'

只要用 re 模块的 sub 把 \ 替换成空字符即可，但是只能爬几个图片，然后就被反爬了

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
    header={
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
        'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
    }
    html=requests.get(url=url,headers=header)
    #print(html.text)
    return html

# def get_list(html):
#     html=html.text
#     soup=BeautifulSoup(html,'html.parser')
#     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
#     img_list=soup.find_all(img_re,soup)
    # print(img_list)
    #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    #link_list=re.findall(a,html.text)

    #return link_list
def get_list(html):
    link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    #print(link_list)
    return link_list


def main():
    url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    html=get_html(url)
    img_list=get_list(html)

    for img_url in img_list:
        img_url = re.sub(r'\\','',img_url)
        img_name='美眉'+img_url.split('/')[-1]
        # print(img_name)
        with open(img_name,'wb') as f:
            # print('开始爬取图片')
            html=get_html(img_url)
            # print(html.content)
            f.write(html.content)
            print('爬取成功')



if __name__ == "__main__":
    main()
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 20:40:50 | 显示全部楼层



成功爬取 4 张 然后好像就被反爬报错了....
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

小甲鱼的铁粉
发表于 2020-7-11 20:47:30 | 显示全部楼层
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

tiger吴
 楼主| 发表于 2020-7-11 21:31:12 | 显示全部楼层
Twilight6 发表于 2020-7-11 20:40
成功爬取 4 张 然后好像就被反爬报错了....
import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
    header={
        'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
        'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
    }
    html=requests.get(url=url,headers=header)
    #print(html.text)
    return html

# def get_list(html):
#     html=html.text
#     soup=BeautifulSoup(html,'html.parser')
#     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
#     img_list=soup.find_all(img_re,soup)
    # print(img_list)
    #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    #link_list=re.findall(a,html.text)

    #return link_list
def get_list(html):
    link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    new_list=[]
    for each in link_list:
        each=re.sub(r'\\','',each)
        new_list.append(each)
    #print(link_list)
    return new_list


def main():
    url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    html=get_html(url)
    img_list=get_list(html)

    for img_url in img_list:
        print(img_url)
        img_name='美眉/'+img_url.split('/')[-1]
        #print(img_name)
        with open(img_name,'wb') as f:
            # print('开始爬取图片')
            # html=get_html(img_list)
            # print(html.content)
            f.write(html.content)
            print('爬取成功')



if __name__ == "__main__":
    main()
醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里，结果却能打印出图片了
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 21:40:45 | 显示全部楼层
tiger吴 发表于 2020-7-11 21:31
醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里 ...


我的重点是 for 循环里面有这个：

img_url = re.sub(r'\\','',img_url)


你都没认值看我的回复，代码前面我有说明呀...

22.png
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

tiger吴
 楼主| 发表于 2020-7-11 21:56:18 From FishC Mobile | 显示全部楼层
Twilight6 发表于 2020-7-11 21:40
我的重点是 for 循环里面有这个：



我也加了，和你加的位置不一样而已
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 21:57:29 | 显示全部楼层
tiger吴 发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已

这个多怕一下后台就把你请求阻断了 然后回报错被强制断开链接，可能被检测出来是爬虫的了
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 21:59:03 | 显示全部楼层
tiger吴 发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已


你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图片二进制写入
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

tiger吴
 楼主| 发表于 2020-7-11 22:18:11 From FishC Mobile | 显示全部楼层
Twilight6 发表于 2020-7-11 21:59
你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图 ...

这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的看些书学习下，你觉得哪本适合我这样的菜鸡看呢
Screenshot_20200711_221741.jpg
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

a43145228
发表于 2020-7-11 22:30:43 | 显示全部楼层
还在学习中！！！！
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-7-11 22:33:56 | 显示全部楼层
tiger吴 发表于 2020-7-11 22:18
这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的 ...


书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

tiger吴
 楼主| 发表于 2020-7-12 14:36:34 From FishC Mobile | 显示全部楼层
Twilight6 发表于 2020-7-11 22:33
书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925

噢力给
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-20 01:45

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表