关于爬虫,Python交流,技术交流,鱼C论坛

tiger吴 发表于 2020-7-11 20:25:32

关于爬虫

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
header={
   'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
}
html=requests.get(url=url,headers=header)
#print(html.text)
return html

# def get_list(html):
# html=html.text
# soup=BeautifulSoup(html,'html.parser')
# img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
# img_list=soup.find_all(img_re,soup)
# print(img_list)
#a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
#link_list=re.findall(a,html.text)

#return link_list
def get_list(html):
link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
#print(link_list)
return link_list

def main():
url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
html=get_html(url)
img_list=get_list(html)
#print(img_list)

for img_url in img_list:
   img_name='美眉/'+img_url.split('/')[-1]
   print(img_name)
   with open(img_name,'wb') as f:
         # print('开始爬取图片')
         # html=get_html(img_list)
         # print(html.content)
         f.write(html.content)
         print('爬取成功')

if __name__ == "__main__":
main()
爬虫爬取的图片打开后显示这样，什么问题？怎么解决尼

xiaosi4081 发表于 2020-7-11 20:30:51

本帖最后由 xiaosi4081 于 2020-7-11 20:36 编辑

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
header={
   'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
}
html=requests.get(url=url,headers=header)
#print(html.text)
return html

# def get_list(html):
# html=html.text
# soup=BeautifulSoup(html,'html.parser')
# img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
# img_list=soup.find_all(img_re,soup)
# print(img_list)
#a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
#link_list=re.findall(a,html.text)

#return link_list
def get_list(html):
soup = BeautifulSoup(html.text,'html.parser')
link_list1 = soup.find_all("img")
link_list = []
for i in link_list1:
link_list.append(img_list1["src"])
#print(link_list)
return link_list

def main():
url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
html=get_html(url)
img_list=get_list(html)
#print(img_list)

for img_url in img_list:
   img_name='美眉/'+img_url.split('/')[-1]
   print(img_name)
   with open(img_name,'wb') as f:
         html=get_html(img_list)
         print(html.content)
         f.write(html.content)

if __name__ == "__main__":
main()

Twilight6 发表于 2020-7-11 20:36:54

本帖最后由 Twilight6 于 2020-7-12 14:48 编辑

这样就好了，你打印下你爬到的链接发现是这样的：

'http:\\/\\/f1.huatiku.com\\/attachment\\/forum\\/201808\\/20\\/111505racut3fuqpw7kskc.jpg'

只要用 re 模块的 sub 把 \ 替换成空字符即可，但是只能爬几个图片，然后就被反爬了

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
header={
   'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
}
html=requests.get(url=url,headers=header)
#print(html.text)
return html

# def get_list(html):
# html=html.text
# soup=BeautifulSoup(html,'html.parser')
# img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
# img_list=soup.find_all(img_re,soup)
# print(img_list)
#a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
#link_list=re.findall(a,html.text)

#return link_list
def get_list(html):
link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
#print(link_list)
return link_list

def main():
url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
html=get_html(url)
img_list=get_list(html)

for img_url in img_list:
   img_url = re.sub(r'\\','',img_url)
   img_name='美眉'+img_url.split('/')[-1]
   # print(img_name)
   with open(img_name,'wb') as f:
         # print('开始爬取图片')
         html=get_html(img_url)
         # print(html.content)
         f.write(html.content)
         print('爬取成功')

if __name__ == "__main__":
main()

Twilight6 发表于 2020-7-11 20:40:50

成功爬取 4 张然后好像就被反爬报错了....{:10_266:}

小甲鱼的铁粉 发表于 2020-7-11 20:47:30

{:10_257:}

tiger吴 发表于 2020-7-11 21:31:12

Twilight6 发表于 2020-7-11 20:40
成功爬取 4 张然后好像就被反爬报错了....

import re
import requests
from bs4 import BeautifulSoup

def get_html(url):
header={
   'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
}
html=requests.get(url=url,headers=header)
#print(html.text)
return html

# def get_list(html):
# html=html.text
# soup=BeautifulSoup(html,'html.parser')
# img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
# img_list=soup.find_all(img_re,soup)
# print(img_list)
#a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
#link_list=re.findall(a,html.text)

#return link_list
def get_list(html):
link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
new_list=[]
for each in link_list:
   each=re.sub(r'\\','',each)
   new_list.append(each)
#print(link_list)
return new_list

def main():
url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
html=get_html(url)
img_list=get_list(html)

for img_url in img_list:
   print(img_url)
   img_name='美眉/'+img_url.split('/')[-1]
   #print(img_name)
   with open(img_name,'wb') as f:
         # print('开始爬取图片')
         # html=get_html(img_list)
         # print(html.content)
         f.write(html.content)
         print('爬取成功')

if __name__ == "__main__":
main()
醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里，结果却能打印出图片了

Twilight6 发表于 2020-7-11 21:40:45

tiger吴发表于 2020-7-11 21:31
醉了，我把这个加在get_list函数里了，结果还是下载不了正常的图片
我看了下你的，只是放在main函数里 ...

我的重点是 for 循环里面有这个：

img_url = re.sub(r'\\','',img_url)

你都没认值看我的回复，代码前面我有说明呀...

tiger吴 发表于 2020-7-11 21:56:18

Twilight6 发表于 2020-7-11 21:40
我的重点是 for 循环里面有这个：

我也加了，和你加的位置不一样而已

Twilight6 发表于 2020-7-11 21:57:29

tiger吴发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已

这个多怕一下后台就把你请求阻断了然后回报错被强制断开链接，可能被检测出来是爬虫的了

Twilight6 发表于 2020-7-11 21:59:03

tiger吴发表于 2020-7-11 21:56
我也加了，和你加的位置不一样而已

你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图片二进制写入

tiger吴 发表于 2020-7-11 22:18:11

Twilight6 发表于 2020-7-11 21:59
你的 45 行代码 # html=get_html(img_list) 不能注释掉，因为你获取的是图片 url 要访问然后将返回的图 ...

这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的看些书学习下，你觉得哪本适合我这样的菜鸡看呢

a43145228 发表于 2020-7-11 22:30:43

还在学习中！！！！

Twilight6 发表于 2020-7-11 22:33:56

tiger吴发表于 2020-7-11 22:18
这是我调试时的失误，全部弄好后还是不行
这个算了，我觉得光看网上这些视频有点不够用，还是得系统性的 ...

书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925

tiger吴 发表于 2020-7-12 14:36:34

Twilight6 发表于 2020-7-11 22:33
书籍推荐爬虫篇：

https://www.zhihu.com/question/38801925

噢力给

页: [1]

鱼C论坛's Archiver

关于爬虫