|
|
马上注册，结交更多好友，享用更多功能^_^
您需要 登录 才可以下载或查看，没有账号？立即注册
x
本人只是想先来找个项目试一试爬虫，可以说对于python什么都不会，解决不了下列问题，球球
//爬取失败！
Traceback (most recent call last):
File "D:/Work/123/girls.py", line 93, in <module>
main()
File "D:/Work/123/girls.py", line 76, in main
page_group_list = get_page_group_list(url1) # 获取单页每组图片地址列表
File "D:/Work/123/girls.py", line 36, in get_page_group_list
page_group_list = re.findall(p, html)
File "D:\LeStoreDownload\python\lib\re.py", line 241, in findall
return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object
>>>
这位同志发的爬虫为什么我在运行时报错呢https://fishc.com.cn/thread-153404-1-1.html
import requests
import re
import os
from bs4 import BeautifulSoup
import time
def header(url): # 头文件，反反爬
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
'Referer': url}
return headers
def get_html_text(url): # 通用爬虫代码
try:
r = requests.get(url, headers=header(url))
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
print("爬取失败！")
def get_all_page_list(num): # 获取指定爬取数量的页面地址
all_page_list = []
for i in range(num):
all_page_list.append(f"https://www.mzitu.com/page/{i+1}/") # 修改后面的数，将从这页开始爬，比方说上次爬到第6页，这次从第7页开始，就把i+1改成i+7
return all_page_list
def get_page_group_list(url): # 获取单页每组图片地址
html = get_html_text(url)
p = r'<li><a href="(https://www.mzitu.com/\d*)'
page_group_list = re.findall(p, html)
return page_group_list
def get_every_group_pic_list(url): # 获取每组所有图片的地址
html = get_html_text(url)
soup = BeautifulSoup(html, 'lxml')
page_num = int(soup.find('div', 'pagenavi').find_all('span')[-2].string) # 获取每组图片的页数
every_group_pic_list = []
for i in range(page_num):
every_group_pic_list.append(f"{url}/{i+1}")
return every_group_pic_list
def get_save_pic(url): # 获取和保存图片文件
html = get_html_text(url)
soup = BeautifulSoup(html, 'lxml')
pic_src = soup.find('div', 'main-image').find('img')['src']
pic_name = pic_src.split('/')[-1]
root = "D://妹子图//"
path = root + soup.find('div', 'main-image').find('img')['alt'] + '//'
try:
os.mkdir(path)
os.chdir(path)
except FileExistsError:
pass
with open(pic_name, 'wb') as f:
f.write(requests.get(pic_src, headers=header(pic_src)).content)
def main():
num = int(input("请输入爬取的页数(共200多页，每页有24组图片)："))
all_page_list = get_all_page_list(num) # 获取需要爬取的总页数地址列表
print(all_page_list)
print("====================================================================")
for url1 in all_page_list:
page_group_list = get_page_group_list(url1) # 获取单页每组图片地址列表
print(page_group_list)
print("====================================================================")
for url2 in page_group_list:
every_group_pic_list = get_every_group_pic_list(url2) # 获取每组所有图片地址列表
for url3 in every_group_pic_list:
print(url3)
print("====================================================================")
get_save_pic(url3) # 获取并保存每组图片
time.sleep(1) # 一定要保留，如果太快，最多下两个图集就停了
try:
os.mkdir("D://妹子图") # 下载的图片存放在D盘的妹子图文件夹里
except:
pass
main()
换个网站吧，这个网站挂掉了，你在爬一个网站，或者运行别人的爬虫项目之前，
你先在浏览器上看看这个网站是不是可以访问的。
|
|
( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)
狗仔卡
发表于 2022-3-4 21:03:16
置顶卡
千斤顶
显身卡
楼主
发表于 2022-3-5 10:36:38
