对本站“妹子图“爬虫的运行错误求解
本人只是想先来找个项目试一试爬虫，可以说对于python什么都不会，解决不了下列问题，球球//爬取失败！
Traceback (most recent call last):
File "D:/Work/123/girls.py", line 93, in <module>
main()
File "D:/Work/123/girls.py", line 76, in main
page_group_list = get_page_group_list(url1)# 获取单页每组图片地址列表
File "D:/Work/123/girls.py", line 36, in get_page_group_list
page_group_list = re.findall(p, html)
File "D:\LeStoreDownload\python\lib\re.py", line 241, in findall
return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object
>>>
这位同志发的爬虫为什么我在运行时报错呢https://fishc.com.cn/thread-153404-1-1.html
import requests
import re
import os
from bs4 import BeautifulSoup
import time
def header(url):# 头文件，反反爬
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
'Referer': url}
return headers
def get_html_text(url):# 通用爬虫代码
try:
r = requests.get(url, headers=header(url))
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
print("爬取失败！")
def get_all_page_list(num):# 获取指定爬取数量的页面地址
all_page_list = []
for i in range(num):
all_page_list.append(f"https://www.mzitu.com/page/{i+1}/")# 修改后面的数，将从这页开始爬，比方说上次爬到第6页，这次从第7页开始，就把i+1改成i+7
return all_page_list
def get_page_group_list(url):# 获取单页每组图片地址
html = get_html_text(url)
p = r'<li><a href="(https://www.mzitu.com/\d*)'
page_group_list = re.findall(p, html)
return page_group_list
def get_every_group_pic_list(url):# 获取每组所有图片的地址
html = get_html_text(url)
soup = BeautifulSoup(html, 'lxml')
page_num = int(soup.find('div', 'pagenavi').find_all('span')[-2].string)# 获取每组图片的页数
every_group_pic_list = []
for i in range(page_num):
every_group_pic_list.append(f"{url}/{i+1}")
return every_group_pic_list
def get_save_pic(url): # 获取和保存图片文件
html = get_html_text(url)
soup = BeautifulSoup(html, 'lxml')
pic_src = soup.find('div', 'main-image').find('img')['src']
pic_name = pic_src.split('/')[-1]
root = "D://妹子图//"
path = root + soup.find('div', 'main-image').find('img')['alt'] + '//'
try:
os.mkdir(path)
os.chdir(path)
except FileExistsError:
pass
with open(pic_name, 'wb') as f:
f.write(requests.get(pic_src, headers=header(pic_src)).content)
def main():
num = int(input("请输入爬取的页数(共200多页，每页有24组图片)："))
all_page_list = get_all_page_list(num)# 获取需要爬取的总页数地址列表
print(all_page_list)
print("====================================================================")
for url1 in all_page_list:
page_group_list = get_page_group_list(url1)# 获取单页每组图片地址列表
print(page_group_list)
print("====================================================================")
for url2 in page_group_list:
every_group_pic_list = get_every_group_pic_list(url2)# 获取每组所有图片地址列表
for url3 in every_group_pic_list:
print(url3)
print("====================================================================")
get_save_pic(url3)# 获取并保存每组图片
time.sleep(1) # 一定要保留，如果太快，最多下两个图集就停了
try:
os.mkdir("D://妹子图")# 下载的图片存放在D盘的妹子图文件夹里
except:
pass
main()
isdkz 发表于 2022-3-4 21:30
换个网站吧，这个网站挂掉了，你在爬一个网站，或者运行别人的爬虫项目之前，
你先在浏览器上看看这个网 ...
我把"(https://www.mzitu.com）”中的网址全换成了一个可以访问的网站，为什么还是一样·的·错误？
all_page_list.append(f"https://www.mzitu.com/page/{i+1}/")第29行
p = r'<li><a href="(https://www.mzitu.com/\d*)' 第35行
starinblack 发表于 2022-3-5 00:20
我把"(https://www.mzitu.com）”中的网址全换成了一个可以访问的网站，为什么还是一样·的·错误？
a ...
每一个网站的html是不一样的，你拿这个爬取一个网站的去爬另一个网站，哪大概率是爬不到，要重写 换个网站吧，这个网站挂掉了，你在爬一个网站，或者运行别人的爬虫项目之前，
你先在浏览器上看看这个网站是不是可以访问的。
本人只是想先来找个项目试一试爬虫，可以说对于python什么都不会，解决不了下列问题，球球
爬虫起码要会py的基础，赶快去看看小甲鱼的py课程 本帖最后由 isdkz 于 2022-3-5 10:57 编辑
starinblack 发表于 2022-3-5 00:20
我把"(https://www.mzitu.com）”中的网址全换成了一个可以访问的网站，为什么还是一样·的·错误？
a ...
你换了网站，这个代码对网站的解析就不正确了呀，不同网站的结构是不一样的，
反爬措施也是不一样的，爬虫一般都是定制的，没有通用，通用的只有框架，
这个爬虫项目不适用了，不是说你换个网站用这个代码继续爬就行了，
你要学别人的思想对你要爬的网站来去定制爬虫 问题求助区里也有人学爬虫的，你可以在已解决的问题里找别人的项目来运行，
https://fishc.com.cn/forum.php?mod=redirect&goto=findpost&ptid=209831&pid=5758096
不过治标不治本，还是得靠你自己慢慢学才行，不要好高骛远
页:
[1]