爬妹子图求解

xxwoaini897

1. import requests,json
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def gethtml(url):
   
6.    
   
7.     headers={
   
8.     "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
   
9.     "Cookie":"",        
   
10.     "Referer":"https://www.mzitu.com/217910/40",
    
11.     }
    
12.     r=requests.get(url,headers=headers)     
    
13.     if r.status_code !=200:                 
    
14.         print("获取url：%s失败!"%(url))
    
15.         exit()
    
16.     return r                           
    
17. 
    
18. 
    
19. 
    
20. def getxpath(r,str):
    
21.     html = etree.HTML(r.text)
    
22.     reslist = html.xpath(str)
    
23.     return reslist
    
24. 
    
25. 
    
26. 
    
27. def writetxt(txtpath,data_str):                              
    
28.     with open(txtpath, "w") as f:
    
29.         f.write(str(data_str))
    
30. 
    
31. 
    
32. def writeimg(imgpath,content):        
    
33.     with open(imgpath, "wb") as f:
    
34.         f.write(content)
    
35. 
    
36. def get_mezitu():
    
37.     url='https://www.mzitu.com/217910/40'
    
38.     r=gethtml(url)
    
39.     mezitu_url_list=getxpath(r,'img/html/body/div[2]/div[1]/div[3]/p/a/img/@src')
    
40.     mezitu_url=mezitu_url_list[0]
    
41.     mezitu_url="https:"+mezitu_url
    
42.     r=gethtml(mezitu_url)
    
43.     writeimg('./妹子jpg.png',r.content)
    
44.     print('恭喜爬到图片')
    
45.    
    
46. if __name__ == '__main__':
    
47. 
    
48.     get_mezitu()
    
49.     print('恭喜')

复制代码

下面是报错信息，求大神告诉如何修改。

1. Traceback (most recent call last):
   
2.   File "D:/桌面图标文件目录/妹子图.py", line 48, in <module>
   
3.     get_mezitu()
   
4.   File "D:/桌面图标文件目录/妹子图.py", line 40, in get_mezitu
   
5.     mezitu_url=mezitu_url_list[0]
   
6. IndexError: list index out of range
   
7. >>>

复制代码

小甲鱼的铁粉

1. mezitu_url_list=getxpath(r,'img/html/body/div[2]/div[1]/div[3]/p/a/img/@src')

复制代码

你的这种爬虫我也看不懂，但是是这里出了问题，导致mezitu_url_list是一个空列表，所以超出限制
你检查一下你的getxpath函数吧

xxwoaini897

小甲鱼的铁粉 发表于 2021-1-13 22:22
你的这种爬虫我也看不懂，但是是这里出了问题，导致mezitu_url_list是一个空列表，所以超出限制
你检查 ...

copy xpath 的路径是        /html/body/div[2]/div[1]/div[3]/p/a/img   这里要如何写?

笨鸟学飞

别纠结了。你这个很显然是解析网页数据的时候出现了问题，可能是模块问题，也可能是你用法错了
最简单的还是建议换方式吧。现在爬虫用的比较多的是requests，BeautifulSoup模块，和lxml解析器

模块导入：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. # lxml解析器不需要导入

复制代码

获取网页文本可以这么写：

1. def getHTMLText(url):
   
2.     try:
   
3.         res = requests.get(url, timeout=30)
   
4.         res.raise_for_status()  # 如果状态不是200，即未成功获得数据则抛出异常
   
5.         res.encoding = res.apparent_encoding  # 用备用编码解码数据
   
6.         return res.text
   
7.     except:
   
8.         return '爬取异常，异常url:' + url

复制代码

解析可以用：

1. soup = BeautifulSoup(res.text,'lxml')
   
2. temp = soup.select('dd > a') # 函数筛选
   
3. # 或者用的比较多的正则
   
4. id = re.find_all('"ID":"(.*?)","', res.text)  # 正则表达式
   
5. soup.find_all(‘div’,class_=’item’)  # BeautifulSoup查找
   
6. # 或者直接获取属性
   
7. soup.a.attrs

复制代码

这都是当下用的最多最常见的，用的人多了应该就比较稳定了吧，强烈建议试试
你用的这么冷门的，也查不到什么资料，可能很多人也和我一样根本没用过你用的方法
就没法给你解答了。。。

xxwoaini897

笨鸟学飞 发表于 2021-1-13 22:57
别纠结了。你这个很显然是解析网页数据的时候出现了问题，可能是模块问题，也可能是你用法错了
最简单的还 ...

感谢。

笨鸟学飞

随便写了个代码，凑合看看吧

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def getHTMLtext(url):
   
6.     i = 0
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
   
9.     }
   
10.     try:
    
11.         res = requests.get(url, headers=headers)
    
12.         res.raise_for_status()
    
13.         res.encoding = res.apparent_encoding
    
14.         return res.text
    
15.     except:
    
16.         i += 1
    
17.         print('第%d次爬取失败！正在重试···' % i)
    
18.         getHTMLtext(url)
    
19. 
    
20. 
    
21. def main():
    
22.     url = 'https://www.mzitu.com/217910/40'
    
23.     html = getHTMLtext(url)
    
24.     soup = BeautifulSoup(html,'lxml')
    
25.     jpg = soup.find_all('img', class_='blur')
    
26.     jpg = jpg[0].get('src')
    
27.     print(jpg)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()

复制代码