求解爬虫

xxwoaini897

1. import requests,json
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def gethtml(url):
   
6.    
   
7.     headers={
   
8.     "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
   
9.     "Cookie":"",        
   
10.     "Referer":"https://pic.sogou.com/pics?query=%E9%A2%86%E5%85%8B",
    
11.     }
    
12.     r=requests.get(url,headers=headers)     
    
13.     if r.status_code !=200:                 
    
14.         print("获取url：%s失败!"%(url))
    
15.         exit()
    
16.     return r                           
    
17. 
    
18. 
    
19. 
    
20. def getxpath(r,str):
    
21.     html = etree.HTML(r.text)
    
22.     reslist = html.xpath(str)
    
23.     return reslist
    
24. 
    
25. 
    
26. 
    
27. def writetxt(txtpath,data_str):                              
    
28.     with open(txtpath, "w") as f:
    
29.         f.write(str(data_str))
    
30. 
    
31. 
    
32. def writeimg(imgpath,content):        
    
33.     with open(imgpath, "wb") as f:
    
34.         f.write(content)
    
35. 
    
36. def get_sogou_jpg():
    
37.     url='https://pic.sogou.com/pics?query=%E9%A2%86%E5%85%8B'
    
38.     r=gethtml(url)
    
39.     jpg_url_list=getxpath(r,'//img[@id="videoApp"]/div/div[2]/div/ul/li[1]/div/a[1]/img/@src')
    
40.     jpg_url=jpg_url_list[0]
    
41.     jpg_url="https:"+jpg_url
    
42.     r=gethtml(jpg_url)
    
43.     writeimg('./搜狗jpg.png',r.content)
    
44.     print('恭喜爬到图片')
    
45.    
    
46. if __name__ == '__main__':
    
47. 
    
48.     get_sogou_jpg()
    
49.     print('恭喜')
    
50. 
    
51.         
    

复制代码

求解为啥超出范围，

°蓝鲤歌蓝

报错也贴上来

xxwoaini897

°蓝鲤歌蓝 发表于 2021-1-13 21:22
报错也贴上来

Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:59:51) [MSC v.1914 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>>
======================== RESTART: D:/桌面图标文件目录/妹子图.py ========================
Traceback (most recent call last):
  File "D:/桌面图标文件目录/妹子图.py", line 48, in <module>
    get_mezitu()
  File "D:/桌面图标文件目录/妹子图.py", line 40, in get_mezitu
    mezitu_url=mezitu_url_list[0]
IndexError: list index out of range
>>>

°蓝鲤歌蓝

xxwoaini897 发表于 2021-1-13 21:31
Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:59:51) [MSC v.1914 64 bit (AMD64)] on win32
Type ...

这个错误这么明显

1. jpg_url_list=getxpath(r,'//img[@id="videoApp"]/div/div[2]/div/ul/li[1]/div/a[1]/img/@src')

复制代码

上面那行代码匹配出来的列表为空列表，原因如下：
1. 可能是 r 没有内容
2. r 有内容，但是 内容 里没有你要匹配的字符串
3. 匹配规则有误
不过我建议你先学习怎么看报错和调试。

xxwoaini897

°蓝鲤歌蓝 发表于 2021-1-13 21:35
这个错误这么明显

上面那行代码匹配出来的列表为空列表，原因如下：

非常感谢您，都是断断续续自学了一点，哪里可以看到最新的爬虫教程？就想学会爬虫。

°蓝鲤歌蓝

xxwoaini897 发表于 2021-1-15 11:21
非常感谢您，都是断断续续自学了一点，哪里可以看到最新的爬虫教程？就想学会爬虫。

B站找个日期近的，播放人数较多，评论里说还可以，自己看着也还行的视频就 OK 了。