[已解决]小白求助：为什么这个15行的小爬虫什么也爬不出来？

青松100

以下代码是某视频的老师的代码。我复制过来，可是什么出输出不了？

能不能请大神帮忙看看？　到底是我搞错了，还是　这个视频太久了，现在百度启用反爬机制等之类的原因？

1. 
   
2. 
   
3. import urllib.request,re
   
4. keywd="韦玮"
   
5. keywd=urllib.request.quote(keywd)
   
6. #page=(num-1)*10
   
7. for i in range(1,11):
   
8.     url="http://www.baidu.com/s?wd="+keywd+"&pn="+str((i-1)*10)
   
9.     data=urllib.request.urlopen(url).read().decode("utf-8")
   
10.     pat="title:'(.*?)',"
    
11.     pat2='"title":"(.*?)",'
    
12.     rst1=re.compile(pat).findall(data)
    
13.     rst2=re.compile(pat2).findall(data)
    
14.     for j in range(0,len(rst1)):
    
15.         print(rst1[j])
    
16.     for z in range(0,len(rst2)):
    
17.         print(rst2[z])
    
18. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-7-14 19:45:15

quote() 函数是在 urllib.parse 模块里面的，不是在 urllib.request 里。

这样就有内容输出了：

1. import urllib.request, urllib.parse, re
   
2. 
   
3. keywd = "韦玮"
   
4. keywd = urllib.parse.quote(keywd)
   
5. # page=(num-1)*10
   
6. for i in range(1, 11):
   
7.     url = "http://www.baidu.com/s?wd=" + keywd + "&pn=" + str((i - 1) * 10)
   
8.     data = urllib.request.urlopen(url).read().decode("utf-8")
   
9.     pat = "title:'(.*?)',"
   
10.     pat2 = '"title":"(.*?)",'
    
11.     rst1 = re.compile(pat).findall(data)
    
12.     rst2 = re.compile(pat2).findall(data)
    
13.     for j in range(0, len(rst1)):
    
14.         print(rst1[j])
    
15.     for z in range(0, len(rst2)):
    
16.         print(rst2[z])

复制代码

跳转到最佳答案楼层

zltzlt

quote() 函数是在 urllib.parse 模块里面的，不是在 urllib.request 里。

这样就有内容输出了：

1. import urllib.request, urllib.parse, re
   
2. 
   
3. keywd = "韦玮"
   
4. keywd = urllib.parse.quote(keywd)
   
5. # page=(num-1)*10
   
6. for i in range(1, 11):
   
7.     url = "http://www.baidu.com/s?wd=" + keywd + "&pn=" + str((i - 1) * 10)
   
8.     data = urllib.request.urlopen(url).read().decode("utf-8")
   
9.     pat = "title:'(.*?)',"
   
10.     pat2 = '"title":"(.*?)",'
    
11.     rst1 = re.compile(pat).findall(data)
    
12.     rst2 = re.compile(pat2).findall(data)
    
13.     for j in range(0, len(rst1)):
    
14.         print(rst1[j])
    
15.     for z in range(0, len(rst2)):
    
16.         print(rst2[z])

复制代码

xiaofeiyu

能输出呀

青松100

zltzlt 发表于 2020-7-14 19:45
quote() 函数是在 urllib.parse 模块里面的，不是在 urllib.request 里。

这样就有内容输出了：

@zltzlt
@xiaofeiyu

谢谢两位大佬指教，小白很是感谢。

我的运行环境是WIN7,　PYTHON　3.8.3　

昨天输出来，没有报错，可是啥内容也没有。就是>>>>几个这个。

今天我重装Python, 就有内容输出了。加了Z大神的parse之后，输出更多。

小白觉得两位大佬都有道理，可是答案只能选一个，请谅。