[已解决]为什么写出来的网站爬虫运行没有反应？

czh6541

爬虫网站：https://www.dytt8.net/html/gndy/dyzz/list_23_1.html
代码如下：
import urllib.request,urllib.error

def main():
    baseurl="https://www.dytt8.net/html/gndy/dyzz/list_23_1.html"

    # 1.爬取网页
    datalist=getData(baseurl)
    savepath=".\\电影天堂TOP250.xls"
    saveDate(savepath)

    askURL("https://www.dytt8.net/html/gndy/dyzz/list_23_1.html")


#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,10):    #调用获取页面信息的函数，10次
        url = baseurl + str(i*25)
        html = askURL(url)   #保存获取到的网页源码

    #2.逐一解析数据
    return datalist


#得到指定一个url的网页内容
def askURL(url):
    head={#模拟浏览器头部，向豆瓣服务器发送消息
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 86.0 .4240 .198Safari / 537.36"

          }

  #用户代理表示告诉豆瓣服务器，我们是什么类型的机器
    request = urllib.request.Request(url,headers=head)
    html=""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("gbk")
        print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html



#保存数据
def saveData(savepath):
    print("save...")

最佳答案

月排行榜 / 总排行榜

specail

2022-3-24 10:02:11

没有调用怎么能运行呢？加上最后的部分

1. import urllib.request,urllib.error
   
2. 
   
3. def main():
   
4.     baseurl="https://www.dytt8.net/html/gndy/dyzz/list_23_1.html"
   
5. 
   
6.     # 1.爬取网页
   
7.     datalist=getData(baseurl)
   
8.     savepath=".\\电影天堂TOP250.xls"
   
9.     saveData(savepath)
   
10. 
    
11.     askURL("https://www.dytt8.net/html/gndy/dyzz/list_23_1.html")
    
12. 
    
13. 
    
14. #爬取网页
    
15. def getData(baseurl):
    
16.     datalist=[]
    
17.     for i in range(0,10):    #调用获取页面信息的函数，10次
    
18.         url = baseurl + str(i*25)
    
19.         html = askURL(url)   #保存获取到的网页源码
    
20. 
    
21.     #2.逐一解析数据
    
22.     return datalist
    
23. 
    
24. 
    
25. #得到指定一个url的网页内容
    
26. def askURL(url):
    
27.     head={#模拟浏览器头部，向豆瓣服务器发送消息
    
28.         "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 86.0 .4240 .198Safari / 537.36"
    
29. 
    
30.           }
    
31. 
    
32.   #用户代理表示告诉豆瓣服务器，我们是什么类型的机器
    
33.     request = urllib.request.Request(url,headers=head)
    
34.     html=""
    
35.     try:
    
36.         response = urllib.request.urlopen(request)
    
37.         html = response.read().decode("gbk")
    
38.         print(html)
    
39.     except urllib.error.URLError as e:
    
40.         if hasattr(e,"code"):
    
41.             print(e.code)
    
42.         if hasattr(e,"reason"):
    
43.             print(e.reason)
    
44.     return html
    
45. 
    
46. 
    
47. 
    
48. #保存数据
    
49. def saveData(savepath):
    
50.     print("save...")
    
51. 
    
52. 
    
53. if __name__ == "__main__":
    
54.     main()

复制代码

跳转到最佳答案楼层

specail

没有调用怎么能运行呢？加上最后的部分

1. import urllib.request,urllib.error
   
2. 
   
3. def main():
   
4.     baseurl="https://www.dytt8.net/html/gndy/dyzz/list_23_1.html"
   
5. 
   
6.     # 1.爬取网页
   
7.     datalist=getData(baseurl)
   
8.     savepath=".\\电影天堂TOP250.xls"
   
9.     saveData(savepath)
   
10. 
    
11.     askURL("https://www.dytt8.net/html/gndy/dyzz/list_23_1.html")
    
12. 
    
13. 
    
14. #爬取网页
    
15. def getData(baseurl):
    
16.     datalist=[]
    
17.     for i in range(0,10):    #调用获取页面信息的函数，10次
    
18.         url = baseurl + str(i*25)
    
19.         html = askURL(url)   #保存获取到的网页源码
    
20. 
    
21.     #2.逐一解析数据
    
22.     return datalist
    
23. 
    
24. 
    
25. #得到指定一个url的网页内容
    
26. def askURL(url):
    
27.     head={#模拟浏览器头部，向豆瓣服务器发送消息
    
28.         "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 86.0 .4240 .198Safari / 537.36"
    
29. 
    
30.           }
    
31. 
    
32.   #用户代理表示告诉豆瓣服务器，我们是什么类型的机器
    
33.     request = urllib.request.Request(url,headers=head)
    
34.     html=""
    
35.     try:
    
36.         response = urllib.request.urlopen(request)
    
37.         html = response.read().decode("gbk")
    
38.         print(html)
    
39.     except urllib.error.URLError as e:
    
40.         if hasattr(e,"code"):
    
41.             print(e.code)
    
42.         if hasattr(e,"reason"):
    
43.             print(e.reason)
    
44.     return html
    
45. 
    
46. 
    
47. 
    
48. #保存数据
    
49. def saveData(savepath):
    
50.     print("save...")
    
51. 
    
52. 
    
53. if __name__ == "__main__":
    
54.     main()

复制代码

czh6541

specail 发表于 2022-3-24 10:02
没有调用怎么能运行呢？加上最后的部分

可以了，多谢大佬