爬取网站数据时，运行后python没有反应也没有报错

我打人很温柔的

在爬去网站数据时，运行代码，没有报错也没有出结果，不知道是什么原因，还望前辈给纠正一下呀

（运行后只能显示到这一步）
=================== RESTART: C:\Users\ccy\Desktop\大众点评.py ===================
>>>

1. import bs4
   
2. import requests
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
   
7.    
   
8.     res = requests.get(url, headers = headers)
   
9. 
   
10.     return res
    
11. 
    
12. def main():
    
13.     host = 'http://www.dianping.com/search/keyword/10/10_%E8%81%9A%E9%A4%90/o2'
    
14.     res = open_url(host)
    
15. 
    
16. 
    
17. def find_food(url):
    
18.    
    
19. 
    
20.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
21.     #店
    
22.     dian = []
    
23. 
    
24.     targets = soup.find_all('div',class_ = 'tit')
    
25. 
    
26.     for each in targets:
    
27.         dian.append(each.a.h4.text)
    
28. 
    
29.     #分数
    
30.     ranks = []
    
31. 
    
32.     targets = soup.find_all('span',class_ = 'comment-list')
    
33. 
    
34.     for each in targets:
    
35.         ranks.append('评分:%s'%each.span.b.text)
    
36. 
    
37.     #推荐菜
    
38.     dish = []
    
39. 
    
40.     targets = soup.find_all('div',class_ = 'recommend')
    
41. 
    
42.     for each in targets:
    
43.         dish.append(each.a.recommend-click.text)
    
44. 
    
45. 
    
46.     result = []
    
47.     length = len(dian)
    
48.     for i in range(length):
    
49.         result.append(dian[i] + ranks[i] + dish[i] + '\n')
    
50. 
    
51.     return result
    
52. 
    
53.     with open ('大众点评餐厅.txt', 'w', encoding = 'utf-8')as f:
    
54.         for each in result:
    
55.             f.write(each)
    
56. 
    
57. if __name__ == '__main__':
    
58.     main()
    

复制代码

新手·ing

1. import bs4
   
2. import requests
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
   
7.    
   
8.     res = requests.get(url, headers = headers)
   
9. 
   
10.     return res
    
11. def find_food(res):
    
12.    
    
13. 
    
14.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
15.     #店
    
16.     dian = []
    
17. 
    
18.     targets = soup.find_all('div',class_ = 'tit')
    
19. 
    
20.     for each in targets:
    
21.         dian.append(each.a.h4.text)
    
22. 
    
23.     #分数
    
24.     ranks = []
    
25. 
    
26.     targets = soup.find_all('span',class_ = 'comment-list')
    
27. 
    
28.     for each in targets:
    
29.         ranks.append('评分:%s'%each.span.b.text)
    
30. 
    
31.     #推荐菜
    
32.     dish = []
    
33. 
    
34.     targets = soup.find_all('div',class_ = 'recommend')
    
35. 
    
36.     for each in targets:
    
37.         dish.append(each.a.recommend-click.text)
    
38. 
    
39. 
    
40.     result = []
    
41.     length = len(dian)
    
42.     for i in range(length):
    
43.         result.append(dian[i] + ranks[i] + dish[i] + '\n')
    
44. 
    
45.     return result
    
46. 
    
47.     with open ('大众点评餐厅.txt', 'w', encoding = 'utf-8')as f:
    
48.         for each in result:
    
49.             f.write(each)
    
50. def main():
    
51.     host = 'http://www.dianping.com/search/keyword/10/10_%E8%81%9A%E9%A4%90/o2'
    
52.     res = open_url(host)
    
53.     find_food(res)
    
54. 
    
55. 
    
56. 
    
57. 
    
58. if __name__ == '__main__':
    
59.     main()
    

复制代码

漫步云端〃

先看看你需要的模块有没有导入，requests和BS4都是需要单独PIP安装的。requests和urllib不一样，requests是不需要添加表头user-agent的。
另外，去核对一下网址，一般这种点评网址都有好几页的，你多点几页看看是不是你登录栏的网址。每一页的page_url也是有差别的。

暂时就知道这么多。

Will_M

感觉你的代码是从哪儿复制粘贴的呢？因为你的find food这个函数根本没有用上啊

chxchxkkk

return result

    with open ('大众点评餐厅.txt', 'w', encoding = 'utf-8')as f:
        for each in result:
            f.write(each)

写入文件这一块根本没有运行，函数遇到return语句就会结束，return后面的语句不会执行
比如：
def temp():
    print('我在returm前面')
    s = 'www'
    return s
    print('我在return后面')

temp()
结果：
D:\program\python37\python.exe F:/pythonlianxi/MyTest/test.py
我在returm前面

Process finished with exit code 0

我打人很温柔的

Will_M 发表于 2019-7-13 09:31
感觉你的代码是从哪儿复制粘贴的呢？因为你的find food这个函数根本没有用上啊

非常感谢你的解答呀，这个代码是看的小甲鱼教学的视频，然后想自己尝试爬取别的数据来仿照着写的。
看来还是我这技术太菜了。 函数都没用上

我打人很温柔的

漫步云端〃 发表于 2019-7-13 08:41
先看看你需要的模块有没有导入，requests和BS4都是需要单独PIP安装的。requests和urllib不一样，requests是 ...

谢谢呀，非常感谢解答。模块之前都安装好了的。 是我没理解这些函数的用法， 只仿制别人的来写了

我打人很温柔的

Will_M 发表于 2019-7-13 09:31
感觉你的代码是从哪儿复制粘贴的呢？因为你的find food这个函数根本没有用上啊

还有 想弱弱的问一句。这个怎么看出来find food的函数是没有用上的呢？

我打人很温柔的

chxchxkkk 发表于 2019-7-13 18:12
return result

    with open ('大众点评餐厅.txt', 'w', encoding = 'utf-8')as f:

多谢解答呀！！！懂了，原来是这个的问题，基础完全为零。
非常感谢了 ，我去修改试试看。

我打人很温柔的

新手·ing 发表于 2019-7-13 06:46

多谢解答呀，我把这个代码再好好研究下，应该是return的这个原因

Will_M

我打人很温柔的 发表于 2019-7-13 21:44
还有 想弱弱的问一句。这个怎么看出来find food的函数是没有用上的呢？

首先你的程序入口是main（）函数吧，然后main()函数里面就只调用了open url（）函数，而且open url（）函数里面也没有调用find food这个函数，这样整个程序就结束了，所以你的find food函数只定义了而没有调用。

我打人很温柔的

Will_M 发表于 2019-7-13 22:11
首先你的程序入口是main（）函数吧，然后main()函数里面就只调用了open url（）函数，而且open url（）函 ...

非常感谢，这会懂了，激动的要捂嘴哭了
非常感谢耐心解答