关于爬虫的问题

1b1n1m

为什么我的代码输入网址以后就不动了:

1. import urllib.request
   
2. import re
   
3. 
   
4. #定义网页抓取函数
   
5. def source(url):
   
6.     print("正在分析url...")
   
7.     source = urllib.request.urlopen(url)
   
8.     html = source.read()
   
9.     html = html.decode("utf - 8")
   
10.     print("网页抓取完毕...")
    
11.     return html
    
12. #正则过滤函数
    
13. def filter(html):
    
14.     print("正在进行正则表达式匹配...")
    
15.     re.sub('<br/>', '\n', html)#将网页中的换行符转换为\n
    
16.     regular = "[\u4e00-\u9fa5]+|\d+|\n|，|。|：|“|”"#正则表达式筛选出汉字和汉字标点符号
    
17.     doc = re.findall(regular,html)
    
18.     for i in range(170):
    
19.         doc.pop(0)
    
20.     for i in range(145):
    
21.         doc.pop()
    
22.     print("正则表达式匹配结束...")
    
23.     return doc
    
24. #写入txt文件函数
    
25. def txt(doc):  
    
26.     print("正在追加写入文档...")
    
27.     txt = ''.join(doc)
    
28.     f = open("重生之神级学霸.txt",'a')
    
29.     print("写入完毕...")
    
30.     print(txt)
    
31.     return txt
    
32. url = input("请输入需要爬的网址:\n")
    
33. S = source(url)
    
34. html = filter(S)
    
35. txt(html)
    
36. print("程序结束!!!")

复制代码

amanionly

想问个小白的问题，python学完能让我们怎么应用，比如楼主用python爬一些网上的数据，这跟搜索引擎有啥区别。

Krant5

截图,没图没真相

ba21

1b1n1m

ba21 发表于 2017-8-19 15:56

在Python官方的IED上面可以运行,但是使用VScode就会出现卡死的情况,这个很是蛋疼啊

1b1n1m

amanionly 发表于 2017-8-19 10:51
想问个小白的问题，python学完能让我们怎么应用，比如楼主用python爬一些网上的数据，这跟搜索引擎有啥区别 ...

跟搜索引擎的区别在于,写爬虫可以自动化的检索你需要的信息而不需要你自己手动操作,比如在草榴上面把图片都爬下来放在电脑里面慢慢看.

amanionly

六楼  《草榴》  行家呀  例子举的很清晰。

说正经的，索搜引擎只是搜到，还是在网上，自己编写出来的爬虫下载到本地，那这样来说意义不大呀，python除了爬网上的信息以外，python还能有啥其他的应用么。

1b1n1m

amanionly 发表于 2017-8-21 08:58
六楼  《草榴》  行家呀  例子举的很清晰。

说正经的，索搜引擎只是搜到，还是在网上，自己编写 ...

据说华尔街的天才们做量化交易用的就是Python哦~这个应用很牛逼了吧?现在大热的机器学习往往也用Python实现~