正则表达式的用法

alltolove

1. package main
   
2. 
   
3. import (
   
4.         "fmt"
   
5.         "io/ioutil"
   
6.         "net/http"
   
7.         "regexp"
   
8.         "strings"
   
9. )
   
10. 
    
11. func main() {
    
12.         resp, err := http.Get("http://www.baidu.com")
    
13.         // resp, err := http.Get("http://www.163.com")
    
14.         if err != nil {
    
15.                 fmt.Println("http get error.")
    
16.         }
    
17.         defer resp.Body.Close()
    
18.         body, err := ioutil.ReadAll(resp.Body)
    
19.         if err != nil {
    
20.                 fmt.Println("http read error")
    
21.         }
    
22. 
    
23.         src := string(body)
    
24. 
    
25.         //将HTML标签全转换成小写
    
26.         re, _ := regexp.Compile("\\<[\\S\\s]+?\\>")
    
27.         src = re.ReplaceAllStringFunc(src, strings.ToLower)
    
28. 
    
29.         //去除STYLE
    
30.         re, _ = regexp.Compile("\\<style[\\S\\s]+?\\</style\\>")
    
31.         src = re.ReplaceAllString(src, "")
    
32. 
    
33.         //去除SCRIPT
    
34.         re, _ = regexp.Compile("\\<script[\\S\\s]+?\\</script\\>")
    
35.         src = re.ReplaceAllString(src, "")
    
36. 
    
37.         //去除所有尖括号内的HTML代码，并换成换行符
    
38.         re, _ = regexp.Compile("\\<[\\S\\s]+?\\>")
    
39.         src = re.ReplaceAllString(src, "\n")
    
40. 
    
41.         //去除连续的换行符
    
42.         re, _ = regexp.Compile("\\s{2,}")
    
43.         src = re.ReplaceAllString(src, "\n")
    
44. 
    
45.         fmt.Println(strings.TrimSpace(src))
    
46. }
    

复制代码