Java爬虫 day2

不解春风意

今天学习的是带参数的get请求，代码如下：

1. package test;
   
2. 
   
3. import org.apache.http.HttpEntity;
   
4. import org.apache.http.client.methods.CloseableHttpResponse;
   
5. import org.apache.http.client.methods.HttpGet;
   
6. import org.apache.http.client.utils.URIBuilder;
   
7. import org.apache.http.impl.client.CloseableHttpClient;
   
8. import org.apache.http.impl.client.HttpClients;
   
9. import org.apache.http.util.EntityUtils;
   
10. 
    
11. import java.io.IOException;
    
12. import java.net.URISyntaxException;
    
13. 
    
14. public class HttpGetParamTest {
    
15.     public static void main(String[] args) throws URISyntaxException {
    
16.         //创建HttpClient对象
    
17.         CloseableHttpClient httpClient = HttpClients.createDefault();
    
18. 
    
19.         //设置请求地址是：http://www.itcast.cn/search?keys=Java
    
20.         //创建URIBuilder
    
21.         URIBuilder uriBuilder = new URIBuilder("http://www.itcast.cn/search");
    
22. 
    
23.         //设置参数
    
24.         uriBuilder.setParameter("keys", "Java");
    
25. 
    
26.         //创建HttpGet对象发起get请求,设置url访问地址
    
27. //        HttpGet httpGet = new HttpGet("http://www.itcast.cn");
    
28.         HttpGet httpGet = new HttpGet(uriBuilder.build());
    
29.         httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36");
    
30.         System.out.println("发起请求的地址是：" + httpGet);
    
31. 
    
32.         CloseableHttpResponse response = null;
    
33.         try {
    
34.             //使用HttpClient对象发起请求，获取response
    
35.             response = httpClient.execute(httpGet);
    
36. 
    
37.             //解析响应，获取数据
    
38.             //判断状态码是否是200
    
39.             if (response.getStatusLine().getStatusCode() == 200) {
    
40.                 HttpEntity httpEntity = response.getEntity();
    
41.                 String content = EntityUtils.toString(httpEntity, "utf8");
    
42.                 System.out.println("内容的长度是："+content.length());
    
43.             }else
    
44.             {
    
45.                 //如果返回状态不是200，比如404（页面不存在）等，根据情况做处理，这里略
    
46.                 System.out.println("返回状态不是200");
    
47.                 System.out.println(EntityUtils.toString(response.getEntity(), "utf-8"));
    
48.             }
    
49. 
    
50.         } catch (IOException e) {
    
51.             e.printStackTrace();
    
52.         } finally {
    
53.             try {
    
54.                 response.close();
    
55.             } catch (IOException e) {
    
56.                 e.printStackTrace();
    
57.             }
    
58.             try {
    
59.                 httpClient.close();
    
60.             } catch (IOException e) {
    
61.                 e.printStackTrace();
    
62.             }
    
63.         }
    
64.     }
    
65. 
    
66. 
    
67. }
    

复制代码

个人感觉带参数的方法挺麻烦的，要创建一个URIBuilder对象，还要调用方法将参数贴合进url里。我觉着与其这样，还不如用字符串的加法方便，将url利用加法整合完以后直接当作HttpGet的参数也挺香的。
当然这只是一己之见，不喜勿喷