如何找到这个页面的链接

py大神

最近想爬取这个网站http://www.ncme.org.cn/ProjectList.do下的课程目录，但是找不到相应链接：如图1.全在一个span的标签里，我也不懂js，不知道有没有大神指导一下

wp231957

1. const http=require("http");
   
2. //打印中国继续医学教育网所有学科名称
   
3. surl="http://www.ncme.org.cn/ProjectList.do";
   
4. req=http.request(surl,
   
5.     res=>{
   
6.             var strs=[];
   
7.             res.on('data', buffer => {//请求到的数据都在这里了
   
8.                 strs.push(buffer);
   
9.             });
   
10.       
    
11.             res.on('end', () => {  //end 请求完成，对数据进行处理的过程
    
12.                 var cheerio = require('cheerio');   //高仿jquery对dom进行解析的模块
    
13.                 let buff = Buffer.concat(strs);     //对请求回来的数据进行Buffer封装，这里的结果是二进制
    
14.                 let iconv = require('iconv-lite');  //  转码模块。。。nodejs安装模块npm install ...
    
15.                 html=iconv.decode(buff,"utf8");     // 转码，把二进制转成我们能读懂的string
    
16.                 $ = cheerio.load(html);     //导入文本，以便解析器能够解析
    
17.                 paritem=$("li[class='so_many item_list']").find("span");   //以下是解析过程，不多说
    
18.                 for(var x =0;x<paritem.length;x++){
    
19.                     bm_c=$(paritem).eq(x).text();
    
20.                     console.log(bm_c);
    
21.                 }   
    
22.                
    
23.             });
    
24.             //这里好像还应该有个res.on("error"()=>{});
    
25. });
    
26. req.end();  //结束请求，必须，否则会一直请求

复制代码

E:\wp>node app4
全部
全科医学
妇产科学
儿科学
精神卫生学
康复医学
医学教育与卫生管理
传染病学
骨外科学
泌尿外科学
外科学其他学科
耳鼻喉科
呼吸病学
烧伤外科学
重症医学
肿瘤外科学
麻醉学
超声诊断学
儿科护理学
心血管病学
眼科学
神经外科学
外科护理学
内分泌学
普通外科学
神经内科学
血液病学
急诊学
病理学
营养与食品卫生学
整形、器官移植外科学
口腔内科学
护理其他学科
内科学其他学科
内科护理学
公共卫生与预防医学其他学科
胃肠病学
药学其他学科
心胸外科学

E:\wp>

wp231957

没审题，你要找链接，我还以为是要这些文本
pass掉好了

wp231957

这些学科是没有链接的，他都是通过post参数传到服务器的

py大神

wp231957 发表于 2020-3-16 09:30
这些学科是没有链接的，他都是通过post参数传到服务器的

学校要上网课，但是这些网课有的长，有的短，有的要看视频，有的只需要浏览文档就行了。我就想把那些只需要浏览文档的网课找出来，不知道大神有没有办法帮忙写个爬虫，悬赏可以提高的。

wp231957

py大神 发表于 2020-3-16 10:11
学校要上网课，但是这些网课有的长，有的短，有的要看视频，有的只需要浏览文档就行了。我就想把那些只需 ...

不知道你要哪部分数据
下面代码是能拿到儿科护理学的网页源码，不过好像也都是做防护了

1. const http=require("http");
   
2. const querystr=require("querystring");
   
3. //探索医学继续教育网学科部分（没有HREF，是用post请求参数方式）
   
4. 
   
5. //构造参数
   
6. var xueke="儿科护理学";
   
7. var post_data=querystr.stringify({
   
8.     "search_input":"",
   
9.     "xueke":xueke,
   
10.     "brand":"",
    
11.     "mode":"",
    
12.     "pid":xueke,
    
13.     "sign":"",
    
14.     "level_h":"-1",
    
15.     "forma":"",
    
16.     "score_sort":"",
    
17.     "cost_sort":""
    
18. 
    
19. });
    
20. var contentLen = Buffer.byteLength(post_data, 'utf8');
    
21. // 构建options
    
22. var options={
    
23.     hostname:"www.ncme.org.cn",
    
24.     port:80,
    
25.     path:"/ProjectList.do",
    
26.     method:"POST",
    
27.     headers: {'Content-Type': 'application/x-www-form-urlencoded','Content-Length': contentLen}
    
28. };
    
29. req=http.request(options,
    
30.     res=>{
    
31.             var strs=[];
    
32.             res.on('data', buffer => {//请求到的数据都在这里了
    
33.                 strs.push(buffer);
    
34.             });
    
35.       
    
36.             res.on('end', () => {  //end 请求完成，对数据进行处理的过程
    
37.               
    
38.                 let buff = Buffer.concat(strs);     //对请求回来的数据进行Buffer封装，这里的结果是二进制
    
39.                 let iconv = require('iconv-lite');  //  转码模块。。。nodejs安装模块npm install ...
    
40.                 html=iconv.decode(buff,"utf8");     // 转码，把二进制转成我们能读懂的string
    
41.                 console.log(html);
    
42.                      
    
43.             });
    
44.             //这里好像还应该有个res.on("error"()=>{});
    
45. });
    
46. req.write(post_data);//发送内容
    
47. 
    
48. req.end();  //结束请求，必须，否则会一直请求

复制代码

ArmandXiao

这是post请求 获取不到链接的

xuechong

加我详聊Q：3338679865