[已解决]爬虫入门问题

jfmlj

想写个成语查询的小程序，通过对某个网站比如 http://m.t086.com/chengyu 的抓取来实现
感觉应该很简单，但是不知道从何入手，想请教一下

最佳答案

月排行榜 / 总排行榜

gopythoner

2018-5-4 15:56:54

jfmlj 发表于 2018-5-4 15:30
我也知道简单，但是简单的我也不知道从哪里下手啊，下图片什么的模仿别人的也能写，但是这种涉及到post g ...

1. import requests
   
2. 
   
3. def get_html(text):
   
4.   url = 'http://m.t086.com/index.php'
   
5.   params = {
   
6.     'c':'chengyu',
   
7.     'm':'chaxun',
   
8.     'q':text
   
9.   }
   
10.   html = requests.get(url,params=params).text
    
11.   print(html)
    
12. 
    
13.   
    
14. get_html('闻鸡起舞')

复制代码

就这么简单，请求之后，如果有结果，结果就在网页中，根据你要提取的东西选择提取方式，那是后续要做的事情了

跳转到最佳答案楼层

BngThea

看小甲鱼老师的教程，仿造着写

gopythoner

这个网站的爬虫很简单，但是建议你换一个比较正规的网站，这个网站太垃圾了，就是个广告网站

jfmlj

gopythoner 发表于 2018-5-4 13:23
这个网站的爬虫很简单，但是建议你换一个比较正规的网站，这个网站太垃圾了，就是个广告网站

我也知道简单，但是简单的我也不知道从哪里下手啊，下图片什么的模仿别人的也能写，但是这种涉及到post get的就不会了

gopythoner

jfmlj 发表于 2018-5-4 15:30
我也知道简单，但是简单的我也不知道从哪里下手啊，下图片什么的模仿别人的也能写，但是这种涉及到post g ...

1. import requests
   
2. 
   
3. def get_html(text):
   
4.   url = 'http://m.t086.com/index.php'
   
5.   params = {
   
6.     'c':'chengyu',
   
7.     'm':'chaxun',
   
8.     'q':text
   
9.   }
   
10.   html = requests.get(url,params=params).text
    
11.   print(html)
    
12. 
    
13.   
    
14. get_html('闻鸡起舞')

复制代码

就这么简单，请求之后，如果有结果，结果就在网页中，根据你要提取的东西选择提取方式，那是后续要做的事情了

jfmlj

gopythoner 发表于 2018-5-4 15:56
就这么简单，请求之后，如果有结果，结果就在网页中，根据你要提取的东西选择提取方式，那是后续要做 ...

params = {
    'c':'chengyu',
    'm':'chaxun',
    'q':text
  }

这一块是根据审查元素页面的哪个部分写的，有点不理解，可以截个图吗？

gopythoner

                               
登录/注册后可看大图

其实这个请求只需要看HTML中的form标签就行了，我说了这个网页做的很简单，看表单就知道请求和提交的是什么