Python爬虫学习笔记（一）——试水

language

       最近我在公司做一个爬虫项目，主要是一款扫描器url爬取的部分，由扫描器主程序发送需要爬取页面的url，然后由爬虫爬取，最后返回给扫描器，最先接触这个项目时我也是什么都不会，然后慢慢查资料，一步一步走过来了，现在项目差不过接近尾声了，当我再次逛论坛的时候发现了这个活动，虽说现在我是上班族，已经没有暑假了，但是仍然希望通过这个活动来记录下来自己在项目中学到的内容，算是一个回顾，如果能帮到大家，自然再好不过
       事先声明下，这篇帖子我不打算立马开始讲述如何编写这个爬虫，我想通过这个帖子说下接下来的计划，算是一个总览吧，也算是自己的一次试水，看看怎么参加这个活动
       首先我希望通过这个笔记回顾一下自己在项目中遇到的问题，学到的知识，我会将我在这个项目中划分的模块一一进行讲解说明，我会将其中涉及到的知识点根据我自己的感觉进行说明，如果我自己感觉应该是都会的将会直接挑过，而那些我自己画了一定时间去学习的东西我会将其进行说明，有的内容可能你们觉得比较简单的但是我花了大量时间进行研究，所以可能会讲的比较啰嗦，但是我可能会花好几篇帖子的篇幅来说明，希望大家见谅，另外对于一些知识点我可能会给一定的例子代码，但是这个代码不一定是真实运用到爬虫项目中只是为了说明知识点，而且我也不敢保证我给的代码没有任何问题，可能只是我当时测试没有什么问题。再就是我不可能提供整个爬虫的源代码，只能是根据思路给一定的例子代码，毕竟涉及到保密什么的，只是给大家一个思路。
       其次，这系列内容会不定时更新，可能会拖很久，毕竟上班了，不比之前在学校，而且项目块收尾了，现在面临大量的测试，偶尔会加班，这个时候可能就没有什么时间进行更新，但是我会抽时间进行更新，希望各位朋友喜欢。
       我代码的开发环境为kali Linux + python2.7 + pyqt(这个的版本我不是太清楚，我是直接使用pip下载的)
      
       最后感慨一下，时间过的很快，我最先知道鱼C，是在大三，那个时候自己在啃C语言的内容，当时很多东西都一知半解，后来有朋友跟我说，要想学好C，的先学会汇编，并给我推荐了鱼C（在这说一句：小甲鱼的汇编教程真的很不错） ，后来自己注册了账号，看别人发帖，偶尔看看别人的问题，回答下别人的问题，到现在这个可能是我第一次在本论坛发帖，时间一下子就过去了，自己已经毕业了，在这看到这个是针对在校学生的学习笔记，我这上班狗，不知道适不适合在这发这种东西 最后我想问问：你们有多少人是已经毕业了，开始工作了？
        真的很抱歉在这发了一篇毫无技术含量的灌水帖，我保证从下一篇帖子开始，正式记录我编写爬虫的各种问题☺