Python crawler

wideband

1：import win32com.client

win32com.client 一个封装为.py的VBA，模拟用户对excel读和写操作，为python调用windows底层组建对word,excel,ppt等进行操作。
只能在windows下使用，并且要安装 office或者WPS.

wideband

2： from selenium import webdriver
selenium：英[səˈliːniəm，硒，是一个基于浏览器的自动化测试工具

1. zhangsan = webdriver.Chrome()#打开浏览器
   
2. zhangsan.get("https://www.taobao.com")#打开网站

复制代码

wideband

3：WebDriver元素定位方式： id,name,link_text 等。

1. zhangsan.find_element_by_link_text("亲，请登录").click()

复制代码

wideband

4：
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域，有成熟高效的scrapy-redis分布式策略。

爬虫分类：通用爬虫 和 聚焦爬虫——就是爬虫程序员所进行的工作，就是根客户的需求，爬取指定网站的特定内容。

2. python基础知识

urllib.request
urllib.parse
正则表达式等等基础知识。

4. 抓包工具

chrome浏览器的开发者模式，在这里可以检查网页的各种元素。
fiddler：原本是为测试来测试网站的，后来成了爬虫工程师最喜爱的工具。这是一款开源软件，可以直接去官网下载安装https://www.telerik.com/downl...
postman：可以根据请求头信息生成简单的网页爬取代码，界面相对于fiddler也要美观
motimproxy

简单的爬虫实例:一行代码爬取百度首页，如同在浏览器输入网址一样

1. import urllib.request
   
2. urllib.request.urlretrieve('http://www.baidu.com/', 'baidu.html')

复制代码

wideband

www.bilibili.com/video/BV1cd4y1y7d7/?p=4&spm_id_from=pageDriver&vd_source=bbd2966da727b3376515872084138922

wideband

5：获取content, 根据 当前的 url 的 response为准，如果 拿不到数据，就需要去其他 URL。

当前 url 的 elements 和 url 的 response 不一样。

页面上的数据在哪儿？ 当前 URL的response, 其他url的 response , js生成。

wideband

6:url的形式

形式 scheme://host[:port#]/path/…./[?query-string][#anchor]
scheme:协议(例如:http,https,ftp)
host:服务器的IP地址或域名
port:服务器的端口(如果是走协议默认端口，80or443)
path:访问资源的路径
query-string:参数，发送给http服务器的数据
anchor:锚(跳转到网页的指定锚点位置)主播
http://localhost:4000/file/part01/1.2.html http://item.id.com/11936238.html#product-detail

wideband

7： 种子URL， 网页源码，div标签，数据预处理，数据清洗； 分词语，索引， 引用次数，点击；  pagerank算法

      以图搜图，听歌识曲，以及 随着网络速率提升，可以根据视频搜索；
   
      /robots.txt 协议，网站告诉 user agent（身份，谁） 可以搜索哪些内容；

wideband

8：
### 页面上的数据在哪里
一 当前url地址对应的响应中
一 其他的url地址对应的响应中：比如ajax请求中
一 js生成的：部分数据在响应中，全部通过js生成

### requests中解决编解码的方法
一 response.content.decode()
一 response.content.decode("gbk")
一 response.text

wideband

9：作：实现任意贴吧的爬虫，保存网页到本地，流程：
      列表
      遍历
      保存

1. import requests
   
2. class TiebaSpider:
   
3.     def __init__(self,tieba_name):
   
4.         self.tieba_name = tieba_name # 下一行+tieba_name+，2个+？
   
5.         self.url_temp="https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
   
6.         self.headers={"User-Agent":"Mozilla/5.0(Macintosh; Intel Mac OS X 10_13_2)ApplewebKit/53"}
   
7. 
   
8.     def get_url_list(self):#1.构造url列表
   
9.         url_list = []
   
10.         for i in range(1000):
    
11.         url_list.append(self.url_temp.format(i*50)) return url_list
    
12.     def parse_url(self,url):#发送请求，获取响应
    
13.         print(url)
    
14.         response=requests.get(url,headers=self.headers)
    
15.         return response.content.decode()
    
16.     def save_html(self,html_str,page_num):#保存html字符串
    
17.         file path="1-第0页.html".format(self.tieba name,page num)
    
18.         with open(file path."w".encoding:"utf-8") as f: #"李毅-第4页.html"
    
19.         f.write(html_str)
    
20. 
    
21.     def run(self):#实现主要逻辑
    
22.         #1.构造url列表
    
23.         url_list= self.get_url_list()#2.遍历，发送请求，获取响应 for url in url list:
    
24.         html_str=self.parse_url(url)#3.保存
    
25.         page_num =url_list.index(url)+1 #页码数 self.save_html(html_str,page_num)
    
26. 
    
27. if __name__ == '__main__':
    
28.     tieba_spider = TiebaSpider("李毅")
    
29.     tieba_spider.run()
    
30.               

复制代码

wideband

10：
from selenium import webdriver
import win32com.client
msword = Dispatch('Word.Application')  # 用Dispatch()的方式將會啟動MS Word。

wideband

11：是否知道 服务器地址
      正向代理： Chrome等——>VPN代理 ——> 我们知道：google服务器
      反向代理： Chrome等——>nginx ——> 不知道：服务器

proxies, 高匿代理，哪些支持：https, post ，小于3S的延时，筛选 使用次数少的10个(服务器识别 非同一个人发出的爬虫)，检查IP可用性：在线代理IP质量检测网络，F12