分享一下昨天写的爬虫代码

自学小白菜

说明：
由于最近在忙着学校内的事情，所以并没有时间为大家添加更加细致的图片分析（就是具体的对网页的分析过程），请见谅，等有时间就会补上
这些案例，在写这条分享时测验过，可以成功，但是不保证能百分百成功（特别时自动签到的，因为只能实验一次，但是这次是成功了的，所以不敢打包票）



案列一：自动登录🐟c网站并签到
代码如下（写了算是比较清除的解释）：

1. # -*- coding:utf-8 -*-
   
2. # Author: 自学小白菜
   
3. 
   
4. '''
   
5. 说明：
   
6. 需要的环境：
   
7. Chrome浏览器（谷歌浏览器）和chromedriver
   
8. 第三方模块：selenium
   
9. '''
   
10. 
    
11. from selenium import webdriver
    
12. import time
    
13. 
    
14. #安装chromedriver的路劲
    
15. path = r'D:\CHROM\chrome\chromedriver.exe'
    
16. 
    
17. def sign_in(driver):
    
18.     #转到签到页面
    
19.     sign_url = driver.find_element_by_xpath('//li[@id="mn_Nac60"]/a').get_attribute('href') #获取’签到‘按钮的href属性
    
20.     driver.get(sign_url)
    
21.     time.sleep(2)
    
22.     # print(sign_url)
    
23. 
    
24.     #开始签到
    
25.     sign_button_tag = driver.find_element_by_id('JD_sign')
    
26.     sign_button_tag.click()
    
27.     print('签到成功')
    
28.     time.sleep(2)
    
29. 
    
30. 
    
31. def login(driver):
    
32.     url = 'https://fishc.com.cn/forum.php'
    
33.     driver.get(url)
    
34.     #测试是否能够返回正确html
    
35.     # print(driver.page_source)
    
36. 
    
37.     # #获取输入的tag和登录的按钮
    
38.     username_tag = driver.find_element_by_id('ls_username')
    
39.     password_tag = driver.find_element_by_id('ls_password')
    
40.     button_tag = driver.find_element_by_xpath('//button[@type="submit"]')
    
41. 
    
42.     #输入用户名和密码
    
43.     username = input('请输入用户名：')
    
44.     password = input('请输入密码：')
    
45. 
    
46.     #向输入框输入
    
47.     username_tag.send_keys(username)
    
48.     password_tag.send_keys(password)
    
49.     #确认登录
    
50.     button_tag.click()
    
51.     time.sleep(2)
    
52.     sign_in(driver)
    
53.     #测试用的，保存截图，证明登陆成功
    
54.     # time.sleep(5)
    
55.     # driver.save_screenshot('fishc.jpg')
    
56. 
    
57. 
    
58. def main():
    
59.     driver = webdriver.Chrome(executable_path=path)
    
60.     login(driver)
    
61. 
    
62. 
    
63. if __name__ == '__main__':
    
64.     main()
    

复制代码

案例二：使用requests爬取一个壁纸网站
代码如下：

1. # -*- coding:utf-8 -*-
   
2. # Author: 自学小白菜
   
3. import requests
   
4. from lxml import etree
   
5. import time
   
6. from urllib import request
   
7. 
   
8. '''
   
9. 所需库：
   
10. lxml
    
11. requests
    
12. '''
    
13. 
    
14. BASE_PATH='http://pic.netbian.com'
    
15. 
    
16. def parse_page(url):
    
17.     #标准的头部信息（我发现这个网站反爬虫做的并不是很厉害，好像不需要headers都可以爬）
    
18.     headers = {
    
19.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    
20.     }
    
21.     response = requests.get(url,headers=headers)
    
22.     #这里这个网站采取的gbk方式编码（可以在该网页处右击查看源码，搜索charset，里面就有它的编码方式）
    
23.     text = response.content.decode('gbk')
    
24.     #这里使用了xpath的解析方式，有兴趣的可以使用bs4或者正则
    
25.     html = etree.HTML(text)
    
26. 
    
27.     #获取图片的src属性，由于src只有部分，差了http://pic.netbian.com这一部分，所以后面会加上
    
28.     image_list = html.xpath('//img/@src')
    
29.     #删除无用图片，因为该网站的图片，有几张是没有用的，所以就删除了
    
30.     image_list.pop(-1)
    
31.     image_list.pop(-1)
    
32.     #获取图片标题
    
33.     title_list = html.xpath('//img/@alt')
    
34.     #删除一些不需要的标题，同图片一样，也是有一些不要的标题信息
    
35.     title_list.pop(0)
    
36.     title_list.pop(0)
    
37.     title_list.pop(0)
    
38.     title_list.pop(0)
    
39.     title_list.pop(-1)
    
40.     title_list.pop(-1)
    
41.     #测试是否正确
    
42.     # print(len(image_list),len(title_list))
    
43.    
    
44.     #zip是内置函数
    
45.     for value in zip(title_list,image_list):
    
46.         title,image = value
    
47.         image = BASE_PATH+image
    
48.         #urllib的request库中有一个专门下载图片等的函数，十分简便，就是urlretrieve，第一个参数是url，第二个是参数是存放的地址，这里我在其当前py文件夹下创建了images文件夹
    
49.         request.urlretrieve(image,'images/'+title+'.jpg')
    
50. 
    
51. 
    
52. 
    
53. def main():
    
54.     page = int(input('请输入需要爬取多少页：'))
    
55.     #因为第一页的url和第二页以后的url不同，所以单独处理
    
56.     urls = []
    
57.     nums = 0
    
58.     for i in range(1,page+1):
    
59.         if i == 1:
    
60.             url = 'http://pic.netbian.com/index.html'
    
61.         else:
    
62.             url = 'http://pic.netbian.com/index_{page_num}.html'.format(page_num=i)
    
63.         urls.append(url)
    
64.         parse_page(url) #分析网页的函数
    
65.         time.sleep(2)
    
66. 
    
67. if __name__ == '__main__':
    
68.     main()

复制代码

案例三：登陆豆瓣并爬取生化危机（可指定）影评

1. # -*- coding:utf-8 -*-
   
2. # Author: 自学小白菜
   
3. 
   
4. import requests
   
5. from lxml import etree
   
6. 
   
7. def parse_page(session,url):
   
8.     #设置头部信息
   
9.     headers = {
   
10.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36',
    
11.         'Referer':'https://search.douban.com/movie/subject_search?search_text=shenghuaweiji+&cat=1002'
    
12.     }
    
13.     #获取response响应
    
14.     response = session.get(url,headers=headers)
    
15.     text = response.content.decode('utf-8')
    
16.     #测试用的
    
17.     # print(text)
    
18. 
    
19.     #下面使用xpath进行解析
    
20.     html = etree.HTML(text)
    
21.     review_list = html.xpath('//div[@class="main review-item"]')
    
22.     for review_tag in review_list:
    
23.         name_list = review_tag.xpath('.//header[@class="main-hd"]//a[@class="name"]/text()')
    
24.         content_list = review_tag.xpath('.//div[@class="main-bd"]//div[@class="short-content"]/text()')
    
25.         for content in content_list:
    
26.             print(content)
    
27. 
    
28. 
    
29. def get_comments(session):
    
30.     #豆瓣影评的url分析，这里爬取的是生化危机，大家可以自己修改url，就可以爬取其他电影了
    
31.     target_url = 'https://movie.douban.com/subject/1306809/reviews?start={page}'
    
32.     nums = int(input('请输入需要爬取多少页的影评：'))
    
33.     for i in range(0,nums):
    
34.         url = target_url.format(page=i*20)
    
35.         parse_page(session,url) #分析函数
    
36. 
    
37. 
    
38. def login():
    
39.     '''
    
40.     登录豆瓣
    
41.     :return: return session
    
42.     '''
    
43. 
    
44.     #获取session对象
    
45.     session = requests.Session()
    
46.     login_url = 'https://accounts.douban.com/j/mobile/login/basic'
    
47. 
    
48.     #设置头部信息
    
49.     headers = {
    
50.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36',
    
51.         'Referer': 'https://accounts.douban.com/passport/login_popup?login_source=anony'
    
52.     }
    
53.     #输入信息
    
54.     username = input('请输入用户名:')
    
55.     password = input('请输入密码:')
    
56. 
    
57.     #设置data属性
    
58.     data = {
    
59.         'name':username,
    
60.         'password':password,
    
61.         'remember':'false'
    
62.     }
    
63. 
    
64.     #尝试登陆
    
65.     try:
    
66.         response = session.post(login_url,headers=headers,data=data)
    
67.         text = response.content.decode('utf-8')
    
68.         print(text)
    
69.     except Exception as e:
    
70.         print('登录失败,原因是',e)
    
71. 
    
72.     #返回session对象
    
73.     return session
    
74. 
    
75. def main():
    
76.     session = login()
    
77.     get_comments(session)
    
78. 
    
79. 
    
80. if __name__ == '__main__':
    
81.     main()

复制代码

自学小白菜

补充一下：自动签到的没有考虑安全问题，主要是我没有设置安全问题。

Hdabo

学习，学习了。。。。

自为其主

自学小白菜 发表于 2020-9-26 00:30
补充一下：自动签到的没有考虑安全问题，主要是我没有设置安全问题。

楼主我用的2012，复制进去怎么报错45个

自学小白菜

自为其主 发表于 2020-9-26 17:29
楼主我用的2012，复制进去怎么报错45个

抱歉，最近有点忙，没有及时回复。
如果你有空的话，可以把你的错误信息发给我一下，我帮你看看

自学小白菜

等我晚上有空了，把具体的步骤和截图重新发给大家。

互相学习

自学小白菜

大家如果对于自动登录不太懂，可以看看我新发的贴子，抽打游戏时间赶出来的。

自学小白菜

剩余的两个案例，看大家需不需要，如果需要就做一个详细的分析。

或则说大家还需要爬虫的案例，我还写了一些可以分享给大家，主要最近在把休闲时间来拿学爬虫，所以爬虫的案例多一点，有关于爬虫不懂的可以留言问我，大家一起进步

自为其主

自学小白菜 发表于 2020-9-26 20:54
抱歉，最近有点忙，没有及时回复。
如果你有空的话，可以把你的错误信息发给我一下，我帮你看看

木事，我又去学其他的拉，谢谢