外国的爬虫

qq1084799589

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. from fake_useragent import UserAgent
   
6. import re
   
7. from openpyxl import Workbook
   
8. import time
   
9. 
   
10. wb = Workbook()
    
11. ws = wb.active
    
12. ws.title = "Sheet1"
    
13. #   获取采集的条码
    
14. csv_str = open('book0906.csv','r')
    
15. #   按行读取
    
16. list_d = csv_str.readlines()
    
17. #   代理地址
    
18. proxies = {
    
19.     'https':'http://127.0.0.1:1080'
    
20. }
    
21. user_agent = UserAgent(use_cache_server=False)
    
22. #   获取内容网站的url地址
    
23. def url(self):
    
24.     headers = {
    
25.                     "user-agent": user_agent.random
    
26.                 }
    
27.     html = requests.get(self,proxies=proxies,headers=headers).text
    
28.     bs4 = BeautifulSoup(html,'html.parser')
    
29.     html_bs4 = bs4.find(class_='resultBooksImg resultBooksImg')
    
30.     urld = 'https://www.sanmin.com.tw/'+re.sub('href=|"','',re.findall('href=".*?"',str(html_bs4))[0])
    
31.     return urld
    
32. class book():
    
33.     #   获取书籍内容
    
34.     def book_lr(self):
    
35.         book_lrs =[]
    
36.         ddd = self.find(class_='bookProject tabsview')
    
37.         for d in ddd.find_all(class_='productContent'):
    
38.             book_lrs.append(d.text)
    
39.         return book_lrs
    
40.     #   书籍信息
    
41.     def book_xx(self):
    
42.         book_xx =[]
    
43.         for d in self.find_all(class_='mainText ga'):
    
44.             book_xx.append(d.text)
    
45.         return book_xx
    
46.     def book_sx(self):
    
47.         for i in bookxx:
    
48.             if  len(re.findall(self,i)) == 1:
    
49.                 jj = re.sub(self + '|\：','',i)
    
50.                 return jj
    
51.             else:
    
52.                 pass
    
53. 
    
54. for str_list_num in list_d:
    
55.     try:
    
56.         books = []
    
57.         headers = {
    
58.                         "user-agent": user_agent.random
    
59.                     }
    
60.         str_list = str_list_num.strip('\n')
    
61.         url1 = url('https://www.sanmin.com.tw/search/index/?ct=ISBN&qu='+str_list+'&ls=SD')
    
62.         html = requests.get(url1,proxies=proxies,headers=headers).text
    
63.         bs4 = BeautifulSoup(html,'html.parser')
    
64.         book_name = bs4.find(class_='bookStatusInfor')
    
65.         bookxx = book.book_xx(book_name)
    
66.         books.append(str_list)
    
67.         books.append(book_name.find('li').text)
    
68.         books.append(book.book_sx('作者'))
    
69.         mony = re.findall('[0-9].*[0-9]',re.findall('定.*.?元',bs4.find(class_='bookStatusAddCtrl').text)[0])
    
70.         books.append(mony[0])
    
71.         books.append(book.book_sx('規格'))
    
72.         books.append(re.findall('[0-9].*[0-9]',book.book_sx('裝訂／頁數'))[0])
    
73.         books.append(re.sub('／','',re.findall('.*／',book.book_sx('裝訂／頁數'))[0]))
    
74.         books.append(book.book_sx('出版日'))
    
75.         kc = re.findall('預購中.*|庫存.*',bs4.find(class_='bookStatusAddCtrl').text)[0]
    
76.         books.append(kc)
    
77.         books.append(book.book_sx('圖書分類'))
    
78.         books.append(book.book_lr(bs4)[0])
    
79.         try:
    
80.             books.append(book.book_lr(bs4)[1])
    
81.         except:
    
82.             books.append('')
    
83.         try:
    
84.             books.append(book.book_lr(bs4)[3])
    
85.         except:
    
86.             books.append('')
    
87.         ws.append(books)
    
88.         wb.save('sanmin.xlsx')
    
89. 
    
90.     except:
    
91.         pass
    
92. wb.close()

复制代码