利用PYTHON导出双色球数据

zhongyong6899

http://www.zhcw.com/ssq/
利用python导出中彩网双色球2018年1月1日至2018年10月28日的开奖数据，并保存至EXCEL中。

zhongyong6899

请求高手及时指导。

foxiangzun

1. # coding=utf-8
   
2. 
   
3. '''
   
4. 福利彩票，抓取2018年全年中奖号码
   
5. '''
   
6. 
   
7. import requests
   
8. from lxml import etree
   
9. 
   
10. def getLottery() :
    
11.         # 实际地址，经过浏览器捕捉，发现是这个地址后面带上页码加上.html
    
12.         url = r'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'
    
13.         headers = {
    
14.                 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'
    
15.         }
    
16.         for i in range(8, 16) :
    
17.                 realURL = url + str(i) + '.html'
    
18.                 response = requests.get(realURL, headers = headers)
    
19.                 content = etree.HTML(response.text)
    
20.                 # 这里是以表格来排布，前两行是表头，无需抓取，
    
21.                 # 从第三行到倒数第二行为开奖信息，这里用循环处理
    
22.                 for j in range(3, 23) :
    
23.                         label_td = 1
    
24.                         # 获取开奖日期、期号和中奖号码的标签位置
    
25.                         lotteryDatePath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td) + "]/text()"
    
26.                         dateNumPath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td + 1) + "]/text()"
    
27.                         ballNumPath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td + 2) + "]/em/text()"
    
28. 
    
29.                         # 获取各标签位的内容
    
30.                         lotteryDate = content.xpath(lotteryDatePath)[0]
    
31.                         dateNum = content.xpath(dateNumPath)[0]
    
32.                         ballNum = content.xpath(ballNumPath)
    
33.                         realBallNum = ' '.join(ballNum)
    
34. 
    
35.                         print(lotteryDate, ' ', dateNum, ' ', realBallNum)
    
36. 
    
37. getLottery()

复制代码

还没写完，先把每一期的号码抓下来，待会儿把写入 excel 的操作弄出来了，再把全量代码贴上来。

foxiangzun

1. # coding=utf-8
   
2. 
   
3. '''
   
4. 福利彩票，抓取2018年全年中奖号码
   
5. '''
   
6. 
   
7. import requests
   
8. import time
   
9. import random
   
10. import openpyxl as opxl
    
11. from lxml import etree
    
12. 
    
13. class lottery() :
    
14.         def __init__(self, *avgr):
    
15.                 self.saveLocation = saveLocation
    
16.                 self.wb = opxl.Workbook()
    
17.                 self.sheet = self.wb.active
    
18. 
    
19.         def getLottery(self) :
    
20.                 # 设置sheet页名称
    
21.                 self.sheet.title = '彩票中奖号码'
    
22.                 # 为Excel当前页添加标题栏
    
23.                 self.sheet.append(['开奖日期', '期号', '中奖号码'])
    
24.                 # 实际地址，经过浏览器捕捉，发现是这个地址后面带上页码再加上.html
    
25.                 url = r'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'
    
26.                 headers = {
    
27.                         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'
    
28.                 }
    
29.                 for i in range(8, 16) :
    
30.                         realURL = url + str(i) + '.html'
    
31.                         response = requests.get(realURL, headers = headers)
    
32.                         content = etree.HTML(response.text)
    
33.                         # 这里是以表格来排布，前两行是表头，无需抓取，
    
34.                         # 从第三行到倒数第二行为开奖信息，这里用循环处理
    
35.                         for j in range(3, 23) :
    
36.                                 # 初始化各信息所在的具体位置，为获取信息复用
    
37.                                 # 初始化临时列表，后续用作写入Excel
    
38.                                 label_td, tempList = 1, []
    
39. 
    
40.                                 # 获取开奖日期、期号和中奖号码的标签位置
    
41.                                 lotteryDatePath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td) + "]/text()"
    
42.                                 dateNumPath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td + 1) + "]/text()"
    
43.                                 ballNumPath = "/html/body/table/tr[" + str(j) + "]/td[" + str(label_td + 2) + "]/em/text()"
    
44. 
    
45.                                 # 获取各标签位的内容
    
46.                                 lotteryDate = content.xpath(lotteryDatePath)[0]
    
47.                                 dateNum = content.xpath(dateNumPath)[0]
    
48.                                 ballNum = content.xpath(ballNumPath)
    
49.                                 realBallNum = ' '.join(ballNum)
    
50. 
    
51.                                 # 数据临时装载，为写入Excel做准备
    
52.                                 tempList.append(lotteryDate)
    
53.                                 tempList.append(dateNum)
    
54.                                 tempList.append(realBallNum)
    
55. 
    
56.                                 # 写入Excel
    
57.                                 self.sheet.append(tempList)
    
58. 
    
59.                         # 为防止网站禁用 IP，没抓取一页，休眠3到5秒
    
60.                         time.sleep(random.randint(3, 5))
    
61. 
    
62.                 # 保存Excel，并将其关闭
    
63.                 self.wb.save(self.saveLocation)
    
64.                 self.wb.close()
    
65.                 del tempList
    
66.                 print("Excel写入完毕！")
    
67. 
    
68. 
    
69. if __name__ == "__main__" :
    
70.         # 设置保存路径
    
71.         saveLocation = r'C:\Users\Administrator\Desktop\彩票.xlsx'
    
72.         lc = lottery(saveLocation)
    
73.         lc.getLottery()

复制代码

怕楼主不知道逻辑，所以注释写的很啰嗦，如果网站没有封锁 IP 的风险，那么休眠那一行可以去掉，time 库和 random 库也可以不要

图片也在本楼的回复里，可以查看效果。

zhongyong6899

请问高手foxiangzun上面的日期在哪里体现？
如果只需要2018年1月1日至2018年10月28日的开奖数据如何更改。

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

foxiangzun

zhongyong6899 发表于 2019-12-24 16:22
请求高手foxiangzun及时回复，万分感谢！

两种方法，一种是在获取日期后，将日期转化成 Python 的日期格式，然后用 if 条件来判断就行了；另一种是直接将日期字段获取到后，以字符串进行分片然后判断，或者干脆将日期里的“-”去掉，然后比较大小就行了。

zhongyong6899

或者干脆将日期里的“-”去掉，然后比较大小就行了。具体改哪一行，如何改？请详细程序。万分感谢。

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

gywjj

不知道楼主想知道这个的主要目的是什么，如果只是要数据，完全可以用上面的程序跑下来，在再EXCEL里处理，如果是想学习如何处理日期，for i in range(8, 16)  这个已经是设定了18年的大概范围，随着时间的增加，这个数据会变，要精确到你想要的日期，就只有在数据采完后，再进一步加工，tempList 生成完后，用pandas弄吧，要简单些。我只晓得思路，具体代码一时弄不出来。

zhongyong6899

或者干脆将日期里的“-”去掉，然后比较大小就行了。具体改哪一行，如何改？请详细程序。万分感谢。请求高手foxiangzun及时回复，万分感谢！

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

czfasaoyou

foxiangzun 发表于 2019-12-24 14:39
怕楼主不知道逻辑，所以注释写的很啰嗦，如果网站没有封锁 IP 的风险，那么休眠那一行可以去掉，time  ...

厉害了

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

zhongyong6899

请求高手foxiangzun及时回复，万分感谢！

gywjj

我看楼主一直在问，我帮你简单把 foxiangzun 的代码完善下吧
  原代码中for i in range(8, 16) : 修改为 for i in range(8, 17) : 不然2018年数据取不完。
  # 写入Excel
  self.sheet.append(tempList)
修改为：
# 写入Excel
data_temp=int(tempList[0].replace("-",""))  #将日期中的“-”去掉，转换为数值型。
if 20180101<data_temp<20181028:   #比较日期
    self.sheet.append(tempList)           #将范围内的数据写入表格
其它都不变，就可以达到你想要的效果了

zhongyong6899

# coding=utf-8

'''
福利彩票，抓取2018年全年中奖号码
'''

import requests
import time
import random
import openpyxl as opxl
from lxml import etree

class lottery() :
        def __init__(self, *avgr):
                self.saveLocation = saveLocation
                self.wb = opxl.Workbook()
                self.sheet = self.wb.active

        def getLottery(self) :
                # 设置sheet页名称
                self.sheet.title = '彩票中奖号码'
                # 为Excel当前页添加标题栏
                self.sheet.append(['开奖日期', '期号', '中奖号码'])
                # 实际地址，经过浏览器捕捉，发现是这个地址后面带上页码再加上.html
                url = r'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'
                headers = {
                        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'
                }
                for i in range(8, 16) :
                        realURL = url + str(i) + '.html'
                        response = requests.get(realURL, headers = headers)
                        content = etree.HTML(response.text)
   

zhongyong6899

data_temp=int(tempList[0].replace("-",""))  #将日期中的“-”去掉，转换为数值型。
if20180101<data_temp<20181028:   #比较日期
    self.sheet.append(tempList)           #将范围内的数据写入表格

具体在哪里改？万分感谢！