添加语句使其导出固定日期的数据

zhongyong6899 · 发表于 2019-11-25 11:10:21

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 zhongyong6899 于 2019-11-25 13:29 编辑

 下面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。

import requests
import re
import xlwt
import time

def get_all_page():
global all_page
url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html"
reponse = requests.get(url=url)
reponse.encoding='utf-8'
html = reponse.text
all_page = int(re.findall(r"class=\"pg\".*?(.*?)",html)[0])
return all_page

def get_num():
k = -1
f = xlwt.Workbook(encoding='utf-8')
sheet01 = f.add_sheet(u'sheel1', cell_overwrite_ok=True)

for page_num in range(1,all_page):
 url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list_"+str(page_num)+".html"
 reponse = requests.get(url=url)
 time.sleep(5)
 reponse.encoding = 'utf-8'
 html = reponse.text
 rule = r"<tr>.*?<td align=\"center\">(.*?)</td>.*?<td align=\"center\">(.*?)</td>.*?<td align=\"center\" style=\"padding-left:10px;\">.*?(.*?).*?(.*?).*?(.*?).*?(.*?).*?(.*?).*?(.*?).*?(.*?)</td>"
 num = re.findall(rule, html, re.S | re.M)
 # f = xlwt.Workbook(encoding='utf-8')
 # sheet01 = f.add_sheet(u'sheel1', cell_overwrite_ok=True)
 sheet01.write(0, 0, "日期")
 sheet01.write(0, 1, "期数")
 sheet01.write(0, 2, "第一个红球")
 sheet01.write(0, 3, "第二个红球")
 sheet01.write(0, 4, "第三个红球")
 sheet01.write(0, 5, "第四个红球")
 sheet01.write(0, 6, "第五个红球")
 sheet01.write(0, 7, "第六个红球")
 sheet01.write(0, 8, "蓝球")
 print("正在写入第%s页" % (page_num))
 for i in range(0,len(num)):
 k += 1
 sheet01.write(k + 1, 0, num[i][0])
 sheet01.write(k + 1, 1, num[i][1])
 sheet01.write(k + 1, 2, num[i][2])
 sheet01.write(k + 1, 3, num[i][3])
 sheet01.write(k + 1, 4, num[i][4])
 sheet01.write(k + 1, 5, num[i][5])
 sheet01.write(k + 1, 6, num[i][6])
 sheet01.write(k + 1, 7, num[i][7])
 sheet01.write(k + 1, 8, num[i][8])
f.save("双色球统计结果.xls")

if __name__ == '__main__':
get_all_page()
get_num()

zhongyong6899 · 发表于 2019-11-25 12:58:49

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-11-26 15:52:12

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-11-28 21:29:42

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-11-29 08:59:53

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-11-30 08:37:23

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-1 09:04:30

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-2 14:21:09

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-3 15:43:02

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-13 20:19:56

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-14 15:24:38

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-17 14:15:24

请高手及时回复，万分感谢！

zhongyong6899 · 发表于 2019-12-18 13:40:43

请高手及时回复，万分感谢！

gywjj · 发表于 2019-12-18 15:07:49

这个程序最后写入有问题，运行结果有误，你最好改成这样再弄，
         sheet01.write(k + 1, 0, num[k][0])
         sheet01.write(k + 1, 1, num[k][1])
         sheet01.write(k + 1, 2, num[k][2])
         sheet01.write(k + 1, 3, num[k][3])
         sheet01.write(k + 1, 4, num[k][4])
         sheet01.write(k + 1, 5, num[k][5])
         sheet01.write(k + 1, 6, num[k][6])
         sheet01.write(k + 1, 7, num[k][7])
         sheet01.write(k + 1, 8, num[k][8])

如果不怕时间上的浪费，应该在最后一个for循环下，K+＝1，后面，用一个if 判段 num[k][0] 在你要求的范围内就行了。但由涉及时间上的转换，你要查找一下相关资料。我也是初学者，不熟。
如果要讲效果，还需要在all_page上下功，第一个函数不要，网页上每页20条，你根据时间算一个，你要的开始日期大概在多少页开始，就直接填那个数，这样不用取所有的了。再在最后写个判断
，只把你要的日期写在文件里。

zhongyong6899 · 发表于 2019-12-19 14:01:33

上面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。

涵水亮 · 发表于 2019-12-19 21:10:38

新手看蒙了

zhongyong6899 · 发表于 2019-12-20 11:13:01

上面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。

账号		自动登录	找回密码
密码			立即注册