zhongyong6899 发表于 2019-11-25 11:10:21

添加语句使其导出固定日期的数据

本帖最后由 zhongyong6899 于 2019-11-25 13:29 编辑

下面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。

import requests
import re
import xlwt
import time

def get_all_page():
    global all_page
    url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html"
    reponse = requests.get(url=url)
    reponse.encoding='utf-8'
    html = reponse.text
    all_page = int(re.findall(r"class=\"pg\".*?<strong>(.*?)</strong>",html))
    return all_page

def get_num():
    k = -1
    f = xlwt.Workbook(encoding='utf-8')
    sheet01 = f.add_sheet(u'sheel1', cell_overwrite_ok=True)

    for page_num in range(1,all_page):
      url = "http://kaijiang.zhcw.com/zhcw/html/ssq/list_"+str(page_num)+".html"
      reponse = requests.get(url=url)
      time.sleep(5)
      reponse.encoding = 'utf-8'
      html = reponse.text
      rule = r"<tr>.*?<td align=\"center\">(.*?)</td>.*?<td align=\"center\">(.*?)</td>.*?<td align=\"center\" style=\"padding-left:10px;\">.*?<em class=\"rr\">(.*?)</em>.*?<em class=\"rr\">(.*?)</em>.*?<em class=\"rr\">(.*?)</em>.*?<em class=\"rr\">(.*?)</em>.*?<em class=\"rr\">(.*?)</em>.*?<em class=\"rr\">(.*?)</em>.*?<em>(.*?)</em></td>"
      num = re.findall(rule, html, re.S | re.M)
      # f = xlwt.Workbook(encoding='utf-8')
      # sheet01 = f.add_sheet(u'sheel1', cell_overwrite_ok=True)
      sheet01.write(0, 0, "日期")
      sheet01.write(0, 1, "期数")
      sheet01.write(0, 2, "第一个红球")
      sheet01.write(0, 3, "第二个红球")
      sheet01.write(0, 4, "第三个红球")
      sheet01.write(0, 5, "第四个红球")
      sheet01.write(0, 6, "第五个红球")
      sheet01.write(0, 7, "第六个红球")
      sheet01.write(0, 8, "蓝球")
      print("正在写入第%s页" % (page_num))
      for i in range(0,len(num)):
            k += 1
            sheet01.write(k + 1, 0, num)
            sheet01.write(k + 1, 1, num)
            sheet01.write(k + 1, 2, num)
            sheet01.write(k + 1, 3, num)
            sheet01.write(k + 1, 4, num)
            sheet01.write(k + 1, 5, num)
            sheet01.write(k + 1, 6, num)
            sheet01.write(k + 1, 7, num)
            sheet01.write(k + 1, 8, num)
    f.save("双色球统计结果.xls")


if __name__ == '__main__':
    get_all_page()
    get_num()

zhongyong6899 发表于 2019-11-25 12:58:49

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-11-26 15:52:12

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-11-28 21:29:42


请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-11-29 08:59:53

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-11-30 08:37:23

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-1 09:04:30

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-2 14:21:09

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-3 15:43:02

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-13 20:19:56

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-14 15:24:38

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-17 14:15:24

请高手及时回复，万分感谢！

zhongyong6899 发表于 2019-12-18 13:40:43

请高手及时回复，万分感谢！

gywjj 发表于 2019-12-18 15:07:49

这个程序最后写入有问题，运行结果有误，你最好改成这样再弄，
            sheet01.write(k + 1, 0, num)
            sheet01.write(k + 1, 1, num)
            sheet01.write(k + 1, 2, num)
            sheet01.write(k + 1, 3, num)
            sheet01.write(k + 1, 4, num)
            sheet01.write(k + 1, 5, num)
            sheet01.write(k + 1, 6, num)
            sheet01.write(k + 1, 7, num)
            sheet01.write(k + 1, 8, num)

如果不怕时间上的浪费，应该在最后一个for循环下，K+＝1，后面，用一个if 判段 num 在你要求的范围内就行了。但由涉及时间上的转换，你要查找一下相关资料。我也是初学者，不熟。
如果要讲效果，还需要在all_page上下功，第一个函数不要，网页上每页20条，你根据时间算一个，你要的开始日期大概在多少页开始，就直接填那个数，这样不用取所有的了。再在最后写个判断
，只把你要的日期写在文件里。

zhongyong6899 发表于 2019-12-19 14:01:33

上面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。

涵水亮 发表于 2019-12-19 21:10:38

新手看蒙了

zhongyong6899 发表于 2019-12-20 11:13:01

上面的程序能够执行，如何添加语句，使其仅爬出2019年1月1日--------2019年10月31日的数据。
页: [1]
查看完整版本: 添加语句使其导出固定日期的数据