[已解决]请高手帮我看看代码的错在哪里，谢谢。

qsyy216

#导入需要使用到的模块
import urllib
import re
import pandas as pd
import pymysql
import os

#爬虫抓取网页函数
def getHtml(url):
    html = urllib.request.urlopen(url).read()
    html = html.decode('gbk')
    return html

#抓取网页股票代码函数
def getStackCode(html):
    s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    pat = re.compile(s)
    code = pat.findall(html)
    return code
   
#########################开始干活############################
Url = 'http://quote.eastmoney.com/stocklist.html'#东方财富网股票数据连接地址
filepath = 'F:\\data\\'#定义数据文件保存路径
#实施抓取
code = getStackCode(getHtml(Url))
#获取所有股票代码（以6开头的，应该是沪市数据）集合
CodeList = []
for item in code:
    if item[0]=='6':
        CodeList.append(item)
#抓取数据并保存到本地csv文件
for code in CodeList:
    print('正在获取股票%s数据'%code)
    url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
        '&end=20171228&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    urllib.request.urlretrieve(url, filepath+code+'.csv')


##########################将股票数据存入数据库###########################

#数据库名称和密码
name = 'xxxx'
password = 'xxxx'  #替换为自己的账户名和密码
#建立本地数据库连接(需要先开启数据库服务)
db = pymysql.connect('localhost', name, password, charset='utf8')
cursor = db.cursor()
#创建数据库stockDataBase
sqlSentence1 = "create database stockDataBase"
cursor.execute(sqlSentence1)#选择使用当前数据库
sqlSentence2 = "use stockDataBase;"
cursor.execute(sqlSentence2)

#获取本地文件列表
fileList = os.listdir(filepath)
#依次对每个数据文件进行存储
for fileName in fileList:
    data = pd.read_csv(filepath+fileName, encoding="gbk")
   #创建数据表，如果数据表已经存在，会跳过继续执行下面的步骤print('创建数据表stock_%s'% fileName[0:6])
    sqlSentence3 = "create table stock_%s" % fileName[0:6] + "(日期 date, 股票代码 VARCHAR(10),     名称 VARCHAR(10),\
                       收盘价 float,    最高价    float, 最低价 float, 开盘价 float, 前收盘 float, 涨跌额    float, \
                       涨跌幅 float, 换手率 float, 成交量 bigint, 成交金额 bigint, 总市值 bigint, 流通市值 bigint)"
    cursor.execute(sqlSentence3)
    except:
        print('数据表已存在！')

    #迭代读取表中每行数据，依次存储（整表存储还没尝试过）
    print('正在存储stock_%s'% fileName[0:6])
    length = len(data)
    for i in range(0, length):
        record = tuple(data.loc[i])
        #插入数据语句
        try:
            sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代码, 名称, 收盘价, 最高价, 最低价, 开盘价, 前收盘, 涨跌额, 涨跌幅, 换手率, \
            成交量, 成交金额, 总市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
            #获取的表中数据很乱，包含缺失值、Nnone、none等，插入数据库需要处理成空值
            sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null')
            cursor.execute(sqlSentence4)
        except:
            #如果以上插入过程出错，跳过这条数据记录，继续往下进行
            break

#关闭游标，提交，关闭数据库连接
cursor.close()
db.commit()
db.close()


###########################查询刚才操作的成果##################################

#重新建立数据库连接
db = pymysql.connect('localhost', name, password, 'stockDataBase', charset='utf8)
cursor = db.cursor()
#查询数据库并打印内容
cursor.execute('select * from stock_600000')
results = cursor.fetchall()
for row in results:
    print(row)
#关闭
cursor.close()
db.commit()
db.close()

最佳答案

月排行榜 / 总排行榜

青出于蓝

2022-7-20 22:12:22

qsyy216 发表于 2022-7-20 21:49
63行可以帮我改一下吗？

1. #导入需要使用到的模块
   
2. import urllib
   
3. import re
   
4. import pandas as pd
   
5. import pymysql
   
6. import os
   
7. 
   
8. #爬虫抓取网页函数
   
9. def getHtml(url):
   
10.     html = urllib.request.urlopen(url).read()
    
11.     html = html.decode('gbk')
    
12.     return html
    
13. 
    
14. #抓取网页股票代码函数
    
15. def getStackCode(html):
    
16.     s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    
17.     pat = re.compile(s)
    
18.     code = pat.findall(html)
    
19.     return code
    
20.    
    
21. #########################开始干活############################
    
22. Url = 'http://quote.eastmoney.com/stocklist.html'#东方财富网股票数据连接地址
    
23. filepath = 'F:\\data\\'#定义数据文件保存路径
    
24. #实施抓取
    
25. code = getStackCode(getHtml(Url))
    
26. #获取所有股票代码（以6开头的，应该是沪市数据）集合
    
27. CodeList = []
    
28. for item in code:
    
29.     if item[0]=='6':
    
30.         CodeList.append(item)
    
31. #抓取数据并保存到本地csv文件
    
32. for code in CodeList:
    
33.     print('正在获取股票%s数据'%code)
    
34.     url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
    
35.         '&end=20171228&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    
36.     urllib.request.urlretrieve(url, filepath+code+'.csv')
    
37. 
    
38. 
    
39. ##########################将股票数据存入数据库###########################
    
40. 
    
41. #数据库名称和密码
    
42. name = 'xxxx'
    
43. password = 'xxxx'  #替换为自己的账户名和密码
    
44. #建立本地数据库连接(需要先开启数据库服务)
    
45. db = pymysql.connect('localhost', name, password, charset='utf8')
    
46. cursor = db.cursor()
    
47. #创建数据库stockDataBase
    
48. sqlSentence1 = "create database stockDataBase"
    
49. cursor.execute(sqlSentence1)#选择使用当前数据库
    
50. sqlSentence2 = "use stockDataBase;"
    
51. cursor.execute(sqlSentence2)
    
52. 
    
53. #获取本地文件列表
    
54. fileList = os.listdir(filepath)
    
55. #依次对每个数据文件进行存储
    
56. for fileName in fileList:
    
57.     try:
    
58.         data = pd.read_csv(filepath+fileName, encoding="gbk")
    
59.        #创建数据表，如果数据表已经存在，会跳过继续执行下面的步骤print('创建数据表stock_%s'% fileName[0:6])
    
60.         sqlSentence3 = "create table stock_%s" % fileName[0:6] + "(日期 date, 股票代码 VARCHAR(10),     名称 VARCHAR(10),\
    
61.                            收盘价 float,    最高价    float, 最低价 float, 开盘价 float, 前收盘 float, 涨跌额    float, \
    
62.                            涨跌幅 float, 换手率 float, 成交量 bigint, 成交金额 bigint, 总市值 bigint, 流通市值 bigint)"
    
63.         cursor.execute(sqlSentence3)
    
64.     except:
    
65.         print('数据表已存在！')
    
66. 
    
67.     #迭代读取表中每行数据，依次存储（整表存储还没尝试过）
    
68.     print('正在存储stock_%s'% fileName[0:6])
    
69.     length = len(data)
    
70.     for i in range(0, length):
    
71.         record = tuple(data.loc[i])
    
72.         #插入数据语句
    
73.         try:
    
74.             sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代码, 名称, 收盘价, 最高价, 最低价, 开盘价, 前收盘, 涨跌额, 涨跌幅, 换手率, \
    
75.             成交量, 成交金额, 总市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
    
76.             #获取的表中数据很乱，包含缺失值、Nnone、none等，插入数据库需要处理成空值
    
77.             sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null')
    
78.             cursor.execute(sqlSentence4)
    
79.         except:
    
80.             #如果以上插入过程出错，跳过这条数据记录，继续往下进行
    
81.             break
    
82. 
    
83. #关闭游标，提交，关闭数据库连接
    
84. cursor.close()
    
85. db.commit()
    
86. db.close()
    
87. 
    
88. 
    
89. ###########################查询刚才操作的成果##################################
    
90. 
    
91. #重新建立数据库连接
    
92. db = pymysql.connect('localhost', name, password, 'stockDataBase', charset='utf8')
    
93. cursor = db.cursor()
    
94. #查询数据库并打印内容
    
95. cursor.execute('select * from stock_600000')
    
96. results = cursor.fetchall()
    
97. for row in results:
    
98.     print(row)
    
99. #关闭
    
100. cursor.close()
     
101. db.commit()
     
102. db.close()

复制代码

跳转到最佳答案楼层

青出于蓝

1. #导入需要使用到的模块
   
2. import urllib
   
3. import re
   
4. import pandas as pd
   
5. import pymysql
   
6. import os
   
7. 
   
8. #爬虫抓取网页函数
   
9. def getHtml(url):
   
10.     html = urllib.request.urlopen(url).read()
    
11.     html = html.decode('gbk')
    
12.     return html
    
13. 
    
14. #抓取网页股票代码函数
    
15. def getStackCode(html):
    
16.     s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    
17.     pat = re.compile(s)
    
18.     code = pat.findall(html)
    
19.     return code
    
20.    
    
21. #########################开始干活############################
    
22. Url = 'http://quote.eastmoney.com/stocklist.html'#东方财富网股票数据连接地址
    
23. filepath = 'F:\\data\\'#定义数据文件保存路径
    
24. #实施抓取
    
25. code = getStackCode(getHtml(Url))
    
26. #获取所有股票代码（以6开头的，应该是沪市数据）集合
    
27. CodeList = []
    
28. for item in code:
    
29.     if item[0]=='6':
    
30.         CodeList.append(item)
    
31. #抓取数据并保存到本地csv文件
    
32. for code in CodeList:
    
33.     print('正在获取股票%s数据'%code)
    
34.     url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
    
35.         '&end=20171228&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    
36.     urllib.request.urlretrieve(url, filepath+code+'.csv')
    
37. 
    
38. 
    
39. ##########################将股票数据存入数据库###########################
    
40. 
    
41. #数据库名称和密码
    
42. name = 'xxxx'
    
43. password = 'xxxx'  #替换为自己的账户名和密码
    
44. #建立本地数据库连接(需要先开启数据库服务)
    
45. db = pymysql.connect('localhost', name, password, charset='utf8')
    
46. cursor = db.cursor()
    
47. #创建数据库stockDataBase
    
48. sqlSentence1 = "create database stockDataBase"
    
49. cursor.execute(sqlSentence1)#选择使用当前数据库
    
50. sqlSentence2 = "use stockDataBase;"
    
51. cursor.execute(sqlSentence2)
    
52. 
    
53. #获取本地文件列表
    
54. fileList = os.listdir(filepath)
    
55. #依次对每个数据文件进行存储
    
56. for fileName in fileList:
    
57.     data = pd.read_csv(filepath+fileName, encoding="gbk")
    
58.    #创建数据表，如果数据表已经存在，会跳过继续执行下面的步骤print('创建数据表stock_%s'% fileName[0:6])
    
59.     sqlSentence3 = "create table stock_%s" % fileName[0:6] + "(日期 date, 股票代码 VARCHAR(10),     名称 VARCHAR(10),\
    
60.                        收盘价 float,    最高价    float, 最低价 float, 开盘价 float, 前收盘 float, 涨跌额    float, \
    
61.                        涨跌幅 float, 换手率 float, 成交量 bigint, 成交金额 bigint, 总市值 bigint, 流通市值 bigint)"
    
62.     cursor.execute(sqlSentence3)
    
63.     except:
    
64.         print('数据表已存在！')
    
65. 
    
66.     #迭代读取表中每行数据，依次存储（整表存储还没尝试过）
    
67.     print('正在存储stock_%s'% fileName[0:6])
    
68.     length = len(data)
    
69.     for i in range(0, length):
    
70.         record = tuple(data.loc[i])
    
71.         #插入数据语句
    
72.         try:
    
73.             sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代码, 名称, 收盘价, 最高价, 最低价, 开盘价, 前收盘, 涨跌额, 涨跌幅, 换手率, \
    
74.             成交量, 成交金额, 总市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
    
75.             #获取的表中数据很乱，包含缺失值、Nnone、none等，插入数据库需要处理成空值
    
76.             sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null')
    
77.             cursor.execute(sqlSentence4)
    
78.         except:
    
79.             #如果以上插入过程出错，跳过这条数据记录，继续往下进行
    
80.             break
    
81. 
    
82. #关闭游标，提交，关闭数据库连接
    
83. cursor.close()
    
84. db.commit()
    
85. db.close()
    
86. 
    
87. 
    
88. ###########################查询刚才操作的成果##################################
    
89. 
    
90. #重新建立数据库连接
    
91. db = pymysql.connect('localhost', name, password, 'stockDataBase', charset='utf8)
    
92. cursor = db.cursor()
    
93. #查询数据库并打印内容
    
94. cursor.execute('select * from stock_600000')
    
95. results = cursor.fetchall()
    
96. for row in results:
    
97.     print(row)
    
98. #关闭
    
99. cursor.close()
    
100. db.commit()
     
101. db.close()

复制代码

这是你的代码，63行，有except没有try？
91行少一个引号

qsyy216

青出于蓝 发表于 2022-7-20 21:45
这是你的代码，63行，有except没有try？
91行少一个引号

63行可以帮我改一下吗？

青出于蓝

qsyy216 发表于 2022-7-20 21:49
63行可以帮我改一下吗？

1. #导入需要使用到的模块
   
2. import urllib
   
3. import re
   
4. import pandas as pd
   
5. import pymysql
   
6. import os
   
7. 
   
8. #爬虫抓取网页函数
   
9. def getHtml(url):
   
10.     html = urllib.request.urlopen(url).read()
    
11.     html = html.decode('gbk')
    
12.     return html
    
13. 
    
14. #抓取网页股票代码函数
    
15. def getStackCode(html):
    
16.     s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    
17.     pat = re.compile(s)
    
18.     code = pat.findall(html)
    
19.     return code
    
20.    
    
21. #########################开始干活############################
    
22. Url = 'http://quote.eastmoney.com/stocklist.html'#东方财富网股票数据连接地址
    
23. filepath = 'F:\\data\\'#定义数据文件保存路径
    
24. #实施抓取
    
25. code = getStackCode(getHtml(Url))
    
26. #获取所有股票代码（以6开头的，应该是沪市数据）集合
    
27. CodeList = []
    
28. for item in code:
    
29.     if item[0]=='6':
    
30.         CodeList.append(item)
    
31. #抓取数据并保存到本地csv文件
    
32. for code in CodeList:
    
33.     print('正在获取股票%s数据'%code)
    
34.     url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
    
35.         '&end=20171228&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    
36.     urllib.request.urlretrieve(url, filepath+code+'.csv')
    
37. 
    
38. 
    
39. ##########################将股票数据存入数据库###########################
    
40. 
    
41. #数据库名称和密码
    
42. name = 'xxxx'
    
43. password = 'xxxx'  #替换为自己的账户名和密码
    
44. #建立本地数据库连接(需要先开启数据库服务)
    
45. db = pymysql.connect('localhost', name, password, charset='utf8')
    
46. cursor = db.cursor()
    
47. #创建数据库stockDataBase
    
48. sqlSentence1 = "create database stockDataBase"
    
49. cursor.execute(sqlSentence1)#选择使用当前数据库
    
50. sqlSentence2 = "use stockDataBase;"
    
51. cursor.execute(sqlSentence2)
    
52. 
    
53. #获取本地文件列表
    
54. fileList = os.listdir(filepath)
    
55. #依次对每个数据文件进行存储
    
56. for fileName in fileList:
    
57.     try:
    
58.         data = pd.read_csv(filepath+fileName, encoding="gbk")
    
59.        #创建数据表，如果数据表已经存在，会跳过继续执行下面的步骤print('创建数据表stock_%s'% fileName[0:6])
    
60.         sqlSentence3 = "create table stock_%s" % fileName[0:6] + "(日期 date, 股票代码 VARCHAR(10),     名称 VARCHAR(10),\
    
61.                            收盘价 float,    最高价    float, 最低价 float, 开盘价 float, 前收盘 float, 涨跌额    float, \
    
62.                            涨跌幅 float, 换手率 float, 成交量 bigint, 成交金额 bigint, 总市值 bigint, 流通市值 bigint)"
    
63.         cursor.execute(sqlSentence3)
    
64.     except:
    
65.         print('数据表已存在！')
    
66. 
    
67.     #迭代读取表中每行数据，依次存储（整表存储还没尝试过）
    
68.     print('正在存储stock_%s'% fileName[0:6])
    
69.     length = len(data)
    
70.     for i in range(0, length):
    
71.         record = tuple(data.loc[i])
    
72.         #插入数据语句
    
73.         try:
    
74.             sqlSentence4 = "insert into stock_%s" % fileName[0:6] + "(日期, 股票代码, 名称, 收盘价, 最高价, 最低价, 开盘价, 前收盘, 涨跌额, 涨跌幅, 换手率, \
    
75.             成交量, 成交金额, 总市值, 流通市值) values ('%s',%s','%s',%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)" % record
    
76.             #获取的表中数据很乱，包含缺失值、Nnone、none等，插入数据库需要处理成空值
    
77.             sqlSentence4 = sqlSentence4.replace('nan','null').replace('None','null').replace('none','null')
    
78.             cursor.execute(sqlSentence4)
    
79.         except:
    
80.             #如果以上插入过程出错，跳过这条数据记录，继续往下进行
    
81.             break
    
82. 
    
83. #关闭游标，提交，关闭数据库连接
    
84. cursor.close()
    
85. db.commit()
    
86. db.close()
    
87. 
    
88. 
    
89. ###########################查询刚才操作的成果##################################
    
90. 
    
91. #重新建立数据库连接
    
92. db = pymysql.connect('localhost', name, password, 'stockDataBase', charset='utf8')
    
93. cursor = db.cursor()
    
94. #查询数据库并打印内容
    
95. cursor.execute('select * from stock_600000')
    
96. results = cursor.fetchall()
    
97. for row in results:
    
98.     print(row)
    
99. #关闭
    
100. cursor.close()
     
101. db.commit()
     
102. db.close()

复制代码

qsyy216

青出于蓝 发表于 2022-7-20 22:12

谢谢。