【参赛】与编程的邂逅

瓦尔登湖的海水

从邮件中看到了这次“我的学习路”征稿活动，不禁有些许感慨，我就来说说我与编程语言邂逅的故事吧

—————————————————分   割   线——————————————————————

首先要说的是本人并不是计算机专业出身，在大学期间涉及的编程也只有考了76分的C语言。目前是流行病与卫生统计专业的硕士研究生。主攻医疗大数据分析


【邂逅】

与编程语言Python的邂逅还要从一次数据规整说起：
目前，我所在学科主要使用统计分析软件SAS、SPSS、STATA以及近几年流行起来得R语言，但是这些软件都有一个特点就是精于数据分析计算，但是不擅长数据的整理（尤其是中文数据）。举个例子：在SAS中数据以一条条观测的形式存于一个数据集中，一个观测一行，观测包含的变量信息为列，当我要对某个观测中含有中文内容的某个变量值进行修改时（尤其是替换、部分删除等操作）问题就出现了，由于本身对中文的支持度不高，修改就结果就可能是乱码。在屡次尝试无法成功后，我求助于大学时一个对计算机特别感兴趣同学，求助内容是将约170万条观测中所有小括号以及小括号内的内容删掉。他就使用了Python2.7给我写了一段代码，最后小课题顺利完成，我也认识到了Python语言的魅力，从此在课余迈上了编程这条路。


【学习方法】

Python于我可以说是一个不可或缺的工具，现在我毕业课题中也包含了大量Python的使用。从一个完全的门外汉到使用Python处理一些简单问题，我大约花了一个半月时间，期间主要的方法是看“零基础学习Python”系列视频，并完成课后习题。十分惭愧 ，我看到第23课“递归”时就没有往下看了，因为我的学习编程语言的方法是“发现问题，解决问题”，手上的问题解决了，就暂时没有学习下去的动力了。在进行毕业课题中的编程时，当课程内容及相关书籍无法解决问题是我的方法就是——百度。期间我题的问题都得到高手的指导，这些指导也帮助我顺利完成了毕业课题中Python编程环节。


【作品】（初学者的小作品）

这是毕业课题中的主体程序，利用双聚类方法对数据进行分析，这里的双聚类是使用Matlab完成的，Python的作用是对数据进行整理，形成SAS能够完美分析的数据集形式。

数据处理流程如下：

数据分析流程

————————————分割线——————————————

代码如下：

1. import os
   
2. os.mkdir(r'C:\Users\zzz\Desktop\双聚类结果\matlab\col')
   
3. os.mkdir(r'C:\Users\zzz\Desktop\双聚类结果\matlab\row')
   
4. os.mkdir(r'C:\Users\zzz\Desktop\双聚类结果\matlab\result')
   
5. os.mkdir(r'C:\Users\zzz\Desktop\双聚类结果\matlab\result_replace')
   
6. os.mkdir(r'C:\Users\zzz\Desktop\双聚类结果\matlab\result_group')
   
7. 
   
8. nc1 = input("输入矩阵数量：")
   
9. nc2 = int(nc1) + 1
   
10. 
    
11. #读取行数据
    
12. i = 1
    
13. j = 1
    
14. fw = open('C:/Users/zzz/Desktop/双聚类结果/matlab/row/' + str(j) + '.txt', 'w')
    
15. for line in open('C:/Users/zzz/Desktop/双聚类结果/matlab/out_rows.txt', 'r'):
    
16.     b = line.replace('[','x').replace(']','x')
    
17.     c = b.replace('     ',' ')
    
18.     d = c.replace('    ',' ')
    
19.     e = d.replace('   ',' ')
    
20.     f = e.replace('  ',' ')
    
21.     g = f.replace(' ','x;x')
    
22.     fw.write(g)
    
23.     i += 1
    
24.     if i > 1 and i % 3 == 1 :
    
25.         fw.close()
    
26.         lines = open('C:/Users/zzz/Desktop/双聚类结果/matlab/row/' + str(j) + '.txt').readlines()
    
27.         del lines[0]
    
28.         open('C:/Users/zzz/Desktop/双聚类结果/matlab/row/' + str(j) + '.txt','w').writelines(lines)
    
29.         fw.close()
    
30.         j += 1
    
31.         fw = open('C:/Users/zzz/Desktop/双聚类结果/matlab/row/' + str(j) + '.txt', 'w')
    
32. fw.close()
    
33. #读取列数据
    
34. i = 1
    
35. j = 1
    
36. fw = open('C:/Users/zzz/Desktop/双聚类结果/matlab/col/' + str(j) + '.txt', 'w')
    
37. for line in open('C:/Users/zzz/Desktop/双聚类结果/matlab/out_cols.txt', 'r'):
    
38.     b = line.replace('[','v').replace(']','v')
    
39.     c = b.replace('     ',' ')
    
40.     d = c.replace('    ',' ')
    
41.     e = d.replace('   ',' ')
    
42.     f = e.replace('  ',' ')
    
43.     g = f.replace(' ','v;v')
    
44.     fw.write(g)
    
45.     i += 1
    
46.     if i > 1 and i % 3 == 1 :
    
47.         fw.close()
    
48.         lines = open('C:/Users/zzz/Desktop/双聚类结果/matlab/col/' + str(j) + '.txt').readlines()
    
49.         del lines[0]
    
50.         open('C:/Users/zzz/Desktop/双聚类结果/matlab/col/' + str(j) + '.txt','w').writelines(lines)
    
51.         fw.close()
    
52.         j += 1
    
53.         fw = open('C:/Users/zzz/Desktop/双聚类结果/matlab/col/' + str(j) + '.txt', 'w')
    
54. fw.close()
    
55. 
    
56. #行列数据整合
    
57. j = 1
    
58. 
    
59. for m in range(1,nc2):
    
60.     i = 0
    
61.     f = open('C:/Users/zzz/Desktop/双聚类结果/matlab/result/' + str(j) + '.txt','w')
    
62.     row = open('C:/Users/zzz/Desktop/双聚类结果/matlab/row/' + str(j) + '.txt','r')
    
63.     col = open('C:/Users/zzz/Desktop/双聚类结果/matlab/col/' + str(j) + '.txt','r')
    
64.     while i < 2:
    
65.         if i == 0 :
    
66.             m = row.readline()
    
67.             n = col.readline()
    
68.             oz1 = m.strip('\n') + ' ' + n
    
69.             f.write(oz1)
    
70.             i += 1
    
71.         if i == 1:
    
72.             m = row.readline()
    
73.             n = col.readline()
    
74.             oz2 = m + n
    
75.             f.write(oz2)
    
76.             i += 1
    
77.         j += 1
    
78.     f.flush()
    
79. f.close()
    
80. 
    
81. for j in range(1,nc2):
    
82.     zdian_row = open('C:/Users/zzz/Desktop/D编号.txt')
    
83.     zdian_col = open('C:/Users/zzz/Desktop/A编号.txt')
    
84.     result = open('C:/Users/zzz/Desktop/双聚类结果/matlab/result_replace/' + str(j) + '.txt', 'w+')
    
85.     ol = open('C:/Users/zzz/Desktop/双聚类结果/matlab/result/' + str(j) + '.txt')
    
86.     txt = ol.readlines()
    
87.     num = txt[0]
    
88.     b = row = txt[1]
    
89.     c = col = txt[2]
    
90.     for text1 in zdian_row:
    
91.         zf_o1 = text1.split()
    
92.         zf_z1 = zf_o1[0].strip('"')
    
93.         zf_r1 = 'x' + zf_o1[1] + 'x'
    
94.         b = b.replace(zf_r1,zf_z1)
    
95.     for text2 in zdian_col:
    
96.         zf_o2 = text2.split()
    
97.         zf_z2 = zf_o2[0].strip('"')
    
98.         zf_r2 = 'v' + zf_o2[1] + 'v'
    
99.         c = c.replace(zf_r2,zf_z2)
    
100.     result.write(num)
     
101.     result.write(b)
     
102.     result.write(c)
     
103.     result.close()
     
104. 
     
105. 
     
106. #组合生成
     
107. i = 1
     
108. for m in range(1,nc2):
     
109.     fw = open('C:/Users/zzz/Desktop/双聚类结果/matlab/result_group/' + str(i) + '.txt', 'w')
     
110.     with open('C:/Users/zzz/Desktop/双聚类结果/matlab/result_replace/' + str(i) + '.txt') as info:
     
111.         text = info.readlines()
     
112.         num = text[0]
     
113.         fw.write(num)
     
114.         drug =  text[1].strip('\n')
     
115.         adr = text[2].strip('\n')
     
116.         for each in drug.split(';'):
     
117.             for other in adr.split(';'):
     
118.                 a = (str(each) + '@'+ str(other))
     
119.                 b = a.strip('\n')
     
120.                 fw.write(b + '\n')
     
121.     i += 1
     
122. fw.close()

复制代码

————————————分割线——————————————

矩阵数量是Matlab计算结果中会显现的内容，“out_rows.txt”是双聚类结果（行×列）中行的信息，“out_cols.txt”是双聚类结果（行×列）中列的信息。“D编号.txt”是行信息的数据编码表。“A编号.txt”是列信息的数据编码表。进行正向、逆向编码的原因是Matlab以计算是会把SAS形成的矩阵形式数据的列标目自动编号，结果中无法看到列标目信息

过程中的每个数据txt的结果如下（出于保密需要我把一些内容打了码）：

首先是Matlab导出的数据格式：

列数据

行数据

之后是行列数据整理、分割：





之后是行列数据整合：



之后是编码逆转换，从编码变回中文：



最后是分类规整：




【感言】

多学科交叉，拓展思维，开拓眼界，Programming makes life better!

康小泡

小甲鱼老师说过，需要用的时候来学效果是最好的。所以楼主很厉害啊

小甲鱼

Programming makes life better

说得太好了，这正是我们这一班人奋斗的目标！！

要学习

非常棒。基础打得好？？