有什么简单的方法进行名字查重么?

老笨啊

遇到一个统计清单，里面含有许多公司名称，已经发现部分公司的名称叫法不一，但是实际是同一家公司（比如有的叫xx公司，有的叫xx有限公司，就因为这个同一家变成不同的公司，而且由于公司没有相应的代码，无法根据唯一编号进行查重处理）。。数据量较大，公司名称达到1000家以上。。
想了半天，也没什么好办法来进行查重处理。。

wp231957

电脑能实现有规律的事情 批量的进行处理
你这些公司 即便是10000家 那也只能是你肉眼辨别 哪几家是一个公司N个名字

wp231957

要不然你就取研究这个规律  比如凡是包含"xxx"的 都是一个公司  那就好整了

老笨啊

wp231957 发表于 2019-3-29 14:51
要不然你就取研究这个规律  比如凡是包含"xxx"的 都是一个公司  那就好整了

不行啊。。有些公司还有什么不同区域的分公司。。我至少得筛选出这些公司的主要名称，才好肉眼进行判定。。

wp231957

excel 去做这个事情 比较容易一些  反正主要靠肉眼判断  计算机是辅

老笨啊

wp231957 发表于 2019-3-29 14:54
excel 去做这个事情 比较容易一些  反正主要靠肉眼判断  计算机是辅

我刚才试着用pandas的unique方法，将这些公司导成excel格式，再进行排序出来。。
1000多个公司。。。眼睛都看花了。。
还是需要计算机来筛选。。

wp231957

老笨啊 发表于 2019-3-29 15:03
我刚才试着用pandas的unique方法，将这些公司导成excel格式，再进行排序出来。。
1000多个公司。。。眼 ...

计算机筛选需要筛选条件啊
这个条件还不是要由你来提供
你咋来提供 还不是要你用你的肉眼去观察去看

老笨啊

wp231957 发表于 2019-3-29 15:05
计算机筛选需要筛选条件啊
这个条件还不是要由你来提供
你咋来提供 还不是要你用你的肉眼去观察去看

1000多家数据，我的眼睛得瞎了。。

Stubborn

我刚学过mangodb,可以进行模糊匹配  可行吗？数据在进行存放时候，就要进行规范

老笨啊

Stubborn 发表于 2019-3-29 17:09
我刚学过mangodb,可以进行模糊匹配  可行吗？数据在进行存放时候，就要进行规范

数据要规范，这个自然最好。。
可惜数据的来源，是不可控的。。我只能针对手头的数据进行查重处理。。

Stubborn

老笨啊 发表于 2019-3-29 17:11
数据要规范，这个自然最好。。
可惜数据的来源，是不可控的。。我只能针对手头的数据进行查重处理。。

个人建议，重新入库，或者根据其他的字段进行筛查