什么软件可以检查数据库里面的数据是否有重复

xueliang · 2012-12-12, 12:15

最近碰到一个问题，客户给我一个txt数据库，问我如何检验txt文件里面的数据是否有重复

请高手指点，给点建议

**pandada** · 2012-12-14, 12:09

有点编程基础的就可以设计出一个简单的去重算法，据我测试，这个数据库没有重复数据，应该是生成随机码的时候有个去重过滤的。

xueliang · 2012-12-20, 09:19

楼上的朋友帮我检查一下这个数据库有没有重复呢，你是怎么检验的呢

ncjingxi · 2012-12-20, 10:37

数据行太多懒得细看，瞄了一眼前面约2/5的数据没重复。方法：对重复数据设置一个条件重复格式。

**pandada** · 2012-12-20, 11:21

还是没有重复的，验证180万条数据大概花了1分钟左右吧，写了一个小脚本验证的，用Excel可能比较慢。