有48个txt文件，每个文件有1000w+用户的数据，单个文件内无重复数据，但是文件之间存在完全重复的数据，我要怎么快速地删除这些完全重复的数据，并且保留一行就行？另外，能把同一个用户的数据放在一起最好。求赐教，在线等。
有48个txt文件，每个文件有1000w+用户的数据，单个文件内无重复数据，但是文件之间存在完
阅读背景：
mysql海量大数据中根据两个字段删除重复项，保留一项
来源：互联网
分享到：
