大数据-TXT文本重复行计数工具

支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统

硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小）

内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文件最低需32G内存

大数据格式：M行1列 或M行N列          作者QQ：24759362

初次使用建议完全模仿截图里出现的文件夹和空记事本文件命名，日常使用时可以根据自己的喜好命名文件夹和空记事本文件

范例测试数据1：D:\testBigDataFile\test1BigData.txt

1000
1001
1001
1002
1003
1004
1004
1005
1006
1007
1007
1008
1009
1010
1011
1011
1012
1013
1013
1013
1013
1014
1014
1015
1016
1017
1017
1018
1019
1020
1021
1021
1022
1023
1023
1023
1023
1024
1024
1025
1026
1027
1027
1028
1029
1030
1031
1032
1033
1033
1033
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1043
1043
1043
1044
1045
1046
1047
1048
1049
1050
1051
1051
1052
1053
1054
1054
1055
1056
1057
1057
1058
1059
1060
1061
1062
1063
1063
1063
1063
1064
1065
1066
1067
1068
1069
1070
1071
1071
1072
1073
1073
1073
1073
1074
1074
1075
1076
1077
1077
1078
1079
1080
1081
1082
1083
1083
1083
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1093
1093
1093
1094
1095
1096
1097
1098
1099
2000

运行输出结果如下：

D:\resultBigDataFile\result1BigData.txt

1011
1077
1021
1054
1074
1051
1071
1007
1017
1027
1004
1014
1024
1057
1001

如果上面范例测试数据1运行后想输出如下结果：请勾选“显示输入重复次数”

1011    1
1077    1
1021    1
1054    1
1074    1
1051    1
1071    1
1007    1
1017    1
1027    1
1004    1
1014    1
1024    1
1057    1
1001    1

 范例测试数据2：D:\testBigDataFile\test2BigData.txt

 Alan    436628269
Alan    436628269
Alan    436628269
Bill    611492701
Cana    1397118521
Dunn    2444556928
Connor    1998963357
Emma    2206666209
Gina    777284571
Gina    777284571
Gina    777284571
Gina    777284571
Ivin    970322252
Jack    1262597716
Jane    578355382
July    136208476
Lily    433285072
Onan    371221381
Owen    1266462145
Peni    130864920
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Rynn    2480931452
Sims    921827919
Tina    2561855784
Tony    2084111552
Voni    2587044445
Waco    423088657
Aidan    2010046647
Alvin    468664591
Anita    1956739105
Becky    1363871905
Becky    1363871905
Becky    1363871905
Becky    1363871905
Bowen    234135199
Casey    1548163632
Cathy    678234228
Chloe    1381166262
Dwana    2282473415
Edith    1967993078
Edith    1967993078
Elman    1560665871
Ethan    2267535885
Fiona    604587235
Haley    800961135
Jones    2344119816
Jones    2344119816
Joyce    1344843140
Kelly    2122606210
Kevin    1717469490
Laure    736740442
Mulki    566237493
Najma    2419841329
Najma    2419841329
Najma    2419841329
Randy    1502861227
Ricka    236260413
Rizza    1535082737
Robrt    196943032
Shawn    851297787
Susan    334018114
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Tejah    676974423
Wasim    524075634
Water    90008183
Wendy    1164084217
Yilia    1466222253
Aazeen    1012146857
Anikah    443308821
Bladen    731124027
Brooke    92025515
Brynda    1110273669
Carlos    2196254518
Dillon    520140680
Easter    2712179738
Fallyn    1383225641
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hammad    705756913
Hinson    149640852
Hinson    149640852
Hinson    149640852
Jackie    176340867
Johnny    888922082
Lauren    2414296053
Lunell    913395291
Madlin    1781194530
Martin    636062663
Nyonna    1422469714
Polina    2122873196
Pruitt    314428860
Quavon    689418797
Quavon    689418797
Sallie    800910135
Selina    1232437171
Sumiye    628112094
Summer    2278440448
Uniyah    1115416023
Vaiden    620408210
Winter    2695510343
Yasmen    961534555
Yoland    1291468531
Yusuke    2619560595
Abraham    2578725567
Addison    1332247227
Anthony    544174558
Bartley    1153366461
Blanche    101955333
Bullman    1529760215
Camille    1092452082
Charles    1664580393
Connor    2117335737
Crystal    1042531868
Destiny    1659408747
Hartlyn    2192622982
Jenicia    275384039
Lovinia    779964794
Madilee    400032052
Nicolle    559240963
Noython    2106815835
Quintin    2314360024
Ricayla    2347843740
Severin    1824633312
Solomon    606320831
Tanecia    1419387413
Tiffine    2033116728
Vallene    1492277709

 

运行输出结果如下：

D:\resultBigDataFile\result2BigData.txt

 

Edith    1967993078    1
Najma    2419841329    2
Gina    777284571    3
Hinson    149640852    2
Alan    436628269    2
Hammad    705756913    4
Rynn    2480931452    5
Becky    1363871905    3
Jones    2344119816    1
Tejah    676974423    8
Quavon    689418797    1