文本去重是数据处理中非常基础又高频的操作。不管是从Excel里复制出来的一列名单、爬虫抓取的大量链接、还是运营整理的关键词列表，里面往往混着大量重复内容，手工一条条删既费时又容易遗漏。
本工具按行对比去重，把内容粘贴进来点一下就能自动剔除所有重复项。你可以根据实际需要灵活组合四个选项：保留原始出现顺序或按拼音排列、是否忽略空白行、英文是否区分大小写、以及是否先去除首尾多余空格再比较。去重完成后还会显示原始行数、去重后行数和移除了多少重复行的统计数据。
文本去重
原始行数：0
去重后：0
移除重复：0
关于文本去重工具
去重选项详解
保留原顺序
勾选后保持数据的原始出现顺序，只去除后面重复的项；不勾选则会按字母或拼音自动排序输出结果。
区分大小写
勾选后"Apple"和"apple"视为不同内容分别保留；不勾选则视为相同只保留第一次出现的那个。
去除首尾空格
勾选后先去掉每行两端的多余空格再比较，这样"苹果 "和"苹果"就会被识别为重复项。
忽略空行
勾选后自动过滤掉所有空白行，让输出结果更加干净整洁，不会有多余的空行夹在中间。
Excel数据怎么用
直接从Excel里选中一列数据复制粘贴进来就行，每个单元格会自动变成一行，然后点去重即可。
去重统计数据
去重完成后会显示原始总行数、去重后剩余行数以及被移除的重复行数，让你一目了然处理效果。
常见问题
如何从Excel复制数据？
选中Excel中的一列数据，按Ctrl+C复制，然后在输入框中按Ctrl+V粘贴即可。每个单元格的内容会自动变成一行文本。
去重后顺序会变吗？
勾选"保留原顺序"后，数据顺序保持不变，重复项只保留第一次出现的位置。如果不勾选，结果会按字母/拼音升序排列。
能处理多少行数据？
本工具在浏览器端处理，通常可以处理几万行数据。如果数据量超过10万行，可能会有些卡顿，建议分批处理。
数据会上传服务器吗？
不会。所有处理都在您的浏览器本地完成，数据不会上传到服务器，完全保护您的隐私安全。
"Apple"和"apple"算重复吗？
取决于"区分大小写"选项。勾选时两者不同，不勾选时视为相同。默认不区分大小写，会保留第一次出现的那个。
如何保存去重结果？
点击"复制结果"按钮将结果复制到剪贴板，然后粘贴到Word、Excel、记事本等任意软件中保存即可。
为什么有些包含空格的行没有被去重？
本工具默认会自动清除每行文本的首尾空格后再进行比对，所以行首行尾的空格不影响去重判断。但如果行中间的空格数量或位置不同，仍会被视为不同的文本行。
本工具所有处理均在浏览器本地完成，粘贴的内容不会上传到服务器，请放心使用。