文本输入 已输入 0 行
处理设置

最近处理

暂无处理记录

文本去重工具 · AI语义分析

智能去重，精准识别相似内容

粘贴文本就能用的在线去重工具，不用注册、不用下载。除了常见的行级精确去重，还提供语义去重——能识别「今天天气很好」和「今日气候不错」这类改写后的相似句子，并给出相似度评分和类型判断。做文章去重、整理名单、清洗采集数据时，三种模式覆盖不同场景：精确去重秒出结果，语义去重智能合并，相似度分析可对比两段文本并高亮相同部分。所有处理在浏览器本地完成，文本不上传服务器，隐私有保障。

使用教程

  1. 文本去重怎么用？粘贴文本（每行一条），选择模式后点「开始处理」，结果自动展示并可复制或下载。
  2. 如何去除重复文本？选「精确去重」，可勾选忽略空白行、标点或区分大小写，保留首次出现的行。
  3. 语义相似度检测：选「语义去重」，调节阈值后处理，系统识别改写后的相似行并分组展示。
  4. 文章查重工具用法：选「相似度分析」，分别输入两段文本，查看整体相似度和逐句高亮对比。
  5. 处理完成后可在「AI语义分析详情」中逐对选择保留哪条，点「应用所有选择」更新结果。

常见问题

和普通去重工具有什么区别？

普通工具只能删完全相同的行。本站支持 AI 语义去重，能识别同义改写，并给出相似度评分和类型分类，还有详细的分析报告。

数据安全吗？

所有处理在浏览器和 Web Worker 中完成，文本不上传服务器，历史记录仅保存在本机 localStorage。

语义去重的原理是什么？

通过中文分词和英文词提取，计算 Jaccard 词集相似度与词序相似度，综合得出 0–1 分数，再按阈值判断是否相似。

使用教程

三种模式，覆盖不同去重场景

精确去重

按行去除完全相同的文本，适合清洗名单、日志、采集数据。可设置区分大小写、忽略空白行和标点符号，保留第一次出现的行。

语义去重

AI 识别改写后意思相同或高度相似的文本。例如「产品质量很好」和「商品品质优秀」会被归为相似组。可调节相似度阈值，查看分组详情和 AI 分析报告。

相似度分析

输入两段文本，计算整体相似度并高亮相同部分。适合文章查重、段落对比、内容审核等场景。

语义去重原理

文本经分词后，计算词集 Jaccard 相似度与词序相似度，加权综合为 0–1 分数。超过阈值则判定为相似，并按分数划分「同义改写」「部分改写」等类型。

使用场景

  • 整理 Excel 导出的重复客户名单
  • 清洗爬虫采集的重复标题和描述
  • 合并多来源的文章段落，去除语义重复
  • 对比两篇文章的相似程度

处理记录

最近 10 次去重记录，点击可恢复

暂无处理记录