Удаление дублей строк

Как убрать повторяющиеся строки из списка

Вставьте список в поле — по одному элементу на строку — и нажмите кнопку очистки. Инструмент пройдёт по строкам сверху вниз и оставит только первое вхождение каждой: повторы исчезнут, порядок сохранится. Перед сравнением можно включить обрезку пробелов, игнорирование регистра и удаление пустых строк. Результат копируется одной кнопкой или скачивается файлом.

Дубль — это строка, которая уже встречалась выше. Сравнение идёт через хеш-таблицу: каждая новая строка проверяется против уже увиденных за доли секунды, поэтому списки в сотни тысяч строк обрабатываются мгновенно, без попарного перебора. Первое вхождение всегда остаётся на своём месте, удаляются только повторные — сортировка не выполняется.

Три опции меняют то, что считается «одинаковым». Обрезка пробелов убирает пробелы и табуляции по краям строки до сравнения: « слово» и «слово » станут одной строкой. Игнорирование регистра приравнивает «Яблоко» и «яблоко» — останется вариант, который встретился первым. Удаление пустых строк вычищает строки без символов или состоящие только из пробелов.

Пример: список «молоко, хлеб, молоко, Сыр, сыр, хлеб». Без опций останется «молоко, хлеб, Сыр, сыр» — регистр различает два «сыра». С включённым игнорированием регистра останется «молоко, хлеб, Сыр»: строка «сыр» в нижнем регистре сочтётся дублём «Сыр» и пропадёт.

Откуда в списках берутся дубли

Повторы появляются почти всегда при склейке данных из разных мест:

• объединение баз клиентов из CRM, почтовой рассылки и таблицы Excel;
• выгрузки, где один заказ или товар попадает в отчёт дважды;
• списки ключевых слов, собранные из нескольких подборщиков;
• email-рассылки, куда адрес попал и вручную, и из импорта.

Ручная чистка таких списков — часы работы и гарантированные пропуски. Автоматическая очистка снимает задачу за секунду: вставили, проверили счётчик, скопировали.

Что именно считается дублём

Строки сравниваются целиком, посимвольно. «Иванов И.» и «Иванов И» — разные строки, как и «10» и «10,0». Невидимые символы тоже участвуют в сравнении: пробел в конце строки делает её отличной от такой же без пробела. Если список собран копипастой из разных источников, сначала включите обрезку пробелов — она убирает большинство таких ложных «недублей».

Регистр: когда разные строки на самом деле одинаковые

По умолчанию сравнение строгое: «Apple» и «apple» — две разные строки. Для email-адресов, доменов и тегов это часто нежелательно — там регистр значения не имеет. Включите опцию «Не учитывать регистр»: сравнение пойдёт без учёта заглавных, а в результате останется написание первого вхождения. Для имён собственных, где регистр важен, опцию лучше не трогать.

Как не потерять данные

Инструмент не меняет исходный текст: он показывает очищенную копию, а поле ввода остаётся нетронутым, пока вы его не перезапишете. Перед копированием результата сверьтесь со счётчиком — он показывает, сколько строк было и сколько стало. Разница между этими числами и есть количество найденных дублей: если их подозрительно мало, скорее всего, строки отличаются невидимыми пробелами или регистром. В таком случае попробуйте другую комбинацию опций и сравните счётчик ещё раз.

Частые вопросы