Как пользоваться инструментом удаления дубликатов и сортировки
Убрать дубликаты и отсортировать список — маленькая задача, которая возникает постоянно: почистить список e-mail, объединить несколько выгрузок ключевых слов, сравнить артикулы товаров из двух систем. Работать глазами в таблице медленно, а «удалить дубликаты» в Excel — грубый инструмент, игнорирующий нюансы регистра и пробелов. Этот инструмент работает с вставленным текстом, одна запись на строку, и каждое правило задаёте вы.
Что делают элементы управления
- Удалить дубликаты: оставить только первое вхождение каждой строки, остальные отбросить. Отключите, если нужна только сортировка.
- Порядок сортировки: оставить как есть, сортировать от A до Z или от Z до A. Сортировка использует сравнение с учётом локали, поэтому латинские буквы с диакритикой и числа сортируются так, как ожидал бы человек, а не по сырому коду символа.
- Регистр: выберите, считать ли
Appleиappleодной записью. Считать их одинаковыми обычно нужно для адресов e-mail и тегов; различать их важно для идентификаторов и кода. - Обрезать пробелы: убирает пробелы и табуляции с обоих концов каждой строки перед сравнением. Это ловит невидимое различие, из-за которого две строки выглядят одинаково, но сравниваются как разные.
- Отбросить пустые строки: убирает пустые строки из вывода, чтобы случайный перевод строки не уцелел в вашем очищенном списке.
- Оставить только дубликаты: переворачивает обычное поведение — выводит только значения, встречавшиеся более одного раза. Так вы находите, что именно повторяется в большом списке, а это часто и есть настоящий вопрос.
- Показывать счётчики: добавляет, сколько раз встречалось каждое значение — полезно, когда вы проверяете список, а не чистите его.
- Разделять по: помимо переводов строки можно разделять по запятым, точкам с запятой, пробелам или табуляциям, так что одна строка в стиле CSV превращается в запись на каждую ячейку.
Типичные сценарии
Объединение двух списков ключевых слов. Вставьте список A, затем список B строками ниже, включите удаление дубликатов и сортировку от A до Z — и у вас объединение.
Поиск общего у двух списков. Вставьте оба, включите «оставить только дубликаты» и «показывать счётчики». Всё, что встречается дважды, есть в обоих — при условии, что сами списки не содержат внутренних повторов.
Очистка выгруженного списка контактов. Включите обрезку пробелов, игнорирование регистра и отбрасывание пустых строк. Эта комбинация убирает три самые частые причины почти-дубликатов в табличной выгрузке.
Замечание о том, что здесь значит «дубликат»
Сравнение точное после применения выбранных вами опций. То есть New York и New York (с пробелом в конце) — дубликаты, когда обрезка включена, но New York и new york сливаются только при игнорировании регистра. Если две строки выглядят одинаково и не сливаются, различие почти всегда невидимо: пробел в конце, неразрывный пробел или символ полной ширины вместо половинной.
Частые вопросы
Сохраняется первое или последнее вхождение?
Первое. При удалении дубликатов без сортировки порядок вывода следует порядку ввода, и выживает самое раннее вхождение. Значит, если вы вставите новые данные после старых, а что-то было обновлено, победит старое значение — ставьте более новый список первым, когда это важно.
Как именно выполняется сортировка?
Сравнением строк с учётом локали. Цифры и символы обычно идут перед буквами, а буквы упорядочиваются по алфавиту без учёта регистра, а не по коду ASCII. Именно поэтому результат выглядит «правильным» для человека, ценой несовпадения со строгой побайтовой сортировкой.
Справится с большим списком?
Да — десятки тысяч строк это нормально, поскольку работа представляет собой линейный проход плюс сортировку. Практический предел — способность браузера отрисовать область вывода, а не алгоритм.
Мои данные куда-то отправляются?
Нет. Всё работает в вашем браузере, и вставленный текст не покидает устройство. Можете убедиться, наблюдая за панелью «Сеть» в F12 во время работы.
В чём разница между «удалить дубликаты» и «оставить только дубликаты»?
Это противоположности. Удаление дубликатов даёт каждое уникальное значение один раз — очищенный список. Оставить только дубликаты даёт значения, встречавшиеся более одного раза, — список проблем. Запускайте одно, затем другое, в зависимости от того, приводите вы данные в порядок или проверяете их.