Comando uniq no Linux (remove duplicatas) [Guia Básico]

O comando uniq no Linux remove as linhas duplicadas de um arquivo ordenado. Por isso ele é muito usado em conjunto com o comando sort

As opções mais comuns são:

  • -c: Indica no início das linhas o número de ocorrências;
  • -d: Imprime somente as linhas duplicadas;
  • -i: Ignora a diferença entre maiúsculas e minúsculas;
  • -u: Imprime somente as linhas únicas, que não têm duplicatas.

Sem ordenação, o uniq não consegue eliminar as duplicatas. Veja o exemplo abaixo:

$ uniq supermercado 
arroz
feijão
carne
batata
alface
tomate
arroz
carne
$ sort supermercado | uniq
alface
arroz
batata
carne
feijão
tomate

O comando uniq é muito útil para retirar duplicatas de arquivos com fonte de dados, especialmente arquivos texto, CSV, etc.

A opção “-i” faz com que o uniq ignore se os itens estão em maiúsculo ou minúsculo.

A opção “-D” mostra somente as linhas duplicadas:

$ sort supermercado | uniq -D 
arroz
arroz
carne
carne

Aprenda muito mais sobre Linux em nosso curso online. Você pode efetuar a matrícula aqui. Se você já tem uma conta, ou quer criar uma, basta entrar ou criar seu usuário aqui.

Gostou? Compartilhe