Comando Linux o script que cuenta líneas duplicadas en un archivo de texto?

Question

Si tengo un archivo de texto con el siguiente conent

red apple 
green apple 
green apple 
orange 
orange 
orange 

¿Hay un comando o secuencia de comandos de Linux que puedo utilizar para obtener el siguiente resultado?

echo "red apple 
> green apple 
> green apple 
> orange 
> orange 
> orange 
> " | sort -u 

:

1 red apple 
2 green apple 
3 orange 

Answer 1

enviarlo a través sort (a incluir puntos adyacentes) luego uniq -c para dar el recuento, es decir:

sort filename | uniq -c 

y para conseguir esa lista en el orden establecido (por frecuencia) Puede

sort filename | uniq -c | sort -nr 

Answer 2

Se puede vivir con un alfabético, lista ordenada?

green apple 
orange 
red apple 

o

sort -u FILE 

-u significa único, y la singularidad solamente se alcanza a través de la clasificación.

Una solución que preserve el orden:

echo "red apple 
green apple 
green apple 
orange 
orange 
orange 
" | { old=""; while read line ; do if [[ $line != $old ]]; then echo $line; old=$line; fi ; done } 
red apple 
green apple 
orange 

y, con un archivo

cat file | { 
old="" 
while read line 
do 
    if [[ $line != $old ]] 
    then 
    echo $line 
    old=$line 
    fi 
done } 

Los dos últimos sólo eliminan los duplicados, que siguen de inmediato - que se ajusta a tu ejemplo.

echo "red apple 
green apple 
lila banana 
green apple 
" ... 

Se imprimirán dos manzanas, divididas por un plátano.

Answer 3

uniq -c file

y en caso de que el archivo no está ordenada ya:

sort file | uniq -c

Answer 4

cat <filename> | sort | uniq -c 

Answer 5

probar este

cat myfile.txt| sort| uniq 

Answer 6

para obtener sólo un recuento:

$> egrep -o '\w+' fruits.txt | sort | uniq -c 

     3 apple 
     2 green 
     1 oragen 
     2 orange 
     1 red 

Para llegar un recuento ordenado:

$> egrep -o '\w+' fruits.txt | sort | uniq -c | sort -nk1 
     1 oragen 
     1 red 
     2 green 
     2 orange 
     3 apple 

EDITAR

Aha, esto NO fue a lo largo de los límites de palabras, mi mal.Aquí está el comando a utilizar para líneas completas:

$> cat fruits.txt | sort | uniq -c | sort -nk1 
     1 oragen 
     1 red apple 
     2 green apple 
     2 orange 

Answer 7

casi lo mismo que borribles' pero si se agrega el parámetro d a uniq sólo muestra los duplicados.

sort filename | uniq -cd | sort -nr