Cómo eliminar valores atípicos de un conjunto de datos

Question

Tengo algunos datos multivariantes de belleza frente a edades. Las edades van desde 20-40 a intervalos de 2 (20, 22, 24 ... 40), y para cada registro de datos, se les asigna una edad y una calificación de belleza de 1-5. Cuando hago diagramas de caja de estos datos (edades en todo el eje X, clasificaciones de belleza en el eje Y), hay algunos valores atípicos trazados fuera de los bigotes de cada casilla.

Quiero eliminar estos valores atípicos del marco de datos en sí, pero no estoy seguro de cómo R calcula los valores atípicos para sus diagramas de caja. A continuación se muestra un ejemplo de cómo se verían mis datos.

Answer 1

Bien, debe aplicar algo como esto a su conjunto de datos. No reemplace & guardar o destruirá sus datos! Y, por cierto, usted debe (casi) nunca retire los valores extremos de los datos:

remove_outliers <- function(x, na.rm = TRUE, ...) { 
    qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...) 
    H <- 1.5 * IQR(x, na.rm = na.rm) 
    y <- x 
    y[x < (qnt[1] - H)] <- NA 
    y[x > (qnt[2] + H)] <- NA 
    y 
} 

Para verlo en acción:

set.seed(1) 
x <- rnorm(100) 
x <- c(-10, x, 10) 
y <- remove_outliers(x) 
## png() 
par(mfrow = c(1, 2)) 
boxplot(x) 
boxplot(y) 
## dev.off() 

Y una vez más, que nunca debe hacer esto por su cuenta, los valores extremos están destinados a ser! =)

EDIT: He añadido na.rm = TRUE por defecto.

EDIT2: Función de quantile, se ha añadido la subscripción, por lo tanto, hizo la función más rápida! =)

Answer 2

Utilice outline = FALSE como opción cuando haga el diagrama de caja (¡lea la ayuda!).

> m <- c(rnorm(10),5,10) 
> bp <- boxplot(m, outline = FALSE) 

Answer 3

La función diagrama de caja devuelve los valores que se utilizan para hacer el trazado (que en realidad es a continuación hecho por bxp():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot 
bstats$out <- NULL 
bstats$group <- NULL 
bxp(bstats) # this will plot without any outlier points 

A propósito no respondió a la pregunta específica porque Considero que es una mala práctica estadística eliminar "valores atípicos". Considero que es una práctica aceptable no trazarlos en un diagrama de caja, pero eliminarlos es una alteración sistemática e injustificada del registro observacional

Answer 4

Nadie ha publicado la respuesta más simple:

x[!x %in% boxplot.stats(x)$out] 

también ver esto: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Answer 5

Adición a la sugerencia @sefarkas' y utilizando cuantil como cortes, uno podría explore la siguiente opción:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .91))[1])) 

Esto eliminará los puntos de puntos más allá del 99. ° cuantil. Se debe tener cuidado como lo que aL3Xa estaba diciendo acerca de mantener valores atípicos. Debe eliminarse solo para obtener una vista alternativa conservadora de los datos.

Answer 6

no quiso,

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
     df$x < quantile(df$x, .75) + 1.5*IQR(df$x)] 

realizar esta tarea con bastante facilidad?

Answer 7

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99)) 
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],] 

Me parece muy fácil de eliminar valores atípicos. En el ejemplo anterior, estoy extrayendo 2 percentiles a 98 percentiles de valores de atributos.

Answer 8

Miré hacia arriba para paquetes relacionados con la eliminación de valores atípicos, y encontré este paquete (sorprendentemente llamados "atípicos"!): https://cran.r-project.org/web/packages/outliers/outliers.pdf
si vas a través de él que ver diferentes maneras de eliminar los valores atípicos y entre ellos encontré rm.outlier más uno cómodo de usar y como se dice en el siguiente enlace: "Si es detectado y confirmado por pruebas estadísticas el valor atípico, esta función puede eliminar o sustituir por muestra de media o mediana" y también aquí es la parte de uso de la misma fuente:
"uso

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE) 

Argumentos
x un conjunto de datos, lo más frecuentemente un vector. Si el argumento es un marco de datos, el valor atípico es eliminado de cada columna por sapply. El mismo comportamiento se aplica aplica cuando se da la matriz.
llenar Si es verdadero, la mediana o la media se sitúa en lugar de valores atípicos. De lo contrario, el (los) valor (es) atípico (s) simplemente se eliminan.
mediana Si es verdadero, la mediana se utiliza en lugar de la media en el reemplazo de valores atípicos. opuesta Si es verdadero, da valor opuesto (si tiene el valor más grande diferencia máxima de la media, que da más pequeño y viceversa) "