Voy a realizar algunos análisis de archivos de registro en R (a menos que no pueda hacerlo en R), y entiendo que mis datos deben caber en la RAM (a menos que use algún tipo de solución como una interfaz para un keyval tienda, tal vez?). Así que me pregunto cómo saber de antemano cuánto espacio ocuparán mis datos en la RAM, y si tendré suficiente. Sé cuánto RAM tengo (no una gran cantidad, 3 GB en XP), y sé cuántas filas y cols terminará mi archivo de registro y qué tipos de datos deben ser las entradas de col (que presumiblemente debo verificar como se lee).¿Cómo puedo saber cuándo mi conjunto de datos en R va a ser demasiado grande?
¿Cómo unir esto en una decisión de go/nogo para llevar a cabo el análisis en R? (Presumiblemente, R necesita poder tener algo de RAM para hacer operaciones, ¡y también para mantener los datos!) Mi salida requerida inmediata es un conjunto de simples estadísticas de resumen, frecuencias, contingencias, etc., y entonces probablemente podría escribir algún tipo de analizador/tabulador que me dará la salida que necesito a corto plazo, pero también quiero jugar con muchos enfoques diferentes de estos datos como paso siguiente, entonces estoy viendo la viabilidad de usar R.
He visto muchos consejos útiles sobre grandes conjuntos de datos en R aquí, que he leído y volveré a leer, pero por ahora me gustaría entender mejor cómo debo saber si (a) debo ir allí, (b) ir allí, pero esperar tener que hacer algunas cosas adicionales para hacerlo manejable, o (c) escapar antes de que sea demasiado tarde y hacer algo en otro idioma/entorno (¡sugerencias bienvenidas ...!). ¡Gracias!
Consejo muy útil sobre los problemas involucrados, gracias Paul. Re el tamaño del trabajo q Obtuve una respuesta muy específica en quora, que es la regla general que los mem necesitaron = datasetsize * 4 o 5: [link] (http://www.quora.com/R-software/How -can-I-tell-when-my-dataset-in-R-is-going-to-be-too-large) –
No se recomienda hacer una publicación cruzada de su problema ... –
Además, si esto responde a su pregunta es costumbre marcar la marca de verificación verde como una señal de que se ha agregado esta pregunta. –