¿Monitorea los registros de Amazon S3 con Splunk?

Question

Tenemos una gran red extendida de usuarios a los que rastreamos usando insignias. El tráfico total ronda los 60 millones de impresiones por mes. Actualmente estamos considerando cambiar de una solución de registro basada en bases de datos bastante lenta (personalizada en PHP-desordenado ...) a una alternativa simple basada en registros que se basa en los registros de Amazon S3 y Splunk.

Después de usar Splunk para algunas otras tareas de análisis, realmente me gusta. Pero no está claro cómo configurar una fuente como S3 con el sistema. Parece que las fuentes remotas requieren el Universal Forwarder instalado, que no es una opción allí.

¿Alguna idea sobre esto?

Answer 1

Última respuesta, pero estaba buscando lo mismo y encontré una aplicación Splunk que hace lo que quiere, http://apps.splunk.com/app/1137/. Todavía no lo he probado.

Answer 2

Sugeriría registrar los datos preprocesados ​​j-son en una base de datos documentdb. Por ejemplo, usando colas azules o tecnologías de mensajería de bus de servicio similares que se adapten a su escenario en combinación con el documento azuldb. Por lo tanto, mantendré su enfoque basado en la base de datos y lo modificaré para que sea una base de datos basada en documentos fácil de escalar y sin esquemas.

Answer 3

Uso http://www.insight4storage.com/ de AWS Marketplace para rastrear mis totales de uso de almacenamiento de AWS S3 por prefijo, segmento o clase de almacenamiento a lo largo del tiempo; Además, me muestra las versiones anteriores de almacenamiento por prefijo y por cubo. Tiene una configuración para guardar los datos de S3 como registros de formato splunk que podrían funcionar para su caso de uso, además de su interfaz de usuario y la API del servicio web.