Recientemente refactoreé un poco de mi código para rellenar filas en un archivo db utilizando 'cargar datos' y funciona muy bien; sin embargo, para cada registro que tengo debo cargar 2 archivos a s3, esto destruye totalmente la magnífica actualización de velocidad que estaba obteniendo. Mientras que pude procesar más de 600 de estos documentos/segundo ahora están llegando a 1/segundo debido a s3.¿Cómo puedo realizar una carga masiva a s3?
¿Cuáles son sus soluciones para esto? Al observar la API, veo que es RESTful en su mayoría, así que no estoy seguro de qué hacer, tal vez debería incluir todo esto en la base de datos. Los archivos de texto generalmente no son más de 1.5k. (el otro archivo que tenemos allí es una representación xml del texto)
Ya guardo en caché estos archivos en las solicitudes HTTP a mi servidor web, ya que se usan bastante.
por cierto: nuestra implementación actual usa Java; Todavía no he probado los hilos pero podría ser una opción
¿Recomendaciones?
thnx mucho - Debería haber peinado a través de esa API primera vez de pensar api de que S3 sería final- todo es todo; esto es exactamente lo que necesitaba – eyberg