¿Cómo puedo organizar un millón de archivos ahora que me estoy moviendo a Amazon S3?

Bien, estoy siendo iniciado desde mi host compartido y estoy cambiando a una combinación de un VPS de Linode y Amazon S3 para alojar algunos millones de jpegs.¿Cómo puedo organizar un millón de archivos ahora que me estoy moviendo a Amazon S3?

Mi gran preocupación es mantener un poco de cordura con todas estas imágenes. ¿Hay alguna esperanza de eso? Según tengo entendido, solo se permiten 100 "cubos" y los "cubos" son el único tipo de estructura dentro de S3.

¿Está poniendo algunos millones de archivos en un cubo algo que desaconseja?

Fuente

2012-01-15 Andrew G. Johnson

- [Restricciones y limitaciones del paquete] (http://docs.amazonwebservices.com/AmazonS3/latest/dev/BucketRestrictions.html) - [Límite del segmento Amazon S3] (http://seocracy.com/2009/ 08/amazon-s3-bucket-limit /) – David

Usted puede notar en Bucket Restrictions and Limitations, se afirma:

There is no limit to the number of objects that can be stored in a bucket

Mi experiencia es que un gran número de objetos en un solo cubo no afectará el rendimiento de conseguir un solo objeto por su llave (que es, get parece ser de complejidad constante).

Tener un número muy grande de objeto también does not affect the speed of listing a given number of objects:

List performance is not substantially affected by the total number of keys in your bucket

Sin embargo, debo advertirle, que la mayoría de las herramientas de gestión de S3 que he usado (como S3Fox) se ahogue y morir una muerte horrible lento cuando intentando acceder a una cubeta con una gran cantidad de objetos. Una herramienta que parece funcionar bien con un gran número de objetos es S3 Browser (tienen una versión gratuita y una versión Pro, no estoy afiliado a ellos de ninguna manera).

El uso de "carpetas" o prefijos, no cambia ninguno de estos puntos (obtener y enumerar un número dado de objetos son todavía constantes, la mayoría de las herramientas todavía se sobreponen y cuelgan).

Fuente

2012-01-15 14:00:09

Ya casi resumiste mis sentimientos, es divertido y juegos subir 10 millones de archivos, pero una vez que están allí, estás muy atrapado con ellos para siempre ya que hay no hay averías y cualquier herramienta de listado no podrá manejar esa gran lista. –

Bueno, definitivamente echa un vistazo al navegador S3. Los prefijos/carpetas pueden ser de alguna ayuda, pero no reducen la cantidad de objetos en el depósito. En realidad, depende de usted implementar otro tipo de lista, generalmente registros en una base de datos con los nombres de archivo/direcciones URL, y administrar los objetos fuera de eso. –

eso es lo que haré. Odio la idea de que si hay un error en mi código, termine teniendo que pagarlo para siempre, literalmente. –

¿Cómo puedo organizar un millón de archivos ahora que me estoy moviendo a Amazon S3?

Respuesta

Cuestiones relacionadas