Mi cliente tiene un servicio que almacena muchos archivos, como archivos de video o sonido. El servicio funciona bien, sin embargo, parece que el almacenamiento de archivos a largo plazo es todo un desafío y nos gustaría usar AWS para almacenar estos archivos.
El problema es el siguiente, el cliente quiere usar AWS kinesis para transferir todos los archivos de nuestros servidores a AWS. es posible? ¿Podemos transferir archivos usando ese servicio? Hay muchos archivos de video, y tenemos más y más cada día. Y todos los archivos son relativamente grandes.
También nos gustaría guardar algunos detalles de los archivos, posiblemente en dynamoDB, podríamos usar las funciones de Lambda para eso.
Lo más importante, que necesitamos una opción de transferencia de datos confiable.
KInesis no sería la herramienta adecuada para cargar archivos, a menos que fueran todos muy pequeños, y la mayoría de los videos seguramente superarían el límite de tamaño de registro de 1 MB:
El tamaño máximo de un blob de datos (la carga de datos antes de la codificación Base64) dentro de un registro es de 1 megabyte (MB).
Use S3 con carga de varias partes usando uno de los SDK. Los objetos a los que no accederá durante más de 90 días se pueden mover a Glacier.
La carga de varias partes le permite cargar un solo objeto como un conjunto de partes. Cada parte es una parte contigua de los datos del objeto. Puede cargar estas partes de objetos de forma independiente y en cualquier orden. Si falla la transmisión de alguna parte, puede retransmitir esa parte sin afectar a otras partes. Después de cargar todas las partes de su objeto, Amazon S3 ensambla estas partes y crea el objeto. En general, cuando el tamaño de su objeto alcanza los 100 MB, debe considerar usar cargas de varias partes en lugar de cargar el objeto en una sola operación.
Servicios web de Amazon. Guía para desarrolladores de Amazon Simple Storage Service (S3) (ubicaciones de Kindle 4302-4306). Amazon Web Services, Inc.. Edición Kindle.
Para optimizar aún más la velocidad de carga de archivos, utilice la aceleración de transferencia:
Amazon S3 Transfer Acceleration permite transferencias rápidas, fáciles y seguras de archivos a largas distancias entre su cliente y un depósito S3. Transfer Acceleration aprovecha las ubicaciones de borde distribuidas globalmente de Amazon CloudFront. A medida que los datos llegan a una ubicación de borde, los datos se enrutan a Amazon S3 a través de una ruta de red optimizada.
Servicios web de Amazon. Guía para desarrolladores de Amazon Simple Storage Service (S3) (ubicaciones de Kindle 2060-2062). Amazon Web Services, Inc.. Edición Kindle.
Kinesis lanzó un nuevo servicio "Kinesis Video Streams": https://aws.amazon.com/kinesis/video-streams/ que puede ser útil para mover una gran cantidad de datos.