Tengo un único depósito que tiene métricas de tamaño total y número de objetos muy diferentes entre la Consola de administración de S3/CloudWatch y la herramienta de línea de comandos de S3.
Pantalla Métricas de S3 Management Console
S3 Management Console - Cuadro de diálogo Obtener tamaño
Vigilancia de la nube:
Herramienta de línea de comandos
aws s3 ls --summarize --human-readable --recursive s3://mybucket.comLa herramienta de línea de comandos y S3 Management Console: el cuadro de diálogo Obtener tamaño está devolviendo lo que esperaba.
Se nos factura en función de las estadísticas mucho más altas de CloudWatch.
No me molestaría si están cerca, pero Cloudwatch informa cerca de 15 veces más StorageSize que la herramienta CLI.
No hay replicación en el depósito S3.
Existen políticas de ciclo de vida para:
El control de versiones está activado, pero estoy bastante seguro de que no se usa; es decir, los archivos solo se han subido una vez. He probado algunos archivos aleatorios para confirmar, y todos solo tienen una versión disponible, la última. Estoy feliz de desactivar esto en la configuración del depósito, pero entiendo que esto no 'eliminará' las versiones anteriores (si existen) de todos modos.
Tampoco creo que se deba a los archivos almacenados de Glacier, ya que recientemente configuré esta política de ciclo de vida y la falta de coincidencia de tamaño estaba presente antes de eso.
Y estoy más confundido dado que la interfaz de usuario de S3 Management Console > Overview > Select all folders > Actions > Get Size informa lo mismo que la herramienta CLI, 264 GB.
Por lo tanto, seleccionar todos los archivos/carpetas en la interfaz de usuario devuelve 264 GB, pero las métricas devuelven 3,2 TB.
¿Puede alguien arrojar algo de luz sobre lo que está pasando aquí y cómo puedo limpiarlo? Gracias roberto
Esto fue causado por 3 TB de archivos con versiones anteriores; pero todo el directorio se había eliminado, por lo que no se mostraba en la interfaz de usuario.
Cuando cambié la interfaz de usuario para mostrar las versiones, apareció la carpeta eliminada y luego pude ver todas las versiones anteriores de los archivos eliminados.
La siguiente declaración de CLI me ayudó a confirmar que fue causado por el control de versiones:
aws s3api list-object-versions --bucket mybucker.com --query 'Versions[*].[Size,Size]' --output text | awk '{s+=$1} END {printf "%.0f", s}'