Encontré este https://cloud.google.com/storage-transfer/docs/create-url-list pero no es de ninguna manera útil para mí ya que no tengo el tamaño y tengo el md5 de los archivos y ni siquiera puedo descargar ellos ya que son demasiado grandes como 2 gb 3 gb. Si alguien tiene conocimiento de cómo hacer un script que crea un archivo tsv para una URL pública de un archivo para el trabajo de transferencia de almacenamiento en la nube de Google sin descargar el archivo. Gracias de antemano (no soy un desarrollador, así que explique la respuesta paso a paso)
Desafortunadamente, no existe tal solución . ¡Debe descargar y cargar los archivos manualmente!
Puede optar por una solución basada en la nube , si no desea descargar los archivos en su PC y cargarlos manualmente.
Por ejemplo, su servidor en la nube extraerá los archivos de sus URL predefinidas, los descargará localmente en esa máquina virtual , finalmente los cargará en su Google Cloud Storage y eliminará el archivo local de la máquina virtual.
Todo esto se puede hacer a través de un script que debe escribir y ejecutar en esa máquina virtual.
Puede lanzar un servidor virtual ubuntu desde Digitalocean, AWS, GCP o cualquier otro proveedor de nube .
Entonces, los pasos son: -