Ya he leído las respuestas disponibles aquí y aquí y estas no ayudan.
Estoy tratando de leer un objeto csv del depósito S3 y he podido leer correctamente los datos usando el siguiente código.
srcFileName="gossips.csv" def on_session_started(): print("Starting new session.") conn = S3Connection() my_bucket = conn.get_bucket("randomdatagossip", validate=False) print("Bucket Identified") print(my_bucket) key = Key(my_bucket,srcFileName) key.open() print(key.read()) conn.close() on_session_started() Sin embargo, si trato de leer el mismo objeto usando pandas como marco de datos, aparece un error. El más común es S3ResponseError: 403 Forbidden
def on_session_started2(): print("Starting Second new session.") conn = S3Connection() my_bucket = conn.get_bucket("randomdatagossip", validate=False) # url = "https://s3.amazonaws.com/randomdatagossip/gossips.csv" # urllib2.urlopen(url) for line in smart_open.smart_open('s3://my_bucket/gossips.csv'): print line # data = pd.read_csv(url) # print(data) on_session_started2()¿Qué estoy haciendo mal? Estoy en Python 2.7 y no puedo usar Python 3.
Esto es lo que he hecho para leer con éxito el df de un csv en S3.
import pandas as pd import boto3 bucket = "yourbucket" file_name = "your_file.csv" s3 = boto3.client('s3') # 's3' is a key word. create connection to S3 using default config and all buckets within S3 obj = s3.get_object(Bucket= bucket, Key= file_name) # get object and file (key) from bucket initial_df = pd.read_csv(obj['Body']) # 'Body' is a key wordEsto funcionó para mí.
import pandas as pd import boto3 import io s3_file_key = 'data/test.csv' bucket = 'data-bucket' s3 = boto3.client('s3') obj = s3.get_object(Bucket=bucket, Key=s3_file_key) initial_df = pd.read_csv(io.BytesIO(obj['Body'].read()))Tal vez puedas intentar usar pandas read_sql y pyathena:
from pyathena import connect import pandas as pd conn = connect(s3_staging_dir='s3://bucket/folder',region_name='region') df = pd.read_sql('select * from database.table', conn)