Estoy creando un nuevo DataFrame llamado data_day , que contiene nuevas funciones, para cada día extrapolado de la marca de tiempo del día de un DataFrame df anterior.
Mis nuevos marcos de datos data_day son 30 marcos de datos independientes que necesito concatenar/agregar al final en un marco de datos único (final_data_day).
El bucle for para cada día se define de la siguiente manera:
num_days=len(list_day) #list_day= random.sample(list_day,num_days_to_simulate) data_frame = pd.DataFrame() for i, day in enumerate(list_day): print('*** ',day,' ***') data_day=df[df.day==day] ..................... final_data_day = pd.concat()Espero haber sido claro. El mío es básicamente un problema de agregar/concatenar marcos de datos generados en un bucle for no trivial
Pandas concat toma una lista de tramas de datos. Si puede generar una lista de marcos de datos con su función de bucle, una vez que haya terminado, puede concatenar la lista:
data_day_list = [] for i, day in enumerate(list_day): data_day = df[df.day==day] data_day_list.append(data_day) final_data_day = pd.concat(data_day_list)Agotar un generador es más elegante (si no más eficiente) que agregarlo a una lista. Por ejemplo:
def yielder(df, list_day): for i, day in enumerate(list_day): yield df[df['day'] == day] final_data_day = pd.concat(list(yielder(df, list_day))Agregar o concatenar pd.DataFrame s es lento. Puede usar una lista en el ínterin y luego crear el pd.DataFrame final al final con pd.DataFrame.from_records() por ejemplo:
interim_list = [] for i,(k,g) in enumerate(df.groupby(['[*name of your date column here*'])): if i % 1000 == 0 and i != 0: print('iteration: {}'.format(i)) # just tells you where you are in iteration # add your "new features" here... for v in g.values: interim_list.append(v) # here you want to specify the resulting df's column list... df_final = pd.DataFrame.from_records(interim_list,columns=['a','list','of','columns'])