Tengo varios archivos csv en una sola carpeta y quiero abrirlos todos en un marco de datos e insertar una nueva columna con el nombre de archivo asociado. Hasta ahora he codificado lo siguiente:
import pandas as pd import glob, os df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('path/*.csv')))) df['filename']= os.path.basename(csv) dfEsto me da el marco de datos que quiero, pero en la nueva columna 'nombre de archivo' solo aparece el último nombre de archivo en la carpeta para cada fila. Estoy buscando que cada fila se complete con su archivo csv asociado. No solo el último archivo de la carpeta.
Cualquier ayuda para este novato es muy apreciada.
Creo que necesita assign para agregar una nueva columna en loop , también se agregó el parámetro ignore_index=True aconcat para eliminar duplicados en index :
Los archivos para la prueba son a.csv , b.csv , c.csv .
import pandas as pd import glob, os files = glob.glob('samples_for_so/*.csv') print (files) #['samples_for_so\\a.csv', 'samples_for_so\\b.csv', 'samples_for_so\\c.csv'] df = pd.concat([pd.read_csv(fp).assign(New=os.path.basename(fp)) for fp in files]) print (df) abcd New 0 0 1 2 5 a.csv 1 1 5 8 3 a.csv 0 0 9 6 5 b.csv 1 1 6 4 2 b.csv 0 0 7 1 7 c.csv 1 1 3 2 6 c.csv files = glob.glob('samples_for_so/*.csv') df = pd.concat([pd.read_csv(fp).assign(New=os.path.basename(fp).split('.')[0]) for fp in files]) print (df) abcd New 0 0 1 2 5 a 1 1 5 8 3 a 2 0 9 6 5 b 3 1 6 4 2 b 4 0 7 1 7 c 5 1 3 2 6 cEn primer lugar, no tiene una variable csv definida.
Pero de todos modos, este comportamiento tiene sentido, porque está utilizando el csv al final, por lo que se establecerá en el último archivo. Idealmente, puede usar glob nuevamente para obtener todos los nombres de archivo y luego configurarlo como una nueva columna.
#this is a Python list containing filenames csvs = glob.glob(os.path.join('path/*.csv')) #now set the csv into a pd series csv_paths = pd.Series(csvs) df['file_name'] = csv_paths.values