Recibí la siguiente advertencia

PerformanceWarning: DataFrame está muy fragmentado. Esto suele ser el resultado de llamar a frame.insert muchas veces, lo que tiene un rendimiento deficiente. Considere usar pd.concat en su lugar. Para obtener un marco desfragmentado, use newframe = frame.copy()

cuando traté de agregar múltiples marcos de datos como

 df1 = pd.DataFrame() for file in files: df = pd.read(file) df['id'] = file df1 = df1.append(df, ignore_index =True)

donde

 df['id'] = file

parece causar la advertencia. Me pregunto si alguien puede explicar cómo copy() puede evitar o reducir el problema de los fragmentos o sugerir otras soluciones diferentes para evitar los problemas.

Gracias,

Intenté crear un código de prueba para duplicar el problema, pero no veo la Advertencia de rendimiento con un conjunto de datos de prueba (enteros aleatorios). El mismo código continuaría generando una advertencia al leer el conjunto de datos real. Parece que algo desencadenó los problemas en el conjunto de datos real.

 import pandas as pd import numpy as np import os import glob rows = 35000 cols = 1900 def gen_data(rows, cols, num_files): if not os.path.isdir('./data'): os.mkdir('./data') files = [] for i in range(num_files): file = f'./data/{i}.pkl' pd.DataFrame( np.random.randint(1, 1_000, (rows, cols)) ).to_pickle(file) files.append(file) return files # Comment the first line to run real dataset, comment the second line will run the testing dataset files = gen_data(rows, cols, 10) # testing dataset, runs okay files = glob.glob('../pickles3/my_data_*.pickle') # real dataset, get performance warning dfs = [] for file in files: df = pd.read_pickle(file) df['id'] = file dfs.append(df) dfs = pd.concat(dfs, ignore_index = True)