Problema

¿Cómo eliminar celdas duplicadas de cada fila, considerando cada fila por separado (y quizás reemplazarlas con NaN) en un marco de datos de Pandas?

Sería aún mejor si pudiéramos cambiar todos los NaN recién creados al final de cada fila.

_{Publicaciones relacionadas pero diferentes}

_{Publicaciones sobre cómo eliminar filas enteras que se consideran duplicadas:}

• _{¿Cómo elimino filas con valores duplicados de columnas en el marco de datos de pandas?}
• _{Suelte todas las filas duplicadas en varias columnas en Python Pandas}
• _{Elimine las filas duplicadas del marco de datos de Pandas donde solo algunas columnas tienen el mismo valor}

_{Publicar sobre cómo eliminar duplicados de una lista que está en una columna de Pandas :}

• _{Eliminar duplicados de filas y columnas (celda) en un marco de datos, python}

_{La respuesta dada aquí devuelve una serie de cadenas, no un marco de datos.}

Configuración reproducible

 import pandas as pd

Vamos a crear un marco de datos:

 df = pd.DataFrame({'a': ['A', 'A', 'C', 'B'], 'b': ['B', 'D', 'B', 'B'], 'c': ['C', 'C', 'C', 'A'], 'd': ['D', 'D', 'B', 'A']}, index=[0, 1, 2, 3])

df creado:

 +----+-----+-----+-----+-----+ | | a | b | c | d | |----+-----+-----+-----+-----| | 0 | A | B | C | D | | 1 | A | D | C | D | | 2 | C | B | C | B | | 3 | B | B | A | A | +----+-----+-----+-----+-----+

_{(Impreso usando este .)}

Una solución

Una forma de eliminar duplicados de cada fila, considerando cada fila por separado:

 df = df.apply(lambda row: pd.Series(row).drop_duplicates(keep='first'),axis='columns')

usando apply() , una función lambda , pd.Series() y Series.drop_duplicates() .

Empuje todos los NaN al final de cada fila, usando Shift NaN al final de sus respectivas filas :

 df.apply(lambda x : pd.Series(x[x.notnull()].values.tolist()+x[x.isnull()].values.tolist()),axis='columns')

Producción:

 +----+-----+-----+-----+-----+ | | 0 | 1 | 2 | 3 | |----+-----+-----+-----+-----| | 0 | A | B | C | D | | 1 | A | D | C | nan | | 2 | C | B | nan | nan | | 3 | B | A | nan | nan | +----+-----+-----+-----+-----+

Tal como deseábamos.

Pregunta

¿Hay una manera más eficiente de hacer esto? ¿Quizás con algunas funciones integradas de Pandas?