¿Cómo puedo acceder al valor en un índice determinado de una columna en el marco de datos de PySpark? Por ejemplo, quiero acceder al valor en el índice 5 de una columna llamada "Categoría". ¿Cómo puedo hacer eso en la sintaxis de PySpark?
Algo como esto,
value = df.where(df.index == 5).select('Category').collect()[0]['Category'] #assuming 'index' is index column