Un novato de Spark aquí. Recientemente comencé a jugar con Spark en mi máquina local en dos núcleos usando el comando:

 pyspark --master local[2]

Tengo un archivo de texto de 393 Mb que tiene casi un millón de filas. Quería realizar alguna operación de manipulación de datos. Estoy usando las funciones de marco de datos integradas de PySpark para realizar operaciones simples como groupBy , sum , max , stddev .

Sin embargo, cuando hago exactamente las mismas operaciones en pandas en el mismo conjunto de datos, parece que pandas vence a pyspark por un gran margen en términos de latencia.

Me preguntaba cuál podría ser una posible razón para esto. Tengo un par de pensamientos.

1. ¿Las funciones integradas hacen que el proceso de serialización/deserialización sea ineficiente? En caso afirmativo, ¿cuáles son las alternativas a ellos?
2. ¿El conjunto de datos es demasiado pequeño para que no pueda superar el costo general de la JVM subyacente en la que se ejecuta Spark?

Gracias por mirar. Muy apreciado.