Sesgo y volcado

Volcado

Lo primero que hay que buscar en una fase de larga duración es si hay derrames.

En la parte superior de la página de la fase verá los detalles, que pueden incluir estadísticas sobre el volcado:

Los detalles de las etapas también incluyen otras métricas, como la Memoria de Ejecución Pico. Para más detalles sobre estas y otras métricas de etapa, véase Detalle de etapa en la documentación de Apache Spark.

El derrame es lo que ocurre cuando Spark se queda sin memoria de ejecución. Esta memoria se utiliza para operaciones como reorganizaciones, uniones, ordenaciones y agregaciones. Empieza a mover datos de la memoria al disco, lo que puede ser caro. Es más común durante el orden aleatorio de datos.

Si no ve ninguna estadística para el volcado, significa que la fase no tiene ningún volcado. Si la fase tiene algún volcado, consulte esta guía sobre cómo tratar con el volcado causado por orden aleatorio.

Asimetría

Lo siguiente que queremos examinar es si hay asimetría. El sesgo es cuando una o solo algunas tareas tardan mucho más que el resto. Esto da como resultado un uso deficiente del clúster y trabajos más largos.

Desplácese hacia abajo hasta las métricas de resumen. Lo principal que estamos buscando es que la duración máxima sea mucho mayor que la duración del percentil 75. En la captura de pantalla siguiente se muestra una etapa saludable, donde el percentil 75 y Max son iguales.

Si la duración máxima es del 50 % más que el percentil 75, es posible que esté sufriendo de sesgo.

Si ve asimetría, obtenga información sobre los pasos de corrección de asimetría aquí.

Sin sesgos ni volcado

Si no ve sesgo ni volcado, vuelva a la página del trabajo para obtener información general sobre lo que está ocurriendo. Desplácese hacia arriba hasta la parte superior de la página y haga clic en Id. de trabajo asociados:

Si la fase no tiene volcado o sesgo, consulte E/S elevada de la fase de Spark para conocer los pasos siguientes.