Tanto Spark como Hive funcionan bien individualmente, pero cuando intento escribir el resultado de un Spark Dataframe en una tabla de Hive, aparece el siguiente error:
Causado por: org.apache.hadoop.hive.metastore.api.MetaException: Hive Schema versión 1.2.0 no coincide con el esquema de metastore versión 2.1.0 Metastore no está actualizado o dañado
Los detalles de "schematool -dbType postgres -info" se adjuntan a continuación: Captura de pantalla de resultados de Schematool
Nota adicional: en esta página de documentación de Databricks Spark , descubrí que Apache Spark admite varias versiones de Hive desde la 0.12 hasta la 1.2.1 únicamente.
Entonces, ¿la única forma de conectarme es degradar mi versión de Hive? ¿O hay alguna otra disposición para que agreguemos archivos jar adicionales que permitan escribir Spark-2.1.0 DataFrames en tablas Hive-2.1.1?
Agradezco sus opiniones sobre esto. Gracias por adelantado.
Finalmente yo mismo encontré la respuesta. Será útil para aquellos que se quedaron con el mismo problema.
Se resuelve agregando el siguiente parámetro en el archivo hive-site.xml
<property> <name>hive.metastore.schema.verification</name> <value>false</value> </property>