Estoy tratando de atravesar un conjunto de datos para hacer algunos cálculos de similitud de cadenas como Jaro winkler o Cosine Similarity. Convierto mi conjunto de datos en una lista de filas y luego atravieso con una declaración que no es una forma eficiente de hacerlo. Así que espero un mejor enfoque en Spark.
public class sample { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("Example").setMaster("local[*]")); SQLContext sqlContext = new SQLContext(sc); SparkSession spark = SparkSession.builder().appName("JavaTokenizerExample").getOrCreate(); List<Row> data = Arrays.asList(RowFactory.create("Mysore","Mysuru"), RowFactory.create("Name","FirstName")); StructType schema = new StructType( new StructField[] { new StructField("Word1", DataTypes.StringType, true, Metadata.empty()), new StructField("Word2", DataTypes.StringType, true, Metadata.empty()) }); Dataset<Row> oldDF = spark.createDataFrame(data, schema); oldDF.show(); List<Row> rowslist = oldDF.collectAsList(); } }He encontrado muchos ejemplos de JavaRDD que no tengo claros. Un ejemplo de conjunto de datos me ayudará mucho.
Puede usar org.apache.spark.api.java.function.ForeachFunction como se muestra a continuación.
oldDF.foreach((ForeachFunction<Row>) row -> System.out.println(row));Para jdks antiguos de Java que no admiten expresiones lambda, puede usar lo siguiente después de la importación:
importar org.apache.spark.api.java.function.VoidFunction;
yourDataSet.toJavaRDD().foreach(new VoidFunction<Row>() { public void call(Row r) throws Exception { System.out.println(r.getAs("your column name here")); } });