tengo el contenedor para spark-1.6.0-bin-hadoop2.6 tengo problemas para intentar conectar el esclavo al maestro hasta ahora lo he intentado (en ubuntu 14.04 live usb):
apt-get purge e instala openssh-client y server en ambos sistemas
Indiqué explícitamente la dirección IP del maestro en la url de chispa para el trabajador spark://<master ip>:7077 y también intenté cambiar SPARK_MASTER_IP en /conf/spark-env.sh que ejecuta el trabajador pero el registro tiene el siguiente error, supongo que debe haber alguna configuración de ssh involucrada, pero probé ssh-keygen y ssh-copy-id @ tampoco da ningún resultado
16/02/22 07:49:16 INFO Worker: Connecting to master 192.168.0.208:7077... 16/02/22 07:49:16 WARN Worker: Failed to connect to master 192.168.0.208:7077 java.io.IOException: Failed to connect to /192.168.0.208:7077 at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216) at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:167) at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:200) at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:187) at org.apache.spark.rpc.netty.Outbox$$anon$1.call(Outbox.scala:183) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.net.ConnectException: Connection refused: /192.168.0.208:7077 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:740) at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:224) at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:289) at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:528) at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111) ... 1 more16/02/22 07:49:27 INFO Worker: reintentando la conexión con el maestro (intento n.º 2)
Sin embargo, puedo abrir la webUI maestra escribiendo: 8080 en mi navegador. También puedo acceder a la webUI del esclavo desde el maestro. Estoy casi a punto de ceder, así que por favor helllppp.
Asegúrese de que cada maestro y trabajador tenga una excepción de firewall para permitir conexiones para todos los demás trabajadores y maestros.
Aquí hay un ejemplo simplificado de una de nuestras máquinas maestras (master0):
$iptables -L ... ACCEPT all -- worker0.company.com master0.company.com ACCEPT all -- worker1.company.com master0.company.com ACCEPT all -- master1.company.com master0.company.com ...Por supuesto, también puede usar direcciones IP en lugar de nombres de host.