Empresas
Empregos
  • Sobre nós
  • Soluções
    • Publicação de vagas
      Publique sua vaga e receba candidatos qualificados em 48h.
    • Avaliações de candidatos
      Mais de 500 testes técnicos e psicológicos, mais anti-fraude.
    • Headhunting
      Busca executiva personalizada do início ao fim.
    • Folha de Pagamento + EOR
      Dispersão de folha e EOR em mais de 15 países da LATAM.
  • Preços
  • Empregos

0

321
Visualizações
how does Spark limit the usage of cpu cores and memory?

How does Spark limit the usage of cpu cores and memory?Does it use cgroups? How about Yarn?

over 4 years ago · Santiago Trujillo
2 Respostas
Responde à pergunta

0

In standalone cluster Spark only manages application predefined resource configs with provided resource pool. Resource pool combined based on executors which added as salves to cluster. Yarn uses containers and resource limitation applies config of container which defines minimum and maximum core and memory allocation.

over 4 years ago · Santiago Trujillo Relatório

0

In YARN NodeManager is monitoring spark executors' memory usage and killing them if they use above spark.executor.memory

In case of CPU, spark.executor.cores is the amount of concurrent tasks executor can run. More information on Spark Configuration Documentation

You can enable cgroups in yarn and limit CPU usage or YARN containers (spark executors).

over 4 years ago · Santiago Trujillo Relatório
Responde à pergunta
Encontrar trabalhos remotos

Descubra a nova forma de encontrar um emprego!

melhores empregos
Principais categorias de trabalho
Empresas
Postar vaga Preços Comercial
Jurídico
Termos e Condições Política de privacidade
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomende algumas ofertas para mim
Preciso de ajuda