GC overhead limit exceeded ao executar o job no Studio

O GC overhead é um erro comum ocasionado devido a utilização de 98% ou mais da memória alocada por padrão no HEAP.

Compartilhe este post

GC overhead limit exceeded

GC overhead limit exceeded é um erro ocasionado devido a utilização de muitos recursos durante a execução de um Job.

Diagnóstico:

Esse erro acontece devido ao job estar utilizando mais memória que pode ser acessada por padrão. Isso pode acontecer independentemente da quantidade de memória alocada para o JobServer, ou seja, pode-se ter 32gb de memória para o job, mas o erro ainda poderá acontecer.

O erro é causado quando o job utiliza 98% ou mais do espaço do HEAP alocado por padrão no JobServer, geralmente definido quando o JobServer, TAC ou outro módulo Talend é iniciado usando a flag “-XX:MaxHeapSpace”.

Solução:

Para que esse problema seja resolvido, podemos alterar o seu tipo de memória para dinâmica, assim o job usará a quantidade necessária para que o mesmo execute. Para isso basta adicionarmos a seguinte flag:

-XX:-UseGCOverheadLimit

Quando o job é executado, essa flag ignorará o limite de cache da JVM e usará a quantidade de memória necessária.

Como adicionar uma flag JVM para a execução de um Job?

Abra o Studio e naveque nesse caminho > Run Tab na barra de designer view, advanced e marque a caixinha “Use specific JVM arguments“.
Após isso clique em “New” e cole o argumento “-XX:-UseGCOverheadLimit“.

O GC overhead é um erro comum ocasionado a utilização de muitos recursos em um único job.
Clique em “Ok” e salve o job.
Na próxima vez que o job for executado / compilado, seja no studio ou no Job Conductor, o parâmetro JVM será incluído no próprio job para que a flag seja aplicada.

Para saber mais sobre JVM arguments, utilização de memória e otimização do job, acesse esse link.

Agora sem mais erros, basta trabalhar com os seus dados sempre mantendo a confiabilidade dos mesmos. Para saber mais sobre os princípios da confiabilidade dos dados, clique aqui.

Assine nossa newsletter

Fique por dentro das novidades mais recentes sobre o Talend e aprenda com nossos experts

Leia outros posts do nosso blog

Talend

Acessando Web Services SOAP no Talend

A utilização de Web Services é comumente usada na integração e comunicação entre sistemas. Nesse artigo começaremos com uma breve introdução sobre Web Services, o que são, seu formato padrão e como podem ser utilizados, posteriormente, iremos aprender como realizar requisições a um Web Service utilizando o Talend com um exemplo prático usando um Web Service de captura de endereço através do CEP.

Para o desenvolvimento desse artigo iremos utilizar um Web Service pertencente ao pessoal do Byjg, que é um site que possui diversos serviços para diversas situações, dentre eles está o serviço de consulta de CEP, no qual podemos passar um CEP para ter como retorno o endereço, e vice-versa.

Talend, MDM, Data Warehouse e Inovação

O Gartner recentemente desenvolveu uma série de estudos que confirmam a nossa percepção de mercado. O primeiro estudo é dedicado ao Master Data Management (MDM)

Quer acelerar a tomada de decisão com dados de qualidade?

Fale conosco agora mesmo!

Fale com nossos experts

O café é por nossa conta!