Empresas
Empregos
  • Sobre nós
  • Soluções
    • Publicação de vagas
      Publique sua vaga e receba candidatos qualificados em 48h.
    • Avaliações de candidatos
      Mais de 500 testes técnicos e psicológicos, mais anti-fraude.
    • Headhunting
      Busca executiva personalizada do início ao fim.
    • Folha de Pagamento + EOR
      Dispersão de folha e EOR em mais de 15 países da LATAM.
  • Preços
  • Empregos

0

336
Visualizações
Issues with importing large file in click-house

The following statement loads only partial data (almost 40% of actual) The error is mentioned below:

cat  dr_201604.csv | docker run -i --rm \
  --link clickhouse-server:clickhouse-server \
  yandex/clickhouse-client \
  clickhouse-client --host clickhouse-server \
    --query="INSERT INTO dlr FORMAT CSV"

Code: 117. DB::Exception: Expected end of line

read unix @->/var/run/docker.sock: read: connection reset by peer

This must be a docker issue because clickhouse website does not mention any limit on how much data can be ingested. dr_201604.csv is more than 4 GB file. If I select only 10 rows (sample.csv) then it loads without any problem.

head dr_201604.csv > sample.csv

Is there any limit that only about 800 MB data can be piped?


Update:

I tried mounting the volume in the container and still able to load exactly the same number of rows as before:

docker run -i --rm \
      --volume /home/ec2-user/:/tmp/  --entrypoint=/bin/sh \
      --link clickhouse-server:clickhouse-server \
      yandex/clickhouse-client \
       -c "cat /tmp/dr_201604.csv | clickhouse-client --host clickhouse-server --query='INSERT INTO dlr FORMAT CSV' " 
about 4 years ago · Santiago Trujillo
Responde à pergunta
Encontrar trabalhos remotos

Descubra a nova forma de encontrar um emprego!

melhores empregos
Principais categorias de trabalho
Empresas
Postar vaga Preços Comercial
Jurídico
Termos e Condições Política de privacidade
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomende algumas ofertas para mim
Preciso de ajuda