Empresas
Empleos
  • Sobre nosotros
  • Soluciones
    • Publicación de vacantes
      Publica tu vacante y recibe candidatos calificados en 48h.
    • Evaluación de candidatos
      500+ pruebas técnicas y psicológicas, más anti-fraude.
    • Headhunting
      Búsqueda ejecutiva a la medida de principio a fin.
    • Nómina + EOR
      Dispersión de nómina y EOR en más de 15 países de LATAM.
  • Precios
  • Empleos

0

342
Vistas
Issues with importing large file in click-house

The following statement loads only partial data (almost 40% of actual) The error is mentioned below:

cat  dr_201604.csv | docker run -i --rm \
  --link clickhouse-server:clickhouse-server \
  yandex/clickhouse-client \
  clickhouse-client --host clickhouse-server \
    --query="INSERT INTO dlr FORMAT CSV"

Code: 117. DB::Exception: Expected end of line

read unix @->/var/run/docker.sock: read: connection reset by peer

This must be a docker issue because clickhouse website does not mention any limit on how much data can be ingested. dr_201604.csv is more than 4 GB file. If I select only 10 rows (sample.csv) then it loads without any problem.

head dr_201604.csv > sample.csv

Is there any limit that only about 800 MB data can be piped?


Update:

I tried mounting the volume in the container and still able to load exactly the same number of rows as before:

docker run -i --rm \
      --volume /home/ec2-user/:/tmp/  --entrypoint=/bin/sh \
      --link clickhouse-server:clickhouse-server \
      yandex/clickhouse-client \
       -c "cat /tmp/dr_201604.csv | clickhouse-client --host clickhouse-server --query='INSERT INTO dlr FORMAT CSV' " 
over 4 years ago · Santiago Trujillo
Responde la pregunta
Encuentra empleos remotos

¡Descubre la nueva forma de encontrar empleo!

Top de empleos
Top categorías de empleo
Empresas
Publicar vacante Precios Comercial
Legal
Términos y condiciones Política de privacidad
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomiéndame algunas ofertas
Necesito ayuda