Pular para conteúdo

Troubleshooting — ingestão e armazenamento

Ingestão parada

Sintoma: Sistema › Coleta mostra Ingestão (10 min) = 0 enquanto os coletores estão online e com “linhas publicadas” crescendo.

docker compose ps ingestor nats clickhouse
docker compose logs --tail=200 ingestor
curl -s http://<nats>:8222/jsz?streams=true     # dentro da rede interna (estado do stream QV_DATA)
Log do ingestor Causa Ação
insert no ClickHouse falhou, mensagens serão reentregues: … ClickHouse fora, disco cheio, senha veja o ClickHouse (abaixo). As mensagens permanecem no stream
mensagem de métrica inválida descartada / mensagem de inventário inválida descartada mensagem malformada (versão incompatível do coletor) atualize o coletor. A mensagem é descartada (term) para não travar a fila
falha ao aplicar inventário: … (com stack) erro no PostgreSQL ao aplicar o snapshot o snapshot é reentregue após 30 s (nak), até 5 vezes
snapshot de dispositivo inexistente descartado dispositivo excluído com mensagens ainda na fila normal
fetch de métricas falhou conexão com NATS verifique o container nats

Stream cheio ou atrasado

O stream QV_DATA guarda até 6 h ou 20 GiB (o que vier primeiro). Mensagens além disso são descartadas pelo NATS. Se os ingestores ficaram parados mais que isso, há lacuna nos gráficos.

  • Aumente as réplicas do ingestor (QV_INGESTOR_REPLICAS ou docker compose up -d --scale ingestor=4).
  • Verifique o disco do volume nats-data (max_file_store 50 GB em deploy/nats/nats-server.conf).

Mensagem maior que o limite

Sintoma: dispositivo com muitos objetos (por exemplo, array com mais de ~12 mil volumes) em Erro com [performance] MaxPayloadError: … (transporte NATS) ou erro HTTP do nginx/API no transporte HTTPS.

Causa: desde a v1.0.0 os lotes são divididos em mensagens de até 50 mil linhas (~3,4 MB), bem abaixo do limite de 8 MiB do NATS; o erro indica imagem antiga do coletor ou payload alterado. Atualize o coletor. Se persistir, verifique se max_payload em nats-server.conf e MAX_MSG_BYTES em common/bus.py continuam em 8 MB, e o client_max_body_size do nginx (200 MB) no transporte HTTPS.

ClickHouse lento ou sem espaço

docker compose exec clickhouse clickhouse-client --user "$CLICKHOUSE_USER" --password "$CLICKHOUSE_PASSWORD" -q "
  SELECT table, count() AS parts, sum(rows) AS rows, formatReadableSize(sum(bytes_on_disk)) AS disk
  FROM system.parts WHERE active AND database = 'qv' GROUP BY table"
docker compose exec clickhouse df -h /var/lib/clickhouse
  • Partes demais (> 300 ativas por partição) indicam merges atrasados: aumente CPU ou background_pool_size (deploy/clickhouse/config.d/10-quantix.xml).
  • Disco: reduza a retenção (Configurações › Retenção), o que aplica o TTL na hora. A remoção física acontece nos próximos merges. Veja disco do ClickHouse.
  • Memória: max_server_memory_usage_to_ram_ratio 0,8. Abaixo de 32 GB, reduza mark_cache_size.
  • Erros Too many simultaneous queries: max_concurrent_queries 200.

chdb (modo laboratório)

Sintoma Causa Ação
demo-seed falha ao abrir o banco / erro de lock a API está usando o diretório do chdb pare a API (make demo faz isso)
API com mais de 1 worker no lab falha o chdb não permite mais de um processo mantenha --workers 1
datas deslocadas em 3 h — o backend fixa session_timezone = 'UTC'. Se você consultou o chdb manualmente, faça o mesmo

PostgreSQL

  • too many connections: veja a conta de conexões em Produção com Docker.
  • Snapshots grandes demorando: o inventário de 200 mil volumes leva ~25 s. Verifique log_min_duration_statement (2 s) no log do PostgreSQL e o autovacuum.