Troubleshooting — ingestão e armazenamento¶
Ingestão parada¶
Sintoma: Sistema › Coleta mostra Ingestão (10 min) = 0 enquanto os coletores estão online e com “linhas publicadas” crescendo.
docker compose ps ingestor nats clickhouse
docker compose logs --tail=200 ingestor
curl -s http://<nats>:8222/jsz?streams=true # dentro da rede interna (estado do stream QV_DATA)
| Log do ingestor | Causa | Ação |
|---|---|---|
insert no ClickHouse falhou, mensagens serão reentregues: … |
ClickHouse fora, disco cheio, senha | veja o ClickHouse (abaixo). As mensagens permanecem no stream |
mensagem de métrica inválida descartada / mensagem de inventário inválida descartada |
mensagem malformada (versão incompatível do coletor) | atualize o coletor. A mensagem é descartada (term) para não travar a fila |
falha ao aplicar inventário: … (com stack) |
erro no PostgreSQL ao aplicar o snapshot | o snapshot é reentregue após 30 s (nak), até 5 vezes |
snapshot de dispositivo inexistente descartado |
dispositivo excluído com mensagens ainda na fila | normal |
fetch de métricas falhou |
conexão com NATS | verifique o container nats |
Stream cheio ou atrasado¶
O stream QV_DATA guarda até 6 h ou 20 GiB (o que vier primeiro). Mensagens além disso são
descartadas pelo NATS. Se os ingestores ficaram parados mais que isso, há lacuna nos gráficos.
- Aumente as réplicas do ingestor (
QV_INGESTOR_REPLICASoudocker compose up -d --scale ingestor=4). - Verifique o disco do volume
nats-data(max_file_store50 GB emdeploy/nats/nats-server.conf).
Mensagem maior que o limite¶
Sintoma: dispositivo com muitos objetos (por exemplo, array com mais de ~12 mil volumes) em Erro com
[performance] MaxPayloadError: … (transporte NATS) ou erro HTTP do nginx/API no transporte HTTPS.
Causa: desde a v1.0.0 os lotes são divididos em mensagens de até 50 mil linhas (~3,4 MB), bem abaixo
do limite de 8 MiB do NATS; o erro indica imagem antiga do coletor ou payload alterado. Atualize o
coletor. Se persistir, verifique se max_payload em nats-server.conf e MAX_MSG_BYTES em
common/bus.py continuam em 8 MB, e o client_max_body_size do nginx (200 MB) no transporte HTTPS.
ClickHouse lento ou sem espaço¶
docker compose exec clickhouse clickhouse-client --user "$CLICKHOUSE_USER" --password "$CLICKHOUSE_PASSWORD" -q "
SELECT table, count() AS parts, sum(rows) AS rows, formatReadableSize(sum(bytes_on_disk)) AS disk
FROM system.parts WHERE active AND database = 'qv' GROUP BY table"
docker compose exec clickhouse df -h /var/lib/clickhouse
- Partes demais (> 300 ativas por partição) indicam merges atrasados: aumente CPU ou
background_pool_size(deploy/clickhouse/config.d/10-quantix.xml). - Disco: reduza a retenção (Configurações › Retenção), o que aplica o TTL na hora. A remoção física acontece nos próximos merges. Veja disco do ClickHouse.
- Memória:
max_server_memory_usage_to_ram_ratio0,8. Abaixo de 32 GB, reduzamark_cache_size. - Erros
Too many simultaneous queries:max_concurrent_queries200.
chdb (modo laboratório)¶
| Sintoma | Causa | Ação |
|---|---|---|
demo-seed falha ao abrir o banco / erro de lock |
a API está usando o diretório do chdb | pare a API (make demo faz isso) |
| API com mais de 1 worker no lab falha | o chdb não permite mais de um processo | mantenha --workers 1 |
| datas deslocadas em 3 h | — | o backend fixa session_timezone = 'UTC'. Se você consultou o chdb manualmente, faça o mesmo |
PostgreSQL¶
too many connections: veja a conta de conexões em Produção com Docker.- Snapshots grandes demorando: o inventário de 200 mil volumes leva ~25 s. Verifique
log_min_duration_statement(2 s) no log do PostgreSQL e oautovacuum.