Ingestão de cliques fire-and-forget significa que o servidor de redirecionamento registra um clique entregando um evento a um produtor em segundo plano e devolvendo o redirecionamento (um 302, a menos que o link esteja configurado como 301 ou 307) imediatamente, sem esperar a confirmação de que o evento foi armazenado. Um worker separado lê os eventos de um barramento mais tarde, grava no armazenamento de analytics em lotes e cuida de tudo o mais que queira uma cópia. O visitante recebe o redirecionamento rápido. O preço é que existe uma pequena janela em que um evento pode se perder.
Essa é a ideia inteira. O resto deste post mostra como funciona o pipeline de eventos de clique do Elido, do handler de redirecionamento ao insert em lote, onde os eventos podem sumir e o que mudaríamos. O lado da latência está no artigo principal, como mantemos o p95 do redirecionamento abaixo de 15ms.
O que fire-and-forget significa no caminho do redirecionamento
O handler de redirecionamento tem uma única tarefa. Resolver o slug, escolher o destino, enviar o cabeçalho Location. Quando o destino é conhecido (normalmente a partir do cache de dois níveis), o handler monta um evento de clique: slug, IDs do workspace e do link, user agent, referrer, IP, país, região, cidade e coordenadas a partir de uma consulta GeoIP local, dispositivo e navegador, além de eventuais flags de suspeita da detecção de bots.
Em seguida ele inicia a emissão em uma goroutine própria e continua escrevendo a resposta. Aqui está o produtor, cortado apenas por largura:
func (p *Producer) Emit(ctx context.Context, e Event) {
if p == nil {
return
}
b, err := json.Marshal(e)
if err != nil {
p.log.Warn("click marshal", zap.Error(err))
return
}
rec := &kgo.Record{Topic: p.topic, Value: b}
p.client.Produce(ctx, rec, func(_ *kgo.Record, err error) {
if err != nil && p.log != nil {
p.log.Warn("click produce", zap.Error(err))
}
})
}
Produce é assíncrono. A biblioteca cliente coloca o registro em buffer e o envia em segundo plano, e o callback apenas registra no log. Sem fila de novas tentativas no processo de redirecionamento, sem spool em disco, sem esperar por um ack.
A verificação de nil existe para o desenvolvimento local. Sem broker configurado, o construtor devolve um produtor nil e toda emissão vira um no-op, então você pode rodar o servidor de redirecionamento em um notebook sem mais nada instalado.
Por que não gravar os cliques de forma síncrona
Gravar cada clique direto no banco de analytics a partir do servidor de redirecionamento parece mais simples. Não é o que o Elido faz, por três motivos que se somam.
A latência é o primeiro. Qualquer chamada de rede síncrona no caminho do redirecionamento adiciona a ida e volta completa ao que o visitante espera, e a cauda dessa ida e volta é o que prejudica o p95. Nosso orçamento não tem espaço para isso.
O formato do lote é o segundo. Armazenamentos colunares são feitos para inserts grandes. A orientação usual dos fornecedores é inserir em lotes grandes em vez de linha a linha, porque cada insert cria uma part que as mesclagens em segundo plano precisam depois juntar. Gravações de uma linha vindas de muitos servidores de redirecionamento seriam o pior padrão possível.
O isolamento de falhas é o terceiro. Se o banco reinicia ou fica lento, um design síncrono repassa isso direto aos redirecionamentos: ou eles dão timeout ou os cliques somem. Com um barramento no meio, cada lado falha por conta própria. Os redirecionamentos continuam funcionando enquanto o analytics está degradado, e o backlog espera no barramento até o banco voltar, enquanto a retenção do tópico permitir.
Como o worker de ingestão de cliques agrupa eventos em lotes
O worker é um serviço Go em um consumer group no tópico de cliques. O auto-commit está desligado. Seu loop é curto:
- Buscar um lote de registros do tópico.
- Decodificar cada registro em um evento tipado.
- Colocar o evento, junto com seu registro, no buffer em memória do writer.
- Entregar o clique aos pixels e event forwarders configurados e publicar um pequeno evento para o contador de cliques ao vivo.
O writer baixa com 1.000 eventos ou a cada 5 segundos, o que ocorrer primeiro. Ambos são padrões na configuração do serviço. Um flush prepara um insert em lote na tabela click_events com timeout de 30 segundos e o envia como uma única instrução.
A ordem das operações é o que torna isso at-least-once. Só depois que o insert tem sucesso o writer marca esses registros e confirma seus offsets. Se o insert falha, o lote volta ao início do buffer e o próximo flush tenta de novo. Se o processo morre antes da confirmação, o grupo faz rebalanceamento e o novo responsável lê a partir do último offset confirmado, então os eventos são gravados outra vez.
Isso tem um custo que prefiro declarar com clareza. A tabela é um MergeTree simples, sem chave de deduplicação, então uma falha entre o insert e o commit deixa linhas duplicadas. O comentário no código a chama de rara e diz que o analytics tolera isso, o que combina com o que observamos. Ainda assim é uma lacuna conhecida, não uma garantia de exactly-once.
Mensagens venenosas são tratadas do jeito oposto. Um registro que falha na decodificação é registrado no log e seu offset é marcado, para que um único registro malformado não bloqueie a partição para sempre. Esse evento se perde, e hoje nada guarda os bytes brutos.
Onde os eventos de clique podem se perder
O fire-and-forget abre mão de alguns eventos de propósito. Vale ser exato sobre onde.
- Entre o redirecionamento e o barramento. Os registros ficam no buffer do produtor por pouco tempo antes de serem enviados. No desligamento, o servidor de redirecionamento fecha o cliente, mas não há uma etapa dedicada de drenagem que espere o buffer esvaziar, então um deploy pode perder o que estava em trânsito.
- Quando o barramento está inacessível. O cliente tenta de novo, mas não para sempre. Se o barramento continuar fora do ar além disso, o callback do produce registra um aviso e o registro é descartado.
- Registros malformados. Como acima, ignorados e registrados no log.
Depois que um evento chega ao barramento, o lado do consumidor não o descarta. Pode duplicá-lo.
Não há uma taxa de perda publicada. Não medi nenhuma em que eu confiasse, e inventar um decimal seria pior do que dizer isso. O que podemos dizer é por que o design é aceitável para esta carga: cliques são um sinal estatístico. A divisão por região, o mix de referrers e as comparações de campanhas se mantêm bem com uma pequena taxa de perda. Qualquer coisa cobrada por clique, ou que um auditor concilie linha a linha, precisa de um caminho de gravação durável que este pipeline não oferece. Se esse for o seu caso, veja webhooks vs polling para rastreamento de cliques e puxe as contagens da API de analytics em vez de depender de um stream.
O que acontece quando o armazenamento de analytics está fora do ar
Quando os inserts falham, o writer mantém o lote e tenta de novo a cada flush. Os offsets não são confirmados, então o barramento ainda guarda todos os eventos não processados.
O ponto fraco é a memória. O consumidor continua buscando enquanto os inserts falham, e o buffer do writer continua crescendo sem nada que o limite. Uma queda curta não é problema. Uma longa, sob tráfego real, poderia empurrar o worker para o limite de memória, e se ele reiniciar, simplesmente relê a partir do último offset confirmado. Nada se perde assim, mas também não é elegante. Pausar o loop de busca enquanto o writer está falhando é a correção óbvia.
Quanto tempo você aguenta uma queda depende da retenção do tópico que você configura no barramento, não de algo no worker. Defina-a mais longa que a pior reconstrução que você consiga imaginar.
Fan-out: pixels, forwarders e cliques ao vivo
O worker também é onde todo outro consumidor de um clique recebe sua cópia.
- Event forwarders server-side. Por workspace, o worker pode encaminhar cliques para GA4 (Measurement Protocol), Klaviyo, Mixpanel, Brevo ou Datadog, usando uma configuração em cache. Cada chamada HTTP tem timeout de cliente de 5 segundos. Mais sobre o lado do GA4 em rastreamento server-side do GA4 via redirecionamentos.
- Eventos server-side de anúncios. Quando um workspace salvou um token de acesso da Conversions API da Meta ou da Events API do TikTok, o worker envia cada clique como um
PageViewda Meta ou umViewContentdo TikTok, com o mesmo timeout de 5 segundos, no máximo 64 requisições em andamento por instância e sem novas tentativas. São cliques, não compras; rastreamento de conversão server-side cobre o lado das compras. - Webhooks de clique. Workspaces com um endpoint assinado em
click.createdrecebem um evento compacto e com privacidade reduzida, produzido em um tópico separado, que o api-core distribui aos endpoints com um limite de 50 eventos por segundo cada. - Stream de cliques ao vivo. Um evento mínimo vai para um canal pub/sub que alimenta o contador ao vivo no painel.
Nada disso roda no redirecionamento. Roda na hora da decodificação, antes de o lote ser gravado, então um clique pode chegar ao Mixpanel alguns segundos antes de aparecer nos seus próprios relatórios. Um webhook click.created chega alguns segundos depois do clique, porque passa pelo tópico e por um worker de entrega que consulta a cada 5 segundos; webhooks para eventos de links traz o payload. Se você quer saber como isso se relaciona com os planos, a página de recursos de analytics lista o que cada plano recebe.
Por que um log e não uma fila
O barramento tinha de ser um log reproduzível, não uma fila de trabalho. Uma fila apaga a mensagem assim que ela é confirmada. Um log mantém os eventos durante a janela de retenção, então um novo consumidor, ou um que precise voltar atrás, pode ler o histórico de novo. Ele também tinha de rodar na nossa própria infraestrutura, na mesma região da UE que todo o resto, e falar um protocolo compatível com Kafka, para que um cliente Enterprise que se auto-hospede por contrato possa apontá-lo para um broker que já opera. A configuração da camada de redirecionamento está documentada na página de arquitetura do redirecionamento edge.
Se você quiser ver a saída deste pipeline nos seus próprios links, crie um workspace gratuito e veja os cliques chegarem ao painel alguns segundos depois de um redirecionamento.
O que mudaríamos a seguir
O padrão é o certo para esta carga. A implementação tem arestas que vale nomear se você for copiá-la.
Uma drenagem no desligamento. Descarregar o produtor explicitamente, com timeout, antes de fechar o cliente. Hoje um deploy pode perder registros em buffer.
Um armazenamento dead-letter para falhas de decodificação. Ignorar registros venenosos mantém a partição andando, mas não deixa rastro além de uma linha de log. Gravar os bytes brutos e o erro em uma tabela lateral os tornaria auditáveis.
Deduplicação em novas tentativas. Um ID de evento em cada clique e uma tabela com suporte a deduplicação transformariam at-least-once em effectively-once para relatórios.
Backpressure enquanto o armazenamento está fora do ar. Pausar a busca quando o writer não consegue baixar, para que o buffer não cresça sem limite.
Limites por workspace nos forwarders. Todos os workspaces compartilham um worker, então um endpoint de terceiros lento atrasa os cliques de todo mundo.
Nenhum desses pontos causou um incidente que conheçamos. Estão na nossa lista e estariam na sua também.
Leia o artigo principal: como mantemos o p95 do redirecionamento abaixo de 15ms.
Relacionados no blog
Perguntas frequentes
O que fire-and-forget significa no rastreamento de cliques?
O redirecionamento entrega o evento de clique a um produtor em segundo plano e devolve o redirecionamento sem esperar nenhuma confirmação. Se o evento não chegar ao barramento, ele é registrado no log e descartado. O visitante nunca paga pelo analytics em latência.
Um pipeline fire-and-forget pode perder cliques?
Pode, entre a borda e o barramento de eventos. Um processo encerrado com registros ainda no buffer, ou um barramento que fica inacessível além das tentativas do cliente, significa que esses eventos se perderam. Depois que o evento chega ao barramento, o lado do consumidor é at-least-once.
Por que não gravar cada clique direto no banco de analytics?
Por dois motivos. Uma ida e volta de rede por redirecionamento consome o orçamento de latência, e armazenamentos analíticos colunares querem lotes grandes, não inserts de uma linha. Um barramento no meio também significa que uma queda do banco não vira redirecionamentos com falha.
O que é entrega at-least-once em um pipeline de cliques?
O consumidor só confirma sua posição no fluxo depois que um lote foi gravado. Uma falha antes da confirmação faz os mesmos eventos serem lidos e gravados de novo. Nada se perde desse lado, mas uma falha no momento errado pode gerar linhas duplicadas.
Com que frequência o Elido baixa os lotes de cliques?
O worker baixa com 1.000 eventos ou a cada 5 segundos, o que ocorrer primeiro. Os dois valores são padrões de configuração do worker, não limites fixos, então podem ser ajustados sem mudar o código.
Forwarders e pixels server-side deixam os redirecionamentos mais lentos?
Não. Eles rodam no worker de cliques, bem depois de o redirecionamento ter sido servido. Um endpoint de terceiros lento pode atrasar o worker, o que adia um pouco o analytics, mas nunca afeta a resposta do redirecionamento.
Experimente Elido
Cole uma URL, obtenha um link curto
Sem cadastro. O link vive 30 dias. Cadastre-se para mantê-lo para sempre.
É necessária uma conta grátis. O plano grátis inclui 25 links no total. Já tem uma conta? Entrar
