La ingesta de clics fire-and-forget significa que el servidor de redirección registra un clic entregando un evento a un productor en segundo plano y devolviendo la redirección (un 302, salvo que el enlace esté configurado como 301 o 307) de inmediato, sin esperar a saber si el evento se guardó. Un worker aparte lee los eventos de un bus más tarde, los escribe por lotes en el almacén de analítica y atiende cualquier otra cosa que quiera una copia. El visitante recibe su redirección rápido. El precio es que existe una pequeña ventana en la que un evento puede perderse.
Esa es toda la idea. El resto de este artículo cuenta cómo funciona la pipeline de eventos de clic de Elido, desde el handler de redirección hasta el insert por lotes, dónde pueden desaparecer eventos y qué cambiaríamos. La parte de latencia está en el cornerstone, cómo mantenemos el p95 de redirección por debajo de 15 ms.
Qué significa fire-and-forget en la ruta de redirección
El handler de redirección tiene un solo trabajo. Resolver el slug, elegir el destino, enviar la cabecera Location. Cuando el destino ya se conoce (normalmente desde la caché de dos niveles), el handler construye un evento de clic: slug, IDs de espacio de trabajo y de enlace, user agent, referrer, IP, país, región, ciudad y coordenadas desde una consulta GeoIP local, dispositivo y navegador, más cualquier marca de sospecha de la detección de bots.
Luego inicia la emisión en su propia goroutine y sigue escribiendo la respuesta. Este es el productor, recortado solo por el ancho:
func (p *Producer) Emit(ctx context.Context, e Event) {
if p == nil {
return
}
b, err := json.Marshal(e)
if err != nil {
p.log.Warn("click marshal", zap.Error(err))
return
}
rec := &kgo.Record{Topic: p.topic, Value: b}
p.client.Produce(ctx, rec, func(_ *kgo.Record, err error) {
if err != nil && p.log != nil {
p.log.Warn("click produce", zap.Error(err))
}
})
}
Produce es asíncrono. La biblioteca cliente almacena el registro en un búfer y lo envía en segundo plano, y el callback solo escribe en el log. Sin cola de reintentos en el proceso de redirección, sin spool a disco, sin esperar un ack.
La comprobación de nil está para el desarrollo local. Sin broker configurado, el constructor devuelve un productor nil y cada emisión se convierte en un no-op, así que puedes ejecutar el servidor de redirección en un portátil sin instalar nada más.
Por qué no escribir los clics de forma síncrona
Escribir cada clic directamente en la base de datos de analítica desde el servidor de redirección parece más simple. Elido no lo hace, por tres razones que se acumulan.
La latencia es la primera. Cualquier llamada de red síncrona en la ruta de redirección suma su viaje de ida y vuelta completo a lo que espera el visitante, y la cola de ese viaje es lo que daña el p95. Nuestro presupuesto no tiene hueco para eso.
La forma de los lotes es la segunda. Los almacenes columnares están hechos para inserts grandes. La recomendación habitual de los fabricantes es insertar en lotes grandes en vez de fila a fila, porque cada insert crea una parte que los merges en segundo plano tienen que fundir después. Escrituras de una sola fila desde muchos servidores de redirección serían el peor patrón posible.
El aislamiento de fallos es la tercera. Si la base de datos se reinicia o se vuelve lenta, un diseño síncrono se lo pasa directamente a las redirecciones: o hacen timeout o los clics desaparecen. Con un bus en medio, cada lado falla por su cuenta. Las redirecciones siguen funcionando mientras la analítica está degradada, y la cola espera en el bus hasta que la base de datos vuelva, mientras aguante la retención del topic.
Cómo agrupa eventos el worker de ingesta de clics
El worker es un servicio Go en un consumer group sobre el topic de clics. El auto-commit está desactivado. Su bucle es corto:
- Consultar un lote de registros del topic.
- Decodificar cada registro a un evento tipado.
- Meter el evento, junto con su registro, en el búfer en memoria del writer.
- Pasar el clic a los píxeles y forwarders de eventos configurados y publicar un evento mínimo para el contador de clics en vivo.
El writer vuelca al llegar a 1.000 eventos o cada 5 segundos, lo que ocurra primero. Ambos son valores por defecto de la configuración del servicio. Un volcado prepara un insert por lotes en la tabla click_events con un timeout de 30 segundos y lo envía como una sola sentencia.
El orden de las operaciones es lo que lo hace at-least-once. Solo después de que el insert tiene éxito, el writer marca esos registros y confirma sus offsets. Si el insert falla, el lote vuelve al principio del búfer y el siguiente volcado lo reintenta. Si el proceso muere antes de la confirmación, el grupo se reequilibra y el siguiente dueño lee desde el último offset confirmado, así que los eventos se escriben otra vez.
Eso tiene un coste que prefiero decir claramente. La tabla es un MergeTree simple sin clave de deduplicación, así que una caída entre el insert y la confirmación deja filas duplicadas. El comentario del código lo llama raro y dice que la analítica lo tolera, lo cual coincide con lo que vemos. Sigue siendo una brecha conocida, no una garantía de exactly-once.
Los mensajes venenosos se tratan al revés. Un registro que no se puede decodificar se registra en el log y se marca su offset, para que un solo registro malformado no bloquee la partición para siempre. Ese evento se pierde, y hoy nada conserva los bytes en bruto.
Dónde se pueden perder eventos de clic
Fire-and-forget renuncia a algunos eventos a propósito. Conviene ser exactos sobre dónde.
- Entre la redirección y el bus. Los registros pasan un breve tiempo en el búfer del productor antes de enviarse. Al apagarse, el servidor de redirección cierra el cliente, pero no hay un paso de drenaje dedicado que espere a que el búfer se vacíe, así que un despliegue puede perder lo que estuviera en vuelo.
- Cuando el bus es inalcanzable. El cliente reintenta, pero no para siempre. Si el bus sigue caído más allá de eso, el callback de produce escribe un aviso en el log y el registro se descarta.
- Registros malformados. Como arriba: se omiten y se registran en el log.
Después de que un evento llega al bus, el lado del consumidor no lo descarta. Puede duplicarlo.
No hay una tasa de pérdida publicada. No he medido ninguna que respaldara, e inventar un decimal sería peor que decirlo. Lo que sí podemos decir es por qué el diseño es aceptable para esta carga: los clics son una señal estadística. El reparto geográfico, la mezcla de referrers y las comparaciones de campañas aguantan bien una pequeña tasa de pérdida. Cualquier cosa que se facture por clic, o que un auditor concilie fila a fila, necesita una ruta de escritura duradera que esta pipeline no ofrece. Si es tu caso, mira webhooks vs polling: seguimiento de clics comparado y saca los recuentos de la API de analítica en lugar de depender de un flujo.
Qué pasa cuando el almacén de analítica está caído
Cuando los inserts fallan, el writer conserva el lote y reintenta en cada volcado. Los offsets no se confirman, así que el bus sigue guardando todos los eventos sin procesar.
El punto débil es la memoria. El consumidor sigue consultando mientras los inserts fallan, y el búfer del writer sigue creciendo sin nada que lo limite. Una caída corta no es problema. Una larga con tráfico real podría empujar al worker hacia su límite de memoria, y si se reinicia, simplemente relee desde el último offset confirmado. Así no se pierde nada, pero tampoco es elegante. Pausar el bucle de fetch mientras el writer falla es la solución obvia.
Cuánto tiempo puedes sobrevivir a una caída depende de la retención del topic que configures en el bus, no de nada del worker. Ponla más larga que la peor reconstrucción que puedas imaginar.
Fan-out: píxeles, forwarders y clics en vivo
El worker es también donde cualquier otro consumidor de un clic recibe su copia.
- Forwarders de eventos del lado servidor. Por espacio de trabajo, el worker puede reenviar clics a GA4 (Measurement Protocol), Klaviyo, Mixpanel, Brevo o Datadog, con una configuración en caché. Cada llamada HTTP tiene un timeout de cliente de 5 segundos. Más sobre el lado de GA4 en seguimiento server-side de GA4 a través de la capa de redirección.
- Eventos publicitarios del lado servidor. Cuando un espacio de trabajo ha guardado un token de acceso de la Conversions API de Meta o de la Events API de TikTok, el worker envía cada clic como un
PageViewde Meta o unViewContentde TikTok, con el mismo timeout de 5 segundos, como máximo 64 peticiones en vuelo por instancia y sin reintentos. Son clics, no compras; seguimiento de conversiones server-side con enlaces cortos cubre el lado de las compras. - Webhooks de clic. Los espacios de trabajo con un endpoint suscrito a
click.createdreciben un evento compacto y con privacidad reducida, producido en un topic aparte, que api-core reparte a los endpoints con un tope de 50 eventos por segundo cada uno. - Flujo de clics en vivo. Un evento mínimo va a un canal pub/sub que alimenta el contador en vivo del panel.
Nada de esto se ejecuta en la redirección. Se ejecuta al decodificar, antes de escribir el lote, así que un clic puede llegar a Mixpanel unos segundos antes de aparecer en tus propios informes. Un webhook click.created llega unos segundos después del clic, porque pasa por el topic y por un worker de entrega que consulta cada 5 segundos; webhooks de eventos de enlaces tiene el payload. Si te interesa cómo se relaciona con los planes, la página de la función de analítica lista lo que recibe cada nivel.
Por qué un log y no una cola
El bus tenía que ser un log reproducible, no una cola de trabajo. Una cola borra un mensaje en cuanto se confirma. Un log conserva los eventos durante la ventana de retención, así que un consumidor nuevo, o uno que tenga que rebobinar, puede volver a leer el historial. También tenía que ejecutarse en nuestra propia infraestructura, en la misma región de la UE que todo lo demás, y hablar un protocolo compatible con Kafka, para que un cliente Enterprise que se autoaloje por contrato pueda apuntarlo a un broker que ya opera. La configuración de la capa de redirección está documentada en la página de arquitectura de la redirección de edge.
Si quieres ver la salida de esta pipeline en tus propios enlaces, crea un espacio de trabajo gratuito y mira cómo los clics llegan al panel unos segundos después de una redirección.
Qué cambiaríamos a continuación
El patrón es el correcto para esta carga. La implementación tiene aristas que conviene nombrar si la vas a copiar.
Un drenaje al apagar. Vaciar el productor de forma explícita, con timeout, antes de cerrar el cliente. Hoy un despliegue puede perder registros en el búfer.
Un almacén de dead letters para fallos de decodificación. Omitir los registros venenosos mantiene la partición en marcha pero no deja más rastro que una línea de log. Escribir los bytes en bruto y el error en una tabla aparte los haría auditables.
Deduplicación en los reintentos. Un ID de evento en cada clic y una tabla con deduplicación convertirían el at-least-once en effectively-once para los informes.
Contrapresión mientras el almacén está caído. Pausar el polling cuando el writer no puede volcar, para que el búfer no crezca sin límite.
Límites por espacio de trabajo en los forwarders. Todos los espacios de trabajo comparten un worker, así que un endpoint de terceros lento ralentiza los clics de todos.
Ninguno de estos ha causado un incidente que sepamos. Están en nuestra lista, y estarían también en la tuya.
Lee el cornerstone: cómo mantenemos el p95 de redirección por debajo de 15 ms.
Relacionado en el blog
Preguntas frecuentes
¿Qué significa fire-and-forget en el seguimiento de clics?
La redirección entrega el evento de clic a un productor en segundo plano y devuelve la redirección sin esperar ninguna confirmación. Si el evento no llega al bus, se registra en el log y se descarta. El visitante nunca paga la analítica con latencia.
¿Puede perder clics una pipeline fire-and-forget?
Sí, entre el edge y el bus de eventos. Si se mata un proceso con registros aún en el búfer, o si el bus sigue inalcanzable más allá de los reintentos del cliente, esos eventos se pierden. Una vez que el evento llega al bus, el lado del consumidor es at-least-once.
¿Por qué no escribir cada clic directamente en la base de datos de analítica?
Por dos motivos. Un viaje de ida y vuelta por red en cada redirección se come el presupuesto de latencia, y los almacenes columnares de analítica quieren lotes grandes, no inserts de una sola fila. Además, un bus en medio evita que una caída de la base de datos se convierta en redirecciones fallidas.
¿Qué es la entrega at-least-once en una pipeline de clics?
El consumidor solo confirma su posición en el flujo después de escribir un lote. Una caída antes de la confirmación hace que se lean y escriban de nuevo los mismos eventos. De ese lado no se pierde nada, pero una caída en el momento equivocado puede producir filas duplicadas.
¿Con qué frecuencia vuelca Elido los lotes de clics?
El worker vuelca al llegar a 1.000 eventos o cada 5 segundos, lo que ocurra primero. Ambos valores son configuraciones por defecto del worker, no límites fijos, así que se pueden ajustar sin cambiar el código.
¿Los forwarders del lado servidor y los píxeles ralentizan las redirecciones?
No. Se ejecutan en el worker de clics, bastante después de servir la redirección. Un endpoint de terceros lento puede ralentizar el worker y retrasar un poco la analítica, pero nunca toca la respuesta de la redirección.
Prueba Elido
Pega una URL, obtén un enlace corto
Sin registro. El enlace vive 30 días. Crea una cuenta para conservarlo.
Se necesita una cuenta gratuita. El plan gratuito incluye 25 enlaces en total. ¿Ya tienes una cuenta? Iniciar sesión
