7 мин чтенияИнженерия

Приём кликов fire-and-forget: аналитика вне горячего пути

Как сокращатель записывает клики и не тормозит редирект: асинхронная отправка на границе, пакетная запись.

Marius Voß
DevRel · edge infra

Приём кликов fire-and-forget означает, что сервер редиректа записывает клик, передавая событие фоновому продюсеру и сразу возвращая редирект (302, если для ссылки не задан 301 или 307), не дожидаясь подтверждения, что событие сохранено. Отдельный воркер позже читает события из шины, записывает их в хранилище аналитики пакетами и обслуживает всё остальное, что хочет получить копию. Посетитель получает редирект быстро. Цена в том, что остаётся небольшое окно, в котором событие может потеряться.

Вот и вся идея. Остальная часть статьи рассказывает, как устроен конвейер событий кликов в Elido, от обработчика редиректа до пакетной вставки, где события могут пропасть и что мы бы изменили. Сторона задержки разобрана в главной статье, как мы держим p95 редиректа ниже 15 мс.

Что значит fire-and-forget на пути редиректа

У обработчика редиректа одна задача. Разрешить slug, выбрать адрес назначения, отправить заголовок Location. Как только назначение известно (обычно из двухуровневого кэша), обработчик собирает событие клика: slug, ID рабочего пространства и ссылки, user agent, реферер, IP, страну, регион, город и координаты из локального GeoIP-поиска, устройство и браузер, а также флаги подозрительности от детектора ботов.

Затем он запускает отправку в отдельной горутине и продолжает писать ответ. Вот продюсер, сокращённый только по ширине:

func (p *Producer) Emit(ctx context.Context, e Event) {
    if p == nil {
        return
    }
    b, err := json.Marshal(e)
    if err != nil {
        p.log.Warn("click marshal", zap.Error(err))
        return
    }
    rec := &kgo.Record{Topic: p.topic, Value: b}
    p.client.Produce(ctx, rec, func(_ *kgo.Record, err error) {
        if err != nil && p.log != nil {
            p.log.Warn("click produce", zap.Error(err))
        }
    })
}

Produce асинхронен. Клиентская библиотека буферизует запись и отправляет её в фоне, а колбэк только пишет в лог. Нет очереди повторов в процессе редиректа, нет дискового спула, нет ожидания ack.

Проверка на nil нужна для локальной разработки. Если брокер не настроен, конструктор возвращает nil-продюсер, и каждая отправка превращается в пустую операцию, так что сервер редиректа можно запустить на ноутбуке без всего остального.

Обработчик редиректа собирает событие клика, запускает асинхронную отправку и пишет редирект, пока продюсер в фоне отправляет запись в шину событий

Почему не писать клики синхронно

Писать каждый клик прямо в базу аналитики с сервера редиректа выглядит проще. Elido так не делает по трём причинам, которые складываются.

Первая причина, задержка. Любой синхронный сетевой вызов на пути редиректа добавляет свой полный обход к тому, чего ждёт посетитель, а хвост этого обхода и бьёт по p95. В нашем бюджете для этого нет места.

Вторая причина, форма пакета. Колоночные хранилища созданы для крупных вставок. Обычная рекомендация вендоров: вставлять большими пакетами, а не построчно, потому что каждая вставка создаёт part, который затем приходится сливать фоновыми слияниями. Построчная запись от множества серверов редиректа была бы худшим из возможных шаблонов.

Третья причина, изоляция отказов. Если база перезапускается или тормозит, синхронная схема передаёт это прямо в редиректы: они либо упираются в таймаут, либо клики пропадают. Когда посередине шина, каждая сторона отказывает сама по себе. Редиректы продолжают работать, пока аналитика деградировала, а накопленный backlog ждёт в шине, пока база не вернётся, пока хватает retention топика.

Как воркер приёма кликов группирует события в пакеты

Воркер это Go-сервис в consumer group на топике кликов. Автокоммит отключён. Его цикл короткий:

  • Получить пакет записей из топика.
  • Декодировать каждую запись в типизированное событие.
  • Положить событие вместе с его записью во внутренний буфер writer.
  • Передать клик всем настроенным пикселям и форвардерам событий и опубликовать небольшое событие для счётчика живых кликов.

Writer сбрасывает пакет при 1000 событий или каждые 5 секунд, смотря что наступит раньше. Оба значения заданы по умолчанию в конфигурации сервиса. Сброс готовит одну пакетную вставку в таблицу click_events с таймаутом 30 секунд и отправляет её одним оператором.

Порядок операций и делает схему at-least-once. Только после успешной вставки writer помечает эти записи и фиксирует их офсеты. Если вставка не удалась, пакет возвращается в начало буфера, и следующий сброс пробует снова. Если процесс умирает до фиксации, группа выполняет ребалансировку, и новый владелец читает с последнего зафиксированного офсета, так что события записываются повторно.

У этого есть цена, о которой лучше сказать прямо. Таблица это обычный MergeTree без ключа дедупликации, поэтому сбой между вставкой и фиксацией оставляет дубликаты строк. Комментарий в коде называет это редким и говорит, что аналитика это терпит, что совпадает с тем, что мы видим. Тем не менее это известный пробел, а не гарантия exactly-once.

Ядовитые сообщения обрабатываются наоборот. Запись, которую не удалось декодировать, пишется в лог, а её офсет помечается, чтобы одна повреждённая запись не заблокировала партицию навсегда. Это событие потеряно, и сейчас сырые байты нигде не сохраняются.

Где события кликов могут потеряться

Fire-and-forget сознательно отказывается от части событий. Полезно точно знать, где именно.

  • Между редиректом и шиной. Записи недолго лежат в буфере продюсера, прежде чем их отправят. При остановке сервер редиректа закрывает клиент, но отдельного шага слива, который ждёт опустошения буфера, нет, так что деплой может потерять то, что было в пути.
  • Когда шина недоступна. Клиент повторяет попытки, но не бесконечно. Если шина остаётся недоступной дольше, колбэк produce пишет предупреждение в лог, а запись отбрасывается.
  • Повреждённые записи. Как выше, пропускаются и пишутся в лог.

После того как событие дошло до шины, сторона потребителя его не теряет. Она может его продублировать.

Опубликованной доли потерь нет. Я не измерял такую, за которую готов ручаться, а выдумывать десятичное число хуже, чем в этом признаться. Можно сказать, почему схема приемлема для этой нагрузки: клики это статистический сигнал. Распределение по географии, структура рефереров и сравнение кампаний прекрасно выдерживают небольшую долю пропусков. Всё, что тарифицируется за клик, или что аудитор сверяет построчно, требует надёжного пути записи, которого этот конвейер не даёт. Если это ваш случай, посмотрите вебхуки и опрос для отслеживания кликов и берите счётчики из API аналитики, а не полагайтесь на поток.

Что происходит, когда хранилище аналитики недоступно

Когда вставки не проходят, writer сохраняет пакет и повторяет попытку при каждом сбросе. Офсеты не фиксируются, поэтому шина по-прежнему хранит все необработанные события.

Слабое место это память. Потребитель продолжает опрашивать топик, пока вставки падают, и буфер writer продолжает расти, ничем не ограниченный. Короткий простой не страшен. Долгий при реальном трафике может подвести воркер к лимиту памяти, а если он перезапустится, то просто перечитает с последнего зафиксированного офсета. Так ничего не теряется, но это тоже не изящно. Очевидное исправление: приостанавливать цикл чтения, пока writer даёт сбои.

Сколько простоя вы переживёте, зависит от retention топика, который вы настраиваете в шине, а не от чего-либо в воркере. Задайте его больше, чем худшее восстановление, какое только можете представить.

Fan-out: пиксели, форвардеры и живые клики

Воркер это ещё и то место, где каждый другой потребитель клика получает свою копию.

  • Серверные форвардеры событий. Для каждого рабочего пространства воркер может пересылать клики в GA4 (Measurement Protocol), Klaviyo, Mixpanel, Brevo или Datadog, используя закэшированную конфигурацию. У каждого HTTP-вызова таймаут клиента 5 секунд. Подробнее о стороне GA4 в серверном отслеживании GA4 через редиректы.
  • Серверные рекламные события. Когда рабочее пространство сохранило токен доступа Meta Conversions API или TikTok Events API, воркер отправляет каждый клик как PageView в Meta или ViewContent в TikTok с тем же таймаутом 5 секунд, не более чем 64 запросами одновременно на экземпляр и без повторов. Это клики, а не покупки; о стороне покупок рассказывает серверное отслеживание конверсий.
  • Вебхуки кликов. Рабочие пространства с эндпоинтом, подписанным на click.created, получают компактное событие с урезанными персональными данными, которое пишется в отдельный топик, а api-core раздаёт его эндпоинтам с лимитом 50 событий в секунду на каждый.
  • Поток живых кликов. Минимальное событие уходит в pub/sub-канал, который питает живой счётчик в дашборде.

Ничего из этого не выполняется на редиректе. Всё происходит во время декодирования, до записи пакета, так что клик может добраться до Mixpanel за несколько секунд до того, как появится в ваших собственных отчётах. Вебхук click.created приходит через несколько секунд после клика, потому что проходит через топик и воркер доставки, который опрашивает его каждые 5 секунд; payload описан в вебхуках для событий ссылок. Если интересно, как это связано с тарифами, на странице возможностей аналитики указано, что получает каждый тариф.

Воркер кликов читает топик, фиксирует офсеты только после успешной пакетной вставки и раздаёт события серверным форвардерам, пикселям конверсий и потоку живых кликов

Почему лог, а не очередь

Шина должна была быть воспроизводимым логом, а не рабочей очередью. Очередь удаляет сообщение после подтверждения. Лог хранит события в течение окна retention, так что новый потребитель, или тот, кому нужно перемотать назад, может прочитать историю заново. Шина также должна работать на нашей собственной инфраструктуре в том же регионе ЕС, что и всё остальное, и с Kafka-совместимым протоколом, чтобы клиент Enterprise, самостоятельно размещающий по контракту, мог направить её на брокер, который уже эксплуатирует. Конфигурация уровня редиректа описана на странице архитектуры edge-редиректа.

Если хотите увидеть результат этого конвейера на своих ссылках, создайте бесплатное рабочее пространство и смотрите, как клики появляются в дашборде через несколько секунд после редиректа.

Что мы бы изменили дальше

Шаблон подходит для этой нагрузки. У реализации есть углы, которые стоит назвать, если вы будете её копировать.

Слив при остановке. Явно сбрасывать продюсер с таймаутом перед закрытием клиента. Сейчас деплой может потерять записи из буфера.

Хранилище dead-letter для ошибок декодирования. Пропуск ядовитых записей не останавливает партицию, но не оставляет следа, кроме строки в логе. Запись сырых байтов и ошибки в побочную таблицу сделала бы их проверяемыми.

Дедупликация при повторах. ID события на каждом клике и таблица с поддержкой дедупликации превратили бы at-least-once в effectively-once для отчётов.

Backpressure, пока хранилище недоступно. Приостанавливать опрос, когда writer не может сбросить пакет, чтобы буфер не рос без предела.

Лимиты форвардеров по рабочим пространствам. Все рабочие пространства делят один воркер, поэтому одна медленная сторонняя конечная точка замедляет клики у всех.

Ни одна из этих проблем не вызвала известного нам инцидента. Они в нашем списке, и в вашем они тоже были бы.

Читайте главную статью: как мы держим p95 редиректа ниже 15 мс.

Читайте также в блоге

Частые вопросы

Что значит fire-and-forget для отслеживания кликов?

Редирект передаёт событие клика фоновому продюсеру и возвращает редирект, не дожидаясь никакого подтверждения. Если событие не дошло до шины, это попадает в лог, а само событие отбрасывается. Посетитель никогда не платит за аналитику задержкой.

Может ли конвейер fire-and-forget терять клики?

Да, между границей и шиной событий. Если процесс убит, пока записи ещё лежали в буфере, или шина остаётся недоступной дольше, чем повторяет попытки клиент, эти события потеряны. Когда событие дошло до шины, сторона потребителя работает по схеме at-least-once.

Почему не писать каждый клик прямо в базу аналитики?

По двум причинам. Сетевой обход на каждый редирект съедает бюджет задержки, а колоночные хранилища аналитики рассчитаны на крупные пакеты, а не на вставки по одной строке. Шина посередине также означает, что сбой базы не превращается в неудачные редиректы.

Что такое доставка at-least-once в конвейере кликов?

Потребитель фиксирует свою позицию в потоке только после того, как пакет записан. Сбой до фиксации означает, что те же события будут прочитаны и записаны снова. На этой стороне ничего не теряется, но сбой в неудачный момент может породить дублирующиеся строки.

Как часто Elido сбрасывает пакеты кликов?

Воркер сбрасывает пакет при 1000 событий или каждые 5 секунд, смотря что наступит раньше. Оба значения заданы в конфигурации по умолчанию, это значения конфигурации по умолчанию.

Замедляют ли редиректы серверные форвардеры и пиксели?

Нет. Они работают в воркере кликов, уже после того как редирект выдан. Медленная сторонняя конечная точка может замедлить воркер и немного задержать аналитику, но на ответ редиректа это никогда не влияет.

Попробуйте Elido

Вставьте URL - получите короткую ссылку

Без регистрации. Ссылка живёт 30 дней. Зарегистрируйтесь, чтобы оставить её навсегда.

Нужен бесплатный аккаунт. Бесплатный план включает всего 25 ссылок. Уже есть аккаунт? Войти

Попробуйте Elido

URL-сокращатель с хостингом в ЕС: собственные домены, глубокая аналитика, открытый API. Бесплатный тариф - без банковской карты.

Теги
fire and forget click ingestion
click event pipeline
url shortener analytics pipeline
batch insert analytics
at-least-once delivery
click event durability

Читать дальше