Эксперименты с производительностью. В начале года мы запустили 4 эксперимента.
два на улучшение производительности сайта и два на ухудшение. Эксперименты запускались на небольшую часть пользователей
Эксперименты на улучшение производительности
Используем brotli вместо gzip. Это влияет на всю статику. Точные цифры экономии в Kб не вспомню, но это >100 Кб.
Используем кеширование через Service worker
На технических измерениях во время разработки, профит был заметен. Когда раскатили на клиенты большой производительности не было заметно. Бизнес метрики, к сожалению, не изменились.
Мы сделали два вывода:
Нужно будет повторить эксперименты с более сильной оптимизацией
На небольшие оптимизации клиенты нечувствительны
Затем мы запустили 2 эксперимента на деградацию. Эксперименты на деградацию нужно запускать очень осторожно, потому что изначально непонятно, насколько деградация влияет на деньги.
Мы замедляли инициализацию наших компонентов (TTI)
Увеличили размер загружаемого css (FMP)
Про инициализацию компонентов. Мы сделали небесконечный цикл, который тормозил инит каждого компонента на небольшое количество времени, в сумме увеличивая время TTI на полсекунды.
Какое же было удивление, что бизнес-метрики ничего не почувствовали. Мы запускали эксперимент несколько раз (на разных группах пользователей, чтобы получать репрезентативные результаты), постепенно увеличивая время инита.
Этот эксперимент позволил нам сделать вывод: пользователям главная ценность нашего сайта — это возможность читать контент. Текст вакансии, резюме, поисковую выдачу и т.д.
Так как текстового контента много, они не замечают, что сами компоненты становятся интерактивными через некоторое время.
Подтвердил нашу гипотезу эксперимент с увеличением загружаемого css. Это напрямую влияло на FMP. В бизнес-метриках появились незначительные деградации по итогам эксперимента.
Результаты экспериментов получились такие:
Наиболее важный параметр, на котором нам нужно сосредотачиваться FMP.
Очень важно не допускать деградации по нему.
К прямой зависимости (некоторой формуле) денег от производительности мы, к сожалению, не пришли. Нашли только характер зависимости. Поэтому мы донастроили графики, чтобы реагировать на проблемы.
И включили оповещение при деградациях.