• Если происходит значительное, но разовое событие (например, отставка топ-менеджеров), пометьте точку данных как смешанное несвязанное событие с помощью индикаторной переменной. Эти события сами по себе также могут быть проверены с течением времени на предмет их отдельных эффектов.
• Учитывайте нелинейность некоторых событий, происходящих одновременно. Положительно-отрицательные эффекты могут быть не такими, как по отдельности. Мы видим это на публичных рынках, где компании могут «принять ванну», выпустив поток негативных новостей одновременно, что приводит к первоначальному «фиксированному» попаданию факта плохих новостей с незначительными последующими эффектами.
• Кроме того, начните создавать процесс для своих показателей роста — по мере того, как вы будете собирать больше данных с течением времени, точность анализа будет повышаться.
• Посмотрите на автоматизацию передачи данных в процесс и собирайте данные из других областей организации (например, создайте ссылку на GitHub, чтобы проверить влияние обновлений программного обеспечения). Со временем применение итеративных принципов машинного обучения к измерению вашего роста только повысит его ценность для вашей компании, чтобы понять свой прогресс.

Отчасти в качестве продолжения моей предыдущей статьи о том, как определить движущие силы роста в бизнесе, я теперь хочу углубиться в кроличью нору и посмотреть, как вы можете затем измерить влияние инициатив роста. Я предоставлю некоторые инструменты для оценки влияния таких действий, как обновления продукта, PR и маркетинговые кампании, на рост числа клиентов, показатели удержания и вовлеченность. Это отражает мою предыдущую работу в качестве статистика, когда я помогал компаниям оценивать влияние внутренних и внешних событий на их оценку с помощью реакции их торгуемых ценных бумаг.

Я считаю, что инструменты статистического воздействия, более распространенные в хедж-фондах и мире Уолл-Стрит, могут быть гораздо более полезными для технологических компаний для управления ростом, чем то, как они применяются в настоящее время. Благодаря технологиям, предоставляющим нам широкий спектр высокочастотной информации о поведении пользователей или клиентов, квалифицированный специалист по статистике или анализу данных может быть настоящим активом в коммерческих командах.

Есть много способов измерить влияние роста

В качестве примера измерения статистического влияния на оценку предположим, что публично торгуемая компания объявляет о выпуске нового продукта и желает знать, в какой степени это повлияло на ее оценку. Для оценки реального воздействия необходимо учитывать:

1. Как вел себя рынок в тот день в контексте корреляции с ним ценной бумаги.
2. Влияние любой другой информации, относящейся к компании, опубликованной в то же время.
3. Тот простой факт, что цены на ценные бумаги и поведение пользователей ежедневно изменяются в соответствии с общими отклонениями, даже при отсутствии новой информации.
4. Долгосрочное влияние с точки зрения статистически значимой тенденции роста цен.

Для частной компании можно провести тот же анализ изменений активных пользователей или клиентов как в краткосрочной, так и в долгосрочной перспективе, что является следствием динамики цен на акции. Это также относится к показателям удержания и глубины взаимодействия.

Установление этой всесторонней формы анализа позволяет компаниям направлять свои ограниченные ресурсы на основе гораздо более сильных информационных сигналов, а не сбиваться с пути того, что может показаться рынком или реакцией пользователей, которые на самом деле представляют собой не что иное, как случайные колебания. Первоначальная работа по настройке статистической модели, которая отделяет сигнал от шума, может принести огромные дивиденды благодаря информации, которую она привносит в усилия компании по развитию. Это также итеративный процесс, который можно легко (и часто автоматически) обновлять и уточнять по мере получения новых данных.

Выбор целевой метрики для тестирования

Любые усилия компании по измерению должны быть направлены хотя бы на одно из следующих измерений роста:

1. Рост выручки , определяемый как изменение общего объема продаж или активных пользователей/клиентов с течением времени.
2. Удержание пользователей и клиентов, определяемое как среднее время жизни любого данного пользователя или клиента.
3. Глубина взаимодействия пользователей и клиентов, определяемых как частота основных действий или объем транзакций через платформу.

Все три измерения поддаются количественной оценке, и компания может представить свою стоимость как площадь треугольника, образованного этими тремя точками. Если один рухнет, то ценностный потенциал двух других будет сильно ограничен. Хотя я, безусловно, согласен со многими основателями и инвесторами в том, что «несколько пользователей, которые любят вас, лучше, чем многие, которым вы нравитесь», я не считаю, что это противоречит важности роста выручки в дополнение к сильному вовлечению и удержанию. Траектория имеет гораздо большее значение, чем уровень, и, начиная с небольшой группы по-настоящему преданных пользователей, лучше всего создаются начальные условия для долгосрочного роста.

Ключевая задача для компании состоит в том, чтобы затем создать аналитическую основу, позволяющую измерять истинное влияние их действий на одну или несколько из этих трех ключевых метрик. Компания может либо тестировать разные модели для каждой из них, либо использовать такие инструменты, как одновременные уравнения, чтобы связать их более напрямую. По моему опыту, усилия по маркетингу и связям с общественностью, как правило, особенно страдают от отсутствия тщательного анализа того, получает ли компания отдачу от своих инвестиций. Некоторые показатели, такие как общее количество просмотров, кликов и репостов, почти всегда записываются, но все это средства для достижения цели, и следующий вопрос о влиянии на конверсию и вовлеченность клиентов редко подвергается серьезному анализу.

Выбор эталона и примера одноразового события

Начнем с упрощенной версии разового мероприятия. Предположим, компания выпускает обновление нового продукта или публикует большую PR-историю в день 0 и хочет знать, представляет ли это движение в правильном направлении с точки зрения влияния на рост. Чтобы определить, был ли получен реальный сигнал о том, что компании следует продолжать аналогичные усилия, необходимо знать, насколько она увеличилась по сравнению с тем, насколько она увеличилась бы в отсутствие рассматриваемого события.

Ориентировочный рост можно оценить с помощью регрессионной модели, которая прогнозирует рост, удержание или вовлеченность компании на основе внешних и внутренних переменных. В некоторых случаях возможность изолировать тех пользователей, на которых влияет обновление продукта, позволяет проводить прямое A/B-тестирование с контрольной группой. Однако это не относится к крупномасштабным продуктам, связям с общественностью и деловым усилиям, которые одинаково затрагивают всех текущих и потенциальных пользователей. Несмотря на то, что для такого тестирования доступны отличные ресурсы, многие начинающие компании могут счесть их дорогими.

Переменные, которые можно рассматривать для этой модели, включают:

Все переменные должны быть указаны как скорость изменения, а не абсолютный уровень, с использованием логарифмов, а не процентов.

Временные рамки для каждой переменной также должны быть тщательно рассмотрены. Некоторые переменные являются ведущими (например, фондовый рынок в значительной степени основан на ожиданиях), в то время как другие, такие как рейтинги удовлетворенности пользователей, основаны на прошлом опыте, но, безусловно, могут иметь отношение к ожидаемому росту.

Что касается самой регрессии, я рекомендую начинать с обычных методов наименьших квадратов (OLS), а затем переходить к другим функциональным формам только по определенным причинам. OLS универсален и также позволяет более прямую интерпретацию результатов, чем другие более сложные формы. Модификации в контексте OLS будут включать логарифмическую регрессию для нелинейных переменных, переменных взаимодействия (например, возможно, текущее удовлетворение клиентов и активность в социальных сетях) и возведение в квадрат переменных, которые, по вашему мнению, оказывают непропорциональное влияние при больших значениях. Поскольку рост, как мы надеемся, будет экспоненциальным, логарифмическая регрессия, безусловно, может оказаться очень подходящей.

Что касается временного горизонта воздействия действия, обязательно учитывайте частоту действий или покупок ваших пользователей, чтобы помочь вам определить правильный интервал, в течение которого следует искать влияние. При использовании таймфреймов более одного дня помните, что количество активных пользователей за неделю не равно сумме активных пользователей за день на этой неделе. Если бы я активно использовал ваш продукт каждый день на этой неделе, то я бы засчитывал каждый день для ежедневного анализа. Если вы затем перейдете к еженедельному анализу, я должен появиться только один раз, и, следовательно, суммирование отдельных дней приведет к переоценке.

Затем эта модель позволяет вам оценить ожидаемый рост/удержание/вовлечение для любого заданного момента или текущего периода времени на основе эффективности этих независимых переменных. Разница между этим ожидаемым ростом и фактическим ростом, наблюдаемым после события, является аномальной частью, которая может указывать на воздействие. Разделив этот аномальный рост на стандартное отклонение ожидаемого роста, можно определить, насколько вероятно, что аномальный компонент возник случайно. Как правило, результат 1,96 (примерно два стандартных отклонения от прогнозируемого значения) используется в качестве порога для признания того, что это произошло не случайно.

В контексте когорт удержание и вовлеченность можно рассматривать либо с точки зрения изменений в последовательных когортах (другими словами, сохраняя фиксированные значения для каждой когорты), либо изменение во времени общего удержания и вовлеченности, не разбивая его по когорта.

Совокупное влияние серии событий на рост

Стратегии роста часто делают акцент на развертывании серии событий, а не разовых усилий, как для более непосредственного воздействия множественных усилий, так и для основного воздействия демонстрации клиентам самой модели. Таким образом, анализ воздействия может учитывать и кумулятивное воздействие. Серия событий, которые по отдельности незначительны, может привести к значительному кумулятивному воздействию, и, наоборот, серия значительных событий может стать незначительной.

Первую ситуацию можно представить как «медленный и устойчивый выигрывает гонку». Допустим, ваши продажи увеличиваются на долю процента в неделю быстрее, чем в соответствующем секторе. В течение короткого периода времени это ничего бы не значило, так как рост любой конкретной компании будет немного отличаться от эталона случайно. Тем не менее, если ваша небольшая сверхэффективность будет продолжаться достаточно долго, то в конечном итоге вы сможете с уверенностью заявить, что темпы роста компании действительно превышают рыночные.

Вторая ситуация — это, по существу, любой вид разворота. Все более высокочастотные средства, с помощью которых люди могут реагировать на события до того, как они действительно обработают информацию, а также краткосрочный стадный менталитет создают проблему обеспечения того, чтобы вы учитывали истинную величину и продолжительность реакции через более непосредственный шум. При определенных обстоятельствах пользователи и рынки могут склонны систематически остро реагировать в краткосрочной перспективе (новые технологии, валютные рынки и часто плохие новости, не представляющие серьезной угрозы для компании), но затем исправляются.

Обе ситуации можно проиллюстрировать следующим образом. Доверительный интервал указывает границы, в пределах которых мы можем ожидать попадание 95 % наблюдений, который обычно используется в качестве порога для признания чего-либо статистически значимым.

Отсутствие значительного разворота можно рассматривать как свидетельство продолжительного воздействия. С этой логикой следует быть осторожным, поскольку она противоречит обычному правилу эмпирического скептицизма, согласно которому отсутствие доказательств не является доказательством отсутствия, но это лучшее, что мы можем сделать.

Будьте осторожны при сравнении процентных/логарифмических изменений за отдельные периоды времени. Снижение на 99 %, за которым следует увеличение на 99 %, не приводит к незначительному кумулятивному изменению. Обязательно учитывайте кумулятивное изменение в конце.

Если вы измеряете кумулятивное влияние серии событий, таких как конкретная PR-кампания, в течение ограниченного периода времени (например, в праздничный сезон), вы можете отслеживать рост за все календарные дни или недели, включенные в временные рамки. независимо от того, были ли предприняты определенные действия для каждого из них. Вы по-прежнему надеетесь, что удар 1-2-3 приведет к нокауту в течение определенного периода времени, даже если между ударами могут быть небольшие задержки.

Если рассматриваемые события находятся далеко друг от друга, но вы все же хотите оценить кумулятивное воздействие, вы можете рассмотреть возможность объединения их в одну непрерывную серию дней, а затем провести тот же анализ. При этом вы, по сути, говорите:«День 1 — 5 января, День 2 — 15 марта, День 3 — 10 апреля…») и проверяете их кумулятивное изменение по сравнению с предсказанным эталоном, как если бы они на самом деле были полностью последовательными датами. В этом случае проверка значимости осуществляется по той же формуле, что и для единичных событий, за исключением того, что стандартное отклонение увеличивается до квадратного корня из числа дней/недель, образующих совокупный период.

Работа с искаженной информацией при измерении роста компании

Мир редко предоставляет нам идеальные лабораторные условия для проверки наших идей, поэтому, как только базовая модель будет создана, ей, скорее всего, потребуется контролировать другую информацию, которая влияет на ожидаемые темпы роста в то же время, что и действия, которые мы делаем. стремясь измерить.

Предположим, что одновременно с PR-мероприятием или обновлением продукта топ-менеджер, к сожалению, решает уйти к конкуренту под шумиху прессы, и вы обеспокоены тем, что некоторые пользователи могут воспринять это как сигнал относительного достоинства вашего продукта. два продукта. К сожалению, очень быстрое решение состоит в том, чтобы просто пометить точку данных как смешанное несвязанное событие с помощью индикаторной переменной.

Однако, если вы можете получить данные о предыдущих случаях «мешающего» события, то вы можете провести кросс-секционный анализ, который позволит вам предсказать, какое влияние имеет то или иное событие в аналогичных обстоятельствах, и вы можете удалить ожидаемое влияние конечных результатов. В приведенном выше примере данные об активности пользователей, связанные с уходом высокопоставленных членов команды из других компаний, позволят вам оценить и выделить влияние этого конкретного фактора, чтобы изолировать влияние PR-события или обновления продукта, которое вы надеялись произвести. оценить.

Многие компании также могут столкнуться с сезонностью в зависимости от времени года или определенных ключевых моментов, таких как праздники. Назначьте индикаторные переменные соответствующему времени года, чтобы контролировать это.

Нелинейность определенных воздействий

Когда вы рассматриваете результаты своего анализа и стратегии усилий по развитию, стоит помнить об определенных нелинейных эффектах в том, как люди реагируют на позитивные события.

Чувствительность вверх и вниз может быть очень разной. Если позволяют данные и время, рассмотрите возможность оценки ожидаемых последствий как положительных, так и отрицательных событий, если они имеют отношение к вам. К сожалению, нисходящие движения во многих случаях, начиная от поведения пользователей и кончая финансовыми рынками, могут быть гораздо более резкими и серьезными, чем восходящие движения.

Комбинированный эффект от выполнения нескольких действий одновременно может не совпадать с эффектом от их последовательного выполнения, потому что сам факт продолжающегося паттерна может сам по себе иметь положительный или отрицательный эффект. Модель, когда компания выпускает обновление продукта каждый месяц, может вселить уверенность в пользователей, в то время как объявление о негативных событиях, таких как увольнения или списания более одного раза, может иметь чрезвычайно непропорциональный эффект, вызывая беспокойство, что компания не полностью понимает свои собственные действия. ситуация. Публично торгуемые компании часто «принимают ванну» и публикуют все плохие новости сразу, поскольку может иметь место первоначальный «фиксированный» удар от самого факта плохих новостей с незначительным последующим эффектом. Например, «эффект торпеды» описывает эмпирический феномен, заключающийся в том, что простое присутствие плохих новостей может объяснить значительную часть падения цен. Таким образом, отрицательные падения можно разбить на первоначальный фиксированный эффект, который уступает место уменьшающемуся предельному эффекту фактического содержания новостей или событий. PR-кампании лучше работают в виде последовательности, чем одного мега-события, поскольку цель состоит в том, чтобы позиционировать компанию с течением времени.

Дисперсия, конечно, может быть измерена только исторически, но некоторые события могут изменить основную истинную дисперсию и вероятность того, что аномальный рост произошел случайно. Поскольку новая дисперсия сама по себе является результатом рассматриваемого события, следует использовать предыдущую дисперсию, чтобы избежать кругового рассуждения об игнорировании значимости события на основании более крупной дисперсии, которая с ним связана. Однако, как всегда, ведутся споры, и каждая ситуация может быть разной.

Как упоминалось ранее, рост или замедление роста могут на какое-то время вызывать одинаковые эффекты как из-за человеческой психологии, так и из-за очень реальных рыночных структур. Несмотря на то, что для измерения эффектов импульса доступны различные причудливые автокорреляционные тесты, я считаю, что более «ручной» подход регрессии ряда роста на запаздывающей версии самого себя более прозрачен и с ним легче экспериментировать.

Заключительные мысли о подходе к машинному обучению в бизнесе

После того, как модель, позволяющая проводить такое тестирование, разработана, нет никаких причин, по которым платформы компании для отслеживания поведения пользователей, продаж и т. д. нельзя напрямую связать с ее кодом, чтобы постоянно обновлять коэффициенты по мере поступления новых данных. Моим личным предпочтением всегда было по возможности иметь скользящий период оценки в один год, поскольку он уравновешивает размер набора данных с более высокой ценностью более свежей информации, а также, естественно, включает все времена года в случае сезонности.

Если предположить отсутствие структурных сдвигов в характере бизнеса и продукта, нет причин не продлевать период оценки более чем на один год, но молодые быстрорастущие компании, как правило, быстро развиваются. Компании, работающие с программным обеспечением, могут напрямую ссылаться на свой GitHub, чтобы создать процесс, с помощью которого обновления программного обеспечения автоматически проверяются на предмет воздействия. Создав эту прямую ссылку и позволив функциям развиваться автоматически, вы сделали первый шаг к внедрению машинного обучения в своей компании.

Часто указывается, что информация является самым ценным товаром в мире, но реже упоминается, что данные — это не информация. Наоборот, компании перегружены таким большим количеством данных, что может показаться, что они рассказывают конкурирующие нарративы, многие из которых могут быть просто ложными закономерностями, основанными на случайности. Статистика в лучшем случае представляет собой процесс сокращения — быстрого уточнения ключевых переменных и взаимосвязей и развертывания их для практического тестирования. Суть этой формы анализа прежде всего заключается в том, чтобы привнести здоровый скептицизм в процесс принятия решений, заставляя данные доказывать, что они являются реальной информацией, прежде чем вы будете основывать на них решение.