Программа экзамена: Анализ данных и бизнес-анализ
IAE-EXAM-DA · версия 1.0
Разделы, формат, примеры заданий и рубрика оценки письменного экзамена IAE по направлению «Анализ данных и бизнес-анализ».
01. Для кого экзамен?
Для аналитиков данных, BI-аналитиков, продуктовых, бизнес- и системных аналитиков с дипломом бакалавра или выше и опытом не менее 3 лет (без диплома - не менее 5 лет). Экзамен проверяет, как кандидат переводит вопрос бизнеса в аналитическую задачу, проверяет данные, считает, формулирует требования и делает вывод для руководства.
Знание конкретного инструмента не проверяется: запросы и расчёты можно писать на любом распространённом диалекте SQL, на Python или R, формулами или псевдокодом. Инженерам данных и специалистам по машинному обучению, которые строят конвейеры данных и модели, подходит программа «Программирование и данные».
02. Формат
- 5 вопросов, по одному на раздел, 10 минут на каждый.
- 2 кейса по 25 минут. Темы кейсов: результат A/B-теста по данным групп, удержание по когортам и окупаемость рекламного канала, определения показателей и требования к отчёту при разных позициях заказчиков, инцидент качества данных после релиза, эффект изменения цены с контрольной группой, вклад рекламного канала по тесту с отключением.
- 1 вопрос о проекте из анкеты кандидата, 10 минут: одно аналитическое решение или ситуация с заказчиками и цифры результата.
- Всего до 2 часов за один раз. Вставка текста отключена, у каждого кандидата свои цифры и обстоятельства в заданиях. Справочниками пользоваться можно.
03. Разделы и вес
- S1. Метрики и постановка задачи - 20 %: перевод вопроса бизнеса в аналитическую задачу, дерево метрик, разложение изменения выручки, эффект состава и среднее отношений, юнит-экономика и окупаемость, KPI и их побочные эффекты, сезонность, удержание по когортам, эффект изменения цены.
- S2. Данные, SQL и качество данных - 20 %: соединения и размножение строк, агрегаты и оконные функции, когорты и конверсия в запросе, дедупликация, проверки ежедневной загрузки, часовые пояса и сверка с бухгалтерией, пропуски в данных, разбор инцидента качества данных.
- S3. Статистика и эксперименты - 20 %: размер выборки и длительность A/B-теста, значимость и доверительные интервалы, подглядывание и множественные сравнения, нарушение деления групп, метрики с тяжёлым хвостом, регрессия к среднему, корреляция и причинность, незначимый результат, опросы и смещения.
- S4. Требования и процессы - 20 %: потребность за формулировкой заказчика, пользовательские истории и разбиение эпика, критерии приёмки, нефункциональные требования, определения показателей и их согласование, приоритизация запросов, модели процессов, время цикла и узкие места.
- S5. Профессиональная практика - 20 %: выводы и рекомендации для руководства, неопределённость в прогнозе и решении, честная визуализация, пороги оповещений, конфиденциальность в отчётах, давление на аналитика, работа с потоком запросов, автоматизация отчётности, собственный проект.
04. Пример вопроса
Вопрос (раздел S1, 10 минут). Сервис по подписке с постоянным ежемесячным оттоком клиентов 4 % готовит презентацию для инвестора. Менеджер считает годовой отток как месячный, умноженный на 12. Подписка стоит $50 в месяц, валовая маржа 75 %.
- 1) Посчитайте долю клиентов, которые останутся через 12 месяцев, и годовой отток. Насколько ошибается расчёт менеджера?
- 2) Посчитайте средний срок жизни клиента и валовую маржу с клиента за срок жизни.
- 3) Почему постоянный отток - допущение и как его проверить?
Образец ответа. 1) Через 12 месяцев остаётся 0,96^12 = 61,3 % клиентов, годовой отток 38,7 %, а не 48 %: умножение на 12 не учитывает, что каждый месяц уходит доля от уменьшившейся базы. 2) Средний срок жизни 1 / 0,04 = 25 месяцев, маржа за срок жизни 50 x 0,75 / 0,04 = $938. 3) Отток обычно выше в первые месяцы и ниже потом, поэтому формула 1 / m может ошибаться в обе стороны. Проверяю по когортным кривым удержания и показываю инвестору фактический отток по когортам.
Как оценивается этот вопрос:
- Правильность (40): 34-40 - годовой отток, срок жизни и маржа верны для своих цифр; 20-33 - формула годового оттока верна, но есть ошибка в сроке жизни или марже; 0-19 - решение неверное или его нет.
- Обоснование (25): объяснено, почему умножение на 12 завышает отток и почему инвестору нужны фактические когорты.
- Риски и ограничения (20): названы непостоянный отток, разные когорты и каналы, риск завысить ценность клиента.
- Ясность (15): ответ разбит на пункты, выводы и цифры названы явно, нет лишнего текста. Грамматика и стиль баллы не снижают, если смысл понятен.
Пример взят из пробного экзамена. На экзамене у каждого кандидата свои цифры: здесь отток, цена и маржа меняются, и образец ответа показывает, как результат зависит от них.
05. Пример кейса
Кейс (раздел S3; на экзамене 25 минут, в пробном экзамене 15). Магазин отправил письмо с двумя вариантами темы, по 30 000 получателей в каждой группе, деление случайное. Вариант А: письмо открыли 22 % получателей, заказ сделали 1,0 %. Вариант Б: открыли 26 %, заказ сделали 1,1 %. Маркетолог предлагает использовать тему Б во всех рассылках, потому что «открываемость выросла на 18 %».
- 1) Проверьте значимость разницы в доле заказов (уровень 5 %, двусторонний) и дайте 95 % интервал разницы.
- 2) Какую метрику вы считаете основной для выбора темы и почему?
- 3) Какую рекомендацию вы дадите маркетологу?
- 4) Сколько получателей нужно в группе, чтобы с мощностью 80 % увидеть разницу в заказах 0,1 п. п.? Что из этого следует для следующих тестов?
Образец ответа. 1) Средняя доля заказов 1,05 %; z = 0,001 / корень(0,0105 x 0,9895 x 2 / 30 000) = 1,20, p = 0,23; интервал разницы от -0,06 до +0,26 п. п. - разница не значима. Открытия различаются значимо (z = 11,5), и рост 26 / 22 - 1 = 18 % посчитан верно. 2) Основная метрика - заказы или маржа на получателя: цель рассылки - заказы. Рост открытий без роста заказов может значить, что тема привлекает менее заинтересованных; открытия ещё и искажаются автоматической загрузкой писем почтовыми программами. 3) Рост продаж не доказан: тему Б можно оставить, но утверждать, что она увеличивает заказы, нельзя; при следующей рассылке основной метрикой записать заказы на получателя. 4) n = 7,84 x (0,01 x 0,99 + 0,011 x 0,989) / 0,001^2, около 163 000 на группу, это больше пяти таких рассылок. Значит, мелкие различия тем одной рассылкой не проверить: нужно объединять несколько рассылок по заранее записанному плану или проверять более крупные изменения (предложение, сегмент).
Как оценивается этот кейс:
- Правильность (40): 34-40 - z и интервал верны для своих цифр, основная метрика выбрана и объяснена, рекомендация следует из результата, размер выборки верный; 20-33 - вывод о метрике верный, но есть ошибка в z, интервале или размере выборки; 0-19 - решение неверное или его нет.
- Обоснование (25): выбор метрики и рекомендация объяснены целью рассылки и результатом теста.
- Риски и ограничения (20): названы искажение открытий, несколько метрик в одном тесте, недостаточная мощность одной рассылки, перенос результата одной рассылки на все.
- Ясность (15): ответ разбит на пункты, выводы и цифры названы явно, нет лишнего текста. Грамматика и стиль баллы не снижают, если смысл понятен.
- Ответ общими словами без расчёта на цифрах из условия получает по правильности не больше 19 баллов, по обоснованию не больше 12.
06. Рубрика оценки
Каждое задание оценивается по четырём критериям, итог переводится в 100 баллов с учётом веса раздела. Экзаменатор проверяет ответ по рубрике и образцу ответа к заданию с цифрами кандидата.
- Правильность решения - 40 %: верный расчёт, запрос или требование для своих цифр. Без расчёта по своим цифрам - не больше 19 баллов из 40.
- Обоснование решений - 25 %: почему выбран этот вариант, а не другой. Общие рекомендации без связи с цифрами и обстоятельствами задания - не больше 12 баллов из 25.
- Учёт рисков и ограничений - 20 %: качество данных, точность оценки, допущения, при каких условиях вывод меняется.
- Ясность ответа - 15 %: структура и точность формулировок. Грамматика и стиль баллы не снижают, если смысл понятен.
- Название метода или теста без применения к цифрам задания баллов не добавляет. Мелкие ошибки синтаксиса SQL баллы не снижают, если логика запроса верна.
07. Результат и сертификат
- Проходной балл - 70 из 100.
- Результат за 5 рабочих дней. Сдавшие получают сертификат IAE Certified Professional с направлением «Data and Business Analysis» на 3 года, баллы по разделам - в отдельной справке.
- Сертификат подтверждает, что кандидат сдал письменный экзамен IAE по этой программе. Он не является лицензией или государственной аттестацией и не заменяет сертификаты производителей программ для анализа данных. Решения о найме и другие решения о кандидате работодатели и органы власти принимают по своим правилам.
- Пересдача через 30 дней после первой неудачной попытки и через 60 после второй, не больше 3 попыток за 12 месяцев.
- Полные условия: страница «Условия экзамена».
- Программу пересматривает Аттестационный совет не реже раза в год.
08. Вне программы
- Работа в конкретных BI-инструментах (Power BI, Tableau и другие), их настройка и функции.
- Построение конвейеров данных, хранилищ и моделей машинного обучения: это программа «Программирование и данные».
- Администрирование баз данных и оптимизация запросов на уровне СУБД.
- Синтаксис конкретного диалекта SQL и библиотек Python или R.
- Знание формул и статистических таблиц наизусть: проверяется, как кандидат выбирает и применяет метод к цифрам задания.
- Финансовая отчётность, бухгалтерский учёт и юридическая оценка обработки персональных данных: требования, нужные для ответа, даны в условии.
09. Подготовка
- Пробный экзамен: 2 вопроса, 1 кейс и вопрос о проекте в том же формате. После него показываются образцы ответов и рубрика, баллы не выставляются. Условия - на странице «Условия экзамена».
- Расчёты, которые встречаются в заданиях: разложение выручки на трафик, конверсию и средний чек; взвешенное среднее и эффект состава; стоимость привлечения, окупаемость, выручка и маржа за срок жизни клиента; размер выборки для двух долей; z-тест и доверительный интервал для разницы долей; проверка деления групп по хи-квадрату; разность разностей; загрузка этапа процесса.
- Запросы, которые встречаются в заданиях: соединения без размножения строк, агрегаты с условием, ранжирование и скользящие окна, когорты и удержание, поиск и удаление дублей, сверка итогов с источником.
- Требования: пользовательские истории, критерии приёмки в формате «Дано, Когда, Тогда» с проверяемыми числами, определение показателя с формулой, источником и владельцем.
- Вопрос о проекте строится на проекте из анкеты: заранее вспомните вопрос бизнеса, данные и их недостатки, свой расчёт, результат в цифрах с точностью и кто принимал решение по вашему выводу.
Экзамен
Запишитесь на экзамен
Анкета занимает 15 минут. Решение о допуске за 1 рабочий день.

