Программа экзамена: Машинное обучение и MLOps
IAE-EXAM-ML · версия 1.0
Разделы, формат, примеры заданий и рубрика оценки письменного экзамена IAE по направлению «Машинное обучение и MLOps».
01. Для кого экзамен?
Для ML-инженеров, специалистов по data science, которые обучают модели и выкладывают их в работу, MLOps-инженеров, исследователей прикладного машинного обучения в компаниях и руководителей ML-команд. Нужен диплом бакалавра или выше и опыт не менее 3 лет по специальности (без диплома - не менее 5 лет). Экзамен проверяет расчёты и решения по данным и результатам моделей: постановку задачи и разбиение данных, выбор и обучение модели, метрики качества, порог решения и сравнение моделей, выкладку, мониторинг и переобучение. Знание конкретной библиотеки или платформы не проверяется: код в ответах можно писать на любом распространённом языке или псевдокодом, а пороги, цены вычислений и требования к задержке для решения даны в условии задания. Проектирование систем и качество кода проверяет программа «Программирование и данные», метрики бизнеса и A/B-тесты продукта проверяет программа «Анализ данных и бизнес-анализ», учёт ИИ-систем, персональные данные и контроль человеком проверяет программа «Управление ИИ и защита данных».
02. Формат
- 5 вопросов, по одному на раздел, 10 минут на каждый.
- 2 кейса по 25 минут из двух разных разделов: постановка задачи и данные, модели и обучение, оценка моделей и эксперименты, выкладка и эксплуатация. В кейсах нужно считать на своих данных: метрики качества и стоимость ошибок при разных порогах, размеры выборок при разбиении по времени и по группам, стоимость вычислений на подбор гиперпараметров, индекс стабильности распределения (PSI) и сдвиг долей признака, задержку ответа и число серверов для обслуживания модели.
- 1 вопрос о проекте из анкеты кандидата, 10 минут.
- Всего до 2 часов за один раз. Вставка текста отключена, у каждого кандидата свои данные в кейсах.
03. Разделы и вес
- Постановка задачи и данные - 20 %: целевая переменная и её связь с решением бизнеса, единица и горизонт прогноза, утечка данных через признаки и через разбиение, разбиение на выборки по времени и по группам, качество разметки и согласие разметчиков, дисбаланс классов, веса классов и подвыборка.
- Модели и обучение - 20 %: выбор семейства моделей под объём и тип данных и под требования к задержке, базовая модель для сравнения, регуляризация и переобучение, кривые обучения, подбор гиперпараметров и бюджет вычислений, ранняя остановка, интерпретируемость как требование задачи и объяснение отдельных прогнозов.
- Оценка моделей и эксперименты - 20 %: матрица ошибок, precision (доля верных среди положительных прогнозов модели), recall (доля найденных среди всех положительных случаев), F1 (среднее гармоническое precision и recall), площадь под ROC-кривой (ROC-AUC) и под кривой precision-recall (PR-AUC) при дисбалансе классов, калибровка (совпадение оценок модели с наблюдаемой долей положительных случаев), выбор порога по стоимости ошибок, офлайн-оценка и проверка модели на реальном трафике (теневой режим, доля трафика), сравнение двух моделей на одной выборке и погрешность оценки.
- MLOps: выкладка и эксплуатация - 20 %: версии данных, кода и моделей, воспроизводимость обучения, конвейеры обучения и проверки перед выкладкой, задержка и пропускная способность при обслуживании, пакетные и онлайн-прогнозы, мониторинг сдвига данных и качества при отложенной разметке, индекс стабильности распределения (PSI), решение о переобучении или откате.
- Профессиональная практика - 20 %: документация модели (назначение, данные, метрики, ограничения), измерение различий качества между группами как техническая задача, объяснение результатов и неопределённости заказчику, границы применения модели, передача модели в эксплуатацию, честная отчётность, собственный проект кандидата.
04. Примеры заданий
Вопрос. Модель отбирает платежи на проверку мошенничества. В проверочной выборке 20 000 платежей, 400 из них мошеннические. При пороге 0,5 модель отметила 1 000 платежей, мошеннических среди них 320. При пороге 0,3 модель отметила 2 400 платежей, мошеннических среди них 372. Ложное срабатывание (проверка честного платежа и задержка для клиента) стоит компании 6, а пропущенный мошеннический платёж стоит 180. Постройте матрицу ошибок для каждого порога, посчитайте precision и recall, выберите порог по суммарной стоимости ошибок и объясните, почему для этого выбора не годится доля верных ответов (accuracy).
Кейс. Банк выдаёт кредиты через сайт партнёра. 6 недель назад вместо версии 1 модели кредитного скоринга выложена версия 2, а версия 1 работает в теневом режиме: оценивает те же заявки, но решений не принимает. Во время обслуживания версия 2 запрашивает у партнёра признак «доход по данным партнёра». На проверочной выборке до выкладки ROC-AUC по просрочке первого платежа был 0,79 у версии 2 и 0,76 у версии 1. По кредитам, выданным после выкладки, у которых срок первого платежа уже прошёл, ROC-AUC равен 0,71 у версии 2 и 0,75 у версии 1. Доли заявок по интервалам признака (доход в тысячах в год: меньше 20, 20-40, 40-80, 80 и больше) в обучающей выборке были 15, 35, 35 и 15 %, за последние 4 недели 41, 33, 19 и 7 %. PSI равен сумме по интервалам произведений (a минус e) x ln(a / e), где a и e означают долю интервала сейчас и при обучении. PSI остальных 23 признаков не выше 0,04, а по правилам команды PSI 0,25 и выше означает сильный сдвиг. Партнёр отменяет заявку, если ответ не пришёл за 400 мс: у версии 2 так теряется 2,1 % заявок, у версии 1 терялось 0,3 %. Банк получает 50 000 заявок в месяц и одобряет 40 % из них. Одобренный кредит приносит банку в среднем 120. Рассчитайте PSI признака и сравните его с порогом. Оцените потери в месяц от отменённых заявок у версии 2 по сравнению с версией 1. Решите, откатить модель на версию 1, переобучить версию 2 на данных последних недель или оставить её, и обоснуйте решение. Предложите проверки в конвейерах данных и обслуживания, которые нашли бы такой сдвиг до падения качества.
Цифры и обстоятельства кейсов у каждого кандидата свои.
05. Рубрика оценки
Каждое задание оценивается по четырём критериям, итог переводится в 100 баллов с учётом веса раздела.
- Правильность решения - 40 %.
- Обоснование решений - 25 %.
- Учёт рисков и ограничений - 20 %.
- Ясность ответа - 15 %: структура и точность формулировок. Грамматика и стиль баллы не снижают, если смысл понятен.
06. Результат
- Проходной балл - 70 из 100.
- Результат за 5 рабочих дней. Сдавшие получают сертификат IAE Certified Professional с направлением «Machine learning and MLOps» на 3 года, баллы по разделам в отдельной справке.
- Сертификат подтверждает, что кандидат сдал письменный экзамен по этой программе. Это не лицензия и не аккредитация, и сертификат не заменяет сертификаты облачных провайдеров и онлайн-курсов по машинному обучению. Решения о найме и другие решения о кандидате работодатели и органы власти принимают по своим правилам.
- Пересдача через 30 дней после первой неудачной попытки и через 60 после второй, не больше 3 попыток за 12 месяцев.
- Полные условия: страница «Условия экзамена».
- Программу пересматривает Аттестационный совет не реже раза в год.
07. Что не входит в экзамен?
- Экзамен IAE не относится к экзаменам облачных провайдеров и онлайн-курсов по машинному обучению, не связан с ними и не заменяет их экзамены. Темы и задания экзамена IAE не повторяют программы этих экзаменов. Названия сертификатов и организаций принадлежат их владельцам.
- Работа с конкретными библиотеками, фреймворками и платформами машинного обучения, их функции и параметры. Код в ответах можно писать на любом распространённом языке или псевдокодом, расчёты выполняются вручную или на калькуляторе.
- Проектирование программных систем, качество кода, базы данных и SQL: это программа «Программирование и данные».
- Метрики бизнеса, бизнес-аналитика и A/B-тесты изменений продукта: это программа «Анализ данных и бизнес-анализ».
- Учёт ИИ-систем, оценка перед запуском с точки зрения управления, правовые требования к персональным данным и контроль человеком: это программа «Управление ИИ и защита данных». На этом экзамене различия качества между группами измеряются как техническая задача, без правовой оценки.
- Облачная инфраструктура, контейнеры и конвейеры выкладки программ: это программа «Облачные технологии и DevOps».
- Исследование и обучение фундаментальных моделей с нуля, в том числе предобучение больших языковых моделей и моделей изображений.
08. Подготовка
- Пробный экзамен проходит в том же интерфейсе: 2 вопроса из разных разделов, кейс на 15 минут и вопрос о проекте.
- Повторите расчёты: размеры обучающей, проверочной и тестовой выборок при разбиении по времени и по группам, доля положительного класса и веса классов; число запусков и часов вычислений при поиске гиперпараметров по сетке и случайном поиске, разница ошибки на обучающей и проверочной выборках; матрица ошибок, precision, recall и F1, стоимость ошибок при разных порогах, порог по соотношению стоимостей ошибок для откалиброванной модели, предсказанная и наблюдаемая доля положительных случаев в интервалах калибровки, погрешность доли на проверочной выборке; PSI по интервалам признака, разница долей, перцентили задержки, число запросов в секунду на сервер и число серверов, стоимость обслуживания и переобучения; метрики модели по группам и разница между ними.
- Формулы даются в задании, когда нужны, как и пороги команды, цены вычислений и требования к задержке. Для расчётов достаточно калькулятора, справочниками пользоваться можно.
- Отвечайте по пунктам задания: метод или формула, расчёт на своих цифрах, решение, риски и что нужно проверить. Вставка текста отключена, ответ набирается вручную.
- Подготовьте описание проекта для анкеты: ваша роль, задача и целевая переменная, данные, модель, её метрики до и после, решения о выкладке и мониторинге, результат в цифрах. Закрытые данные работодателя (исходный код, внутренние наборы данных, показатели, которые компания не публикует) и персональные данные в описание не включайте: результат можно дать в процентах к исходному уровню. Вопрос о проекте строится по этому описанию.
- Текст из ИИ-сервисов и помощь других людей запрещены.
Экзамен
Запишитесь на экзамен
Анкета занимает 15 минут. Решение о допуске за 1 рабочий день.

