Экзамен

Можно ли пользоваться ChatGPT на экзамене на сертификат и что будет за нарушение?

OffSec запрещает чат-боты на всех своих экзаменах, кроме одного, а Институт и факультет актуариев (IFoA) и Управление кадровой службы США (OPM) запрещают их на своих. Среди санкций запрет сдавать экзамены в будущем, а при найме на федеральную службу отстранение от будущего трудоустройства. В исследовании Georgia Tech 2024 года на экзаменах с открытым интернетом, где чат-боты были разрешены, те, кто ими пользовался, и те, кто нет, набрали примерно одинаковые баллы.

Наблюдатель отворачивает закрытый ноутбук от бланка экзамена и карандаша

Можно ли пользоваться ChatGPT на экзамене на сертификат?

Только если это разрешают правила экзамена. OffSec запрещает чат-боты на всех экзаменах, кроме OSEE, IFoA запрещает генеративный ИИ на своих экзаменах, OPM запрещает инструменты ИИ на тестах USA Hire.

Ответ дают правила организации, которая проводит экзамен. OffSec пишет в справочном центре, что чат-боты и большие языковые модели, «including but not limited to OffSec KAI, ChatGPT, DeepSeek, Gemini, Copilot», и похожие ИИ-помощники строго запрещены на любых экзаменах OffSec («strictly prohibited during any OffSec exams»). Исключение одно: экзамен OSEE, на котором ими пользоваться можно.

Институт и факультет актуариев (IFoA) уложил правило в одну фразу: «You must not use any generative AI tools in our exams», на наших экзаменах нельзя пользоваться никакими инструментами генеративного ИИ. В пример страница приводит ChatGPT.

Управление кадровой службы США (OPM) отвечает на тот же вопрос для USA Hire, онлайн-тестов для кандидатов на федеральные должности, одним словом: «No». Дальше в справке сказано: «Using artificial intelligence (AI) tools during testing is prohibited», пользоваться инструментами ИИ во время теста запрещено.

Есть экзамены, где чат-боты разрешены нарочно. На двух онлайн-курсах магистерского уровня по компьютерным наукам в Технологическом институте Джорджии (Georgia Tech) студенты сдавали экзамены с прокторингом и открытым интернетом, и им было разрешено пользоваться ChatGPT и другими разговорными и генеративными ИИ-инструментами. Нельзя было одного: общаться с другими людьми. Это были экзамены учебных курсов, к сертификации они отношения не имели.

Почему правила считают чат-бот посторонней помощью?

Экзамен проверяет собственную работу кандидата. OPM называет ИИ формой помощи, OffSec сравнивает его с помощью третьего лица, а IFoA пишет, что результат работы ИИ кандидату не принадлежит.

OPM пишет: «The use of AI is considered a form of assistance and all forms of assistance are prohibited». ИИ считается формой помощи, а любая помощь запрещена. Кандидат должен пройти тесты «independently without assistance», самостоятельно и без помощи.

У OffSec два довода. Пользоваться языковыми моделями и чат-ботами, по словам OffSec, все равно что получать помощь третьего лица («similar to receiving help from a third-party»). Кроме того, это считается передачей сведений об экзамене третьему лицу, а такая передача нарушает Academic Policy компании.

IFoA связывает правило с предметом экзамена: «We assess your competency through your own work», мы оцениваем вашу компетентность по вашей собственной работе. И дальше: «Outputs from AI tools are not your own work».

Второй довод OffSec касается содержания экзамена. Задание, набранное в чат-боте, уходит за пределы экзамена в сервис другой компании. OPM закрывает тот же канал подтверждением: кандидат заявляет, что не копировал и никому не передавал материалы теста, в том числе службе поддержки («including with the Help Desk»).

Какие инструменты попадают под запрет?

OffSec называет OffSec KAI, ChatGPT, DeepSeek, Gemini и Copilot и оставляет разрешёнными неинтерактивные функции ИИ. Правило IFoA охватывает любой генеративный ИИ, а OPM запрещает ИИ и любую другую помощь.

OffSec делит инструменты на интерактивные и неинтерактивные. Неинтерактивные функции ИИ, например «Notion's AI for note organization», ИИ в Notion для упорядочивания заметок, и «Google AI Overview for search enhancements», обзоры ИИ в поиске Google, остаются разрешёнными, если они не дают недозволенной помощи на экзамене («facilitate unauthorized assistance on exams»).

Правило IFoA касается «any generative AI tools». OPM идёт дальше: запрет охватывает инструменты ИИ и «all forms of assistance», поэтому помощник-человек запрещён так же, как чат-бот.

Справочники это отдельный вопрос. Условия экзамена IAE решают его двумя фразами: «Справочниками пользоваться можно. Запрещены текст из ИИ-сервисов, помощь других людей и передача заданий третьим лицам». В вопросах кандидатов на странице экзамена добавлено: «На экзамене можно пользоваться справочниками, ответ вы пишете сами».

Что кандидат подтверждает до и после экзамена?

Кандидаты OPM подтверждают, что прочли предупреждение, работали самостоятельно без всякой помощи, дали правдивые сведения добросовестно и не копировали и не передавали материалы теста. За ложное подтверждение кандидатуру по этой вакансии дальше не рассматривают.

OPM требует четыре подтверждения. До теста кандидат подтверждает, что прочёл предупреждение, иначе тест не начнётся. После каждого теста он подтверждает, что работал самостоятельно и не пользовался никакой помощью («that you worked independently and did not use any form of assistance»). Он также подтверждает, что все сообщённые им сведения «true, correct, and provided in good faith», и что он не копировал и не передавал материалы теста.

У подтверждения своя санкция: «If you fail to certify or falsely certify, you will be ineligible for further consideration for the announcement to which you applied». Кто не подтвердил или подтвердил ложно, дальше по этой вакансии не рассматривается. Кандидат, который воспользовался чат-ботом и потом подтвердил самостоятельную работу, нарушает правила дважды: сама помощь и ложное подтверждение.

В IAE кандидат до оплаты подтверждает, что ознакомлен с условиями экзамена и Политикой конфиденциальности. В условиях записано, что кандидат соглашается на запись журнала набора. Журнал фиксирует, как набирался каждый ответ и сколько раз кандидат уходил со вкладки.

Что грозит кандидату, которого поймали на ИИ?

Это зависит от организации: OPM может закрыть кандидату трудоустройство на федеральной службе в будущем, IFoA может запретить сдавать свои экзамены, а OffSec считает это нарушением своей Academic Policy.

OPM: обман или иное недобросовестное поведение на онлайн-тестах «may lead to your disqualification», то есть может закрыть кандидату поиск работы на федеральной службе в будущем. Для тех, кто уже работает в правительстве, сказано: «If you are a current Federal employee, you may be removed or debarred from Federal Service (5 CFR part 731)». Действующего федерального служащего могут уволить или отстранить от федеральной службы по 5 CFR part 731.

IFoA: использование такого текста в экзаменационной работе «will therefore be investigated as potential inappropriate examination conduct», его расследуют как возможное нарушение правил экзамена. Это «may result in a ban from sitting future IFoA exams», может закончиться запретом сдавать экзамены IFoA. Срок запрета страница не называет.

OffSec: «Violations of this policy will be considered breaches of our Academic Policy and may result in disciplinary action». Нарушение правила считается нарушением Academic Policy и может повлечь дисциплинарные меры. Какие меры, справка не перечисляет.

По условиям экзамена IAE нарушение аннулирует результат, оплата не возвращается, а новая запись возможна не раньше чем через 12 месяцев. Выданный сертификат отзывают, в реестре ставят отметку «отозван». Решение принимает член Аттестационного совета, кандидат может дать письменные объяснения в течение 10 рабочих дней.

Как организаторы экзамена узнают, что кандидат пользовался ИИ?

С помощью программ и людей. IFoA применяет специальную программу и просит проверяющих следить за текстом ИИ, а система прокторинга в Georgia Tech записывала каждый открытый внешний сайт с адресом и временем.

IFoA пишет: «we use specialist software to identify potential cases of inappropriate exam conduct», специальная программа ищет возможные нарушения. И ещё: «Markers will also remain vigilant when reviewing scripts to identify any concerns they may have related to such content», проверяющие при чтении работ тоже следят за таким текстом. Перед сессией апреля 2023 года IFoA сообщил: «We will be upgrading our specialist software in advance of the April 2023 exams».

На курсах Georgia Tech система прокторинга записывала отметки «External Resource Accessed», каждую с адресом и временем. Исследователи считали посещение использованием ИИ, если домен был в их списке: openai, bard, perplexity, claude.ai, chatpdf, deepai и другие. Копирование и вставка, снимки экрана и печать были отключены, и пользоваться другим устройством, кроме того, на котором шёл экзамен, студенты не могли.

Экзамен IAE закладывает контроль в сам формат. Вставка текста отключена, система записывает журнал набора и уходы со вкладки, данные кейсов у каждого кандидата свои, а если по журналу набора ответ сомнителен, кандидат получает ещё один письменный вопрос на 5 минут.

Может ли автоматическая отметка ошибаться?

Да. Исследователи Georgia Tech просмотрели 20 записей экрана с сессий, отмеченных как использование ИИ, и примерно в трети из них ИИ не использовали. Авторы написали, что автоматическое обнаружение ИИ надёжно не всегда.

Исследователи проверили отметки вручную. По их словам, «around a third of the sessions identified as having evidence of AI collaboration did not actually feature any such usage», примерно в трети сессий с признаками работы с ИИ никакого ИИ на деле не было. Три студента заходили на Semantic Scholar, сайт с функциями ИИ из списка, но этими функциями не пользовались. Ещё у трёх ChatGPT был открыт в фоне, и они им не пользовались. Это 6 из 20 просмотренных сессий.

Вывод авторы сформулировали прямо: «automated detection of AI usage is not entirely reliable». Отметка фиксирует, что сайт был открыт, а по записи экрана видно, что студент с ним делал.

По правилам экзамена IAE, если по журналу набора ответ сомнителен, кандидат получает ещё один письменный вопрос на 5 минут. О нарушении решает член Аттестационного совета, а кандидат может дать письменные объяснения в течение 10 рабочих дней.

Повышает ли чат-бот баллы на экзамене с открытым интернетом?

В исследовании Georgia Tech почти нет. Студенты, которые пользовались ИИ на одном экзамене и не пользовались на другом, набрали в среднем 82,6% на экзамене с ИИ и 81,6% на экзамене без него.

Исследование называется «When Chatting Isn't Cheating: Mining and Evaluating Student Use of Chatbots and Other Resources During Open-Internet Exams», его авторы David A. Joyner и ещё десять сотрудников College of Computing в Georgia Tech. Оно опубликовано в трудах 17-й Международной конференции по анализу образовательных данных (EDM 2024), страницы 143-156. Экзамены были с выбором ответа: 30 вопросов на 150 баллов на одном курсе и 22 вопроса на 110 баллов на другом. На первый курс весной, летом и осенью 2023 года записались 554, 443 и 813 студентов.

Доля пользователей ИИ росла от экзамена к экзамену. На первом курсе летом 2023 года ИИ пользовались 17,53% студентов на первом экзамене и 22,81% на втором, экзамены сдавали 389 и 378 человек. На втором курсе осенью 2023 года доля была 21,3% на первом экзамене и 33,9% на втором.

Баллы почти не изменились. У 92 студентов первого курса, которые пользовались ИИ на одном экзамене и не пользовались на другом, средний результат 82,6% на экзамене с ИИ и 81,6% на другом. Итог авторов: «Average scores were roughly the same between AI-users and AI non-users», средние баллы у тех, кто пользовался ИИ, и у тех, кто нет, примерно одинаковы. Связь между баллом и частотой обращения к ресурсам во время экзамена оказалась очень слабой положительной, коэффициенты 0,08 и 0,11.

Авторы сами ограничили выводы. Экзамены были с выбором ответа, вручную просмотрено 20 записей, а о студентах авторы написали: «This student body does not generalize». Письменные ответы, кейсы и вопросы о собственной работе кандидата исследование не проверяло.

Зачем письменный экзамен спрашивает о собственном проекте кандидата?

Факты этого проекта даёт сам кандидат. На экзамене IAE один вопрос касается проекта, описанного в анкете: решений, которые кандидат принял, цифр и результата.

В анкете IAE кандидат описывает один проект не короче 200 знаков: название, свою роль, сроки и результат в цифрах. Один вопрос экзамена потом задаётся о решениях, которые кандидат принял в этом проекте.

У каждого кандидата свои цифры и обстоятельства в кейсах. На каждое задание свой таймер, 10 минут на вопрос и 25 минут на кейс, и экзамен проходит за один раз, без паузы.

Как экзамен IAE относится к инструментам ИИ?

Условия экзамена IAE разрешают справочники и запрещают текст из ИИ-сервисов и помощь других людей. Нарушение аннулирует результат, а выданный сертификат отзывают с отметкой «отозван» в реестре.

Экзамен IAE письменный и проходит онлайн, до 2 часов за один раз: 5 вопросов по 10 минут, 2 кейса по 25 минут и вопрос о собственном проекте на 10 минут. Вставка текста отключена, журнал набора записывает, как набирался каждый ответ и сколько раз кандидат уходил со вкладки, данные кейсов у каждого кандидата свои. Передавать задания третьим лицам запрещено.

Результат и справка о баллах приходят за 5 рабочих дней, проходной балл 70 из 100. Сертификат IAE Certified Professional указывает направление, действует 3 года, и сведения о нём вносятся в публичный реестр. Вступать в IAE не нужно.

Для допуска нужен диплом бакалавра или выше и не менее 3 лет опыта по специальности либо не менее 5 лет опыта без диплома. Анкета занимает 15 минут, решение о допуске приходит за 1 рабочий день, сдать экзамен можно в любой из 14 дней после допуска. Экзамен стоит $300, для членов IAE $200. Пробный экзамен за $49 проходит в тех же условиях, и сумма засчитывается в экзамен, если записаться в течение 30 дней.

Если экзамен не сдан, пересдать его можно через 30 дней после первой попытки и через 60 после второй, не больше 3 попыток за 12 месяцев. Условия экзамена описывают и возврат оплаты, дополнительное время, апелляцию.

Источники

Читайте также

Все статьи

Запишитесь на экзамен

Анкета занимает 15 минут. Решение о допуске за 1 рабочий день, экзамен в любой день из 14.