Модуль поиска контента искусственного интеллекта

Мы заметили, что в университетах участились случаи использования различных механизмов и инструментов создания контента, в том числе ChatGPT, Bard.

Инструменты ИИ стали частью образовательного процесса, хотя появились совсем недавно. Студенты и преподаватели начали активно их использовать, так как они очень эффективны, быстры и имеют доступ к значительным объемам информации. Однако, как при написании научной работы, так и студенческой работы должна быть какая-то граница разумного использования ИИ, то есть граница злаупотребления.

Наша компания решила создать функционал, который бы отвечал не только нуждам индивидуальной, но и корпоративной проверки документов на наличие контента ИИ. Образовательное учреждение, имея на вооружении эффективный инструмент противодействия злоупотреблениям, которые могут возникнуть при использовании ChatGPT, Bard и других инструментов ИИ, сможет лучше уберечь студентов от нарушения принципов академической честности и защитить стандарты качества образования, обеспечить успешное прохождение аккредитации и повысить свой рейтинг.

Отчет контента ИИ находится внутри интерактивного отчета подобия, что очень удобно для анализа. Также удобно оценивать работу на плагиат сразу по двум критерям и оставлять комментарии связанные как с ИИ, так и с плагиатом.

Нажав на Подробности в секции Поиск контента ИИ, вы сможете открыть второй отчет.

Что означают цвета в отчете ИИ?

Наш отчет отражает как Коэффициент Вероятности ИИ (КВИИ), так и вероятность ИИ для каждого фрагмента текста, закрашивая фрагменты в разные цвета. Каждый цвет отражает определенную долю вероятности того, написан ли текст ИИ или человеком. Отчет показывает список фрагментов и Коэффициент Вероятности ИИ для каждого фрагмента.

Если текст зеленого цвета, то вероятность того, что он написан машиной минимальна, если красного цвета - максимальна.
Эти цвета невозможно изменить вручную, принять или отклонить их, изменяя КВИИ. Вероятность того, что текст написан машиной проверяется модулями и алгоритмами, которые являются лучшими на данный момент.

Что означает Коэффициент Вероятности ИИ?

Коэффициент Вероятности ИИ (КВИИ) - это прогноз вероятности того, был ли текст сгенерирован ИИ или написан человеком. Коэффициент не является показателем соотношения количества текста, сгенерированного ИИ к общему объему текста документе. Он не говорит о том, какой объем текста был написан машиной, а какой - человеком.

Если работа имеет низкий уровень подобия, но при этом высокий показатель КВИИ, то это, скорее всего, ложная реакция системы,тем самым следует провести детальный анализ документа.
‍

Как работает ИИ-обнаружение?

Модуль использует контролируемое обучение с использованием нескольких моделей, включая модифицированную модель BERT, чтобы предсказать, является ли контент искусственным или оригинальным. Искусственному интеллекту были предоставлены миллионы текстов как AI, так и оригинального контента, после чего он был обучен определять разницу между ними. После каждого сеанса обучения используется большой набор тестовых данных для оценки того, является ли новая модель улучшенной или нет.

Важно помнить:

Модуль точен на 94%+ при нахождении текста, сгенерированного GPT-3, GPT-3.5 и ChatGPT. Однако он не идеален, и ошибки всегда возможны.
Гораздо лучше, правильнее и безопаснее проанализировать серию документов автора, чем принимать решение по одному документу.
Длина документа имеет значение - чем длиннее документ, тем точнее результат.
Рекомндуемое значение Коэффициента Вероятности ИИ - более 60%. Если КВИИ выше 80%, а КП ниже 20%, то работу следует внимательно проанализировать.