«Яндекс» в масштабах правительственной рабочей группы по регулированию искусственного интеллекта (ИИ) представил концепцию тестовых заданий и эталонных данных для оценки нейросетей на соответствие общепринятым духовно-нравственным критериям, сообщает «Коммерсантъ».
По информации газеты, цель создания такого датасета - оценить, насколько ИИ-системы соответствуют духу времени и ценностям страны, а также их пригодность для использования в российских условиях. Заседание рабочей группы состоялось 13 августа 2026 года. Как повелевает издание, на нем возникли разногласия условно степени публичности предлагаемого датасета. В частности, представители ФСБ настаивали на закрытом формате, чтобы предотвратить возможность целенаправленной настройки моделей на прохождение тестов.
Однако представители бизнеса выразили опасения, что закрытый формат может оказаться «бездоказательно трудным» и замедлить развитие моделей, предложив сохранить его публичным. В качестве возможного компромисса было предложено использовать сочетанный подход: открытый бенчмарк для общественного тестирования и обеспечения прозрачности, а закрытый - для финальной проверки, с применением идентичных тем, но с измененными формулировками вопросов.
Предполагается, что такой подход позволит разработчикам проводить предварительную оценку моделей в лабораторных условиях, гарантируя при этом достоверность итоговой оценки при сохранении ее объективности. Также остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать с этой целью совместную комиссию, включающую представителей власти, бизнеса и экспертных организаций, что позволит сделать бенчмарк сбалансированным.
В отличие от простых тестов, современные бенчмарки способны проверять способность моделей иметь в себе комплексные рабочие задачи, такой как извлечение данных из баз или формирование отчетов.
В аппарате вице-премьера Дмитрия Григоренко «Коммерсанту» сообщили, что все предложения проходят стадию обсуждения с отраслью и заинтересованными ведомствами, и пока преждевременно сказать о конкретных решениях. Минцифры подтвердило, что подзаконные акты к закону об ИИ еще обсуждаются с бизнесом, а главная задача - обеспечить баланс интересов отрасли и пользователей, соблюдая при этом законодательные требования.
Фото: Шедеврум.