Самыми распространенными ошибками искусственного интеллекта (ИИ) являются «галлюцинации» и проблемы, вызванные манипуляциями данными, рассказал «Ленте.ру» преподаватель кафедры инструментального и прикладного программного обеспечения Института информационных технологий РТУ МИРЭА Андрей Рыбников.
Узнайте больше в полной версии ➞«Самые распространенные ошибки ИИ условно можно разделить на две большие категории: галлюцинации и уязвимости, связанные с манипуляцией входными данными, — сказал программист. — Галлюцинации — это когда нейросеть генерирует информацию, выглядящую правдоподобно, но являющуюся полностью вымышленной. Это не сознательный обман, а следствие работы модели».
Рыбников объяснил, что ИИ предсказывает наиболее вероятную последовательность слов или данных на основе своих тренировочных наборов, в результате иногда модель может выдать, к примеру, биографию известного ученого, указав несуществующие награды или даты, или создать код с несуществующими функциями.
«Возможно также наведение ИИ на неверный ответ. Этот процесс часто называют взломом промтов. Пользователь может с помощью специально составленного запроса обойти внутренние ограничения модели. Например, в запрос вставляется инструкция, "приказывающая" ИИ игнорировать предыдущие указания. Это доказывает, что ИИ в его текущем состоянии действительно можно обмануть через тонкую манипуляцию контекстом», — заключил эксперт.
Он добавил, что минимизировать ошибки можно с помощью правильных промтов, которые должны быть конкретным, содержать контекст и четкие критерии. Для технических задач эксперт рекомендовал добавлять условия вроде проверки фактов или демонстрации кода с комментариями, а для творческих — уточнять целевую аудиторию.
Ранее сообщалось, что в Санкт-Петербурге нейросеть будет вызывать Росгвардию на детские и спортивные площадки для задержания хулиганов. Нейросеть начала обработку видео- и аудиопотоков, которые поступают ей с камер системы «Безопасный город».