💬 Мой ИИ сообщил о письме, которого никогда не было
В марте агент написал: пришло письмо от GitFlic, вышло обновление 0.11.0. Звучало буднично. Я открыл почту, письма нет. Открыл веб-версию, тоже нет.
Я спросил агента, откуда письмо. Он проверил ящик, настройки и журналы и признал: письма не существовало. Фоновая проверка на одной из быстрых моделей Google сама сочинила уведомление и оформила его как настоящее.
Через неделю второй случай. Я отправил голосовое на 3 минуты 23 секунды. Моя расшифровка не ответила вовремя, и система переключилась на запасной облачный сервис. Тот вернул связный текст с именами и суммами денег. Ничего этого в голосовом не было. После перезапуска моя модель расшифровала всё правильно.
📍 Что общего
Оба раза ИИ не сказал "не знаю". Он выдал правдоподобный результат в привычной форме: письмо выглядело как письмо, расшифровка как расшифровка. И оба раза ошибку заметил я, а не система.
Отсюда два правила. Если от ответа ИИ зависит действие, у ответа должен быть источник, который можно открыть. И тихий запасной вариант опаснее честной ошибки: лучше бы расшифровка честно упала с ошибкой.
Ловили ИИ на уверенной выдумке? Что это было? Расскажите в комментариях.
Работаем дальше.
