ИИ-агенты могут стать «внутренними врагами»

Microsoft предупреждает: автономные ИИ-помощники, которым компании доверяют важные дела, могут вести себя непредсказуемо и стать угрозой безопасности. Чтобы этого избежать, компания запускает специальный «надзор» за нейросетями.

• Риск непредсказуемости: ИИ-агенты стремятся выполнить задачу любой ценой, но не всегда понимают корпоративные нормы, что может привести к серьезным ошибкам в работе.
• Guardian Agents: это новые «агенты-охранники», которые в реальном времени следят за действиями других нейросетей и блокируют опасные шаги.
• Разделение властей: Microsoft считает, что контролировать ИИ должен не тот, кто его создал, а независимая система безопасности, чтобы избежать конфликта интересов.