AI-агентам можно доверять. Доверие строится на архитектуре системы вокруг них

Мы исходим из того, что ошибки могут совершать и люди, и агенты. Главный вопрос здесь в другом: как устроена система вокруг AI, насколько хорошо разделены роли, насколько узко сформулированы задачи и насколько грамотно выстроен контроль доступа.

Проблема поставлена неправильно

Когда обсуждают доверие к AI-агентам, разговор часто строится так, будто есть две крайности. Либо AI почти идеален и сейчас полностью заменит людей, либо ему нельзя доверить ничего серьезнее игрушечной задачи. Обе позиции мешают нормально внедрять агентные системы.

Мы склоняемся к более практичной позиции: ошибки могут совершать как люди, так и агенты. Поэтому ключевой вопрос не в том, способен ли AI ошибаться. Ключевой вопрос в том, как устроена сама система работы и насколько правильно команда управляет ролями, доступами, handoff и ожиданиями.

Откуда обычно берется недоверие к AI

На практике недоверие к AI очень часто складывается из-за слабой реализации системы вокруг него. Когда один агент получает слишком широкий scope, доступ ко всему подряд и одновременно играет роль UX, UI, backend, DevOps и продукта, ошибок становится резко больше.

Это не специфическая проблема AI. Люди точно так же начинают ошибаться чаще, когда роли смешаны, ответственность размыта, задача сформулирована слишком широко, а ожидаемый результат не определен. Агентные системы просто быстрее проявляют эти организационные ошибки.

• Слишком широкий scope приводит к неочевидным решениям и росту числа ошибок.
• Смешение ролей делает агента таким же перегруженным, как и человека, который одновременно отвечает за UX, backend, инфраструктуру и аналитику.
• Неверные ожидания заставляют воспринимать любую ошибку как доказательство того, что системе нельзя доверять.
• Плохая реализация вокруг модели ломает контур еще до того, как сама модель успевает показать свое реальное качество.

Почему агентные системы со временем становятся надежнее

Наш практический вывод такой: чем больше у агентской системы данных и ручек для управления, тем более самостоятельной она может становиться. А чем система самостоятельнее и лучше организована, тем меньше ей нужно handoff и тем меньше ошибок она совершает.

Мы хорошо увидели это на пилоте с DD Phones. Чем лучше был организован контур передачи задач, ответственности и доступа, тем меньше оставалось лишних переходов между людьми и агентами. А чем меньше лишних handoff, тем меньше пространства для потерь, задержек и ошибок.

Именно поэтому после этого пилота мы сами стараемся максимально автоматизировать собственную работу. Практика показала нам, что хорошо устроенная агентная система чаще ошибается меньше, чем плохо организованная ручная работа.

Почему zero trust surprisingly хорошо работает

Когда нас спрашивают, почему мы в принципе можем внедряться в компании, ответ на удивление простой. Если относиться к агенту как к человеку, которому выдают zero trust доступ, сама конструкция перестает выглядеть чем-то необычным.

Людям тоже не дают бесконечные права на все подряд без ограничений. Их доступы сегментируют, роли отделяют, действия логируют, критические шаги выносят в отдельный контур контроля. С агентами логика работает так же. Как только AI перестают воспринимать как магический черный ящик и начинают воспринимать как исполнителя в системе правил, связка начинает работать гораздо надежнее.

Главная ошибка - относиться к AI как к идеальному алгоритму

С AI часто происходит одна и та же ошибка ожиданий: от него ждут поведения идеального алгоритма, который не ошибается, все понимает, не требует ограничения scope и способен выполнить задачу любой ширины. Так не работает ни один реальный исполнитель - ни человек, ни агент.

В программировании современные модели уже сейчас сильнее 99+% разработчиков хотя бы в очень широком классе задач. Достаточно посмотреть на их результаты в соревновательных и инженерных сценариях, включая Codeforces - платформу для соревнований по программированию. Но из этого не следует, что AI - это бог, которому можно дать невыполнимую цель и ожидать чудо.

Люди часто формулируют либо слишком широкие задачи, либо просто невозможные. В духе: заработай миллион долларов за 15 минут. Это просто плохая постановка задачи. С сильными системами нужно работать так же, как с сильными командами: ставить корректные задачи и давать ограниченный scope.

Почему наша система делает ставку на узкий scope

Именно этим и занимается наша система. Мы не пытаемся сделать одного всемогущего агента, который одновременно понимает все, умеет все и отвечает за все. Мы стараемся правильно нарезать работу: выделять роли, давать каждому агенту свой контур ответственности и максимально снижать количество лишних handoff.

Это важно по очень простой причине: при смешении ролей агенты, как и люди, совершают гораздо больше ошибок. А при узком scope, хорошем контуре доступа и понятной ответственности агентная система становится заметно надежнее.

Можно ли получить качественный и дешевый AI

Пока нет. По крайней мере, если речь идет о по-настоящему качественной работе. Хорошие модели сейчас стоят больших денег. Поэтому в нашей практике мы предпочитаем использовать Anthropic и OpenAI, а не гнаться за максимально дешевым токеном любой ценой.

Экономия на модели часто оказывается ложной. Более слабая модель делает больше ошибок, требует больше контроля и увеличивает объем доработки. В итоге система может оказаться дешевле на входе, но дороже на выходе.

Вывод

Доверять AI-агентам и системам из них можно, если относиться к ним как к исполнителям внутри хорошо спроектированной системы. Ошибки будут и у людей, и у агентов. Но при правильном разделении ролей, narrow scope, zero trust доступе и уменьшении лишних handoff агентные системы начинают работать очень надежно.

Поэтому реальный вопрос звучит не так: можно ли вообще доверять AI. Реальный вопрос звучит так: умеет ли команда построить такую систему вокруг AI, которой действительно можно доверять.