Включите звук. Слайды листаются стрелками, свайпом или клавишами.
Лекция 3: Разработка агента
Не просто собрать агента, а превратить его в систему
что автоматизируем
и где нужен ИИ
роль, цель, промт,
контекст, инструменты
тесты, ограничения,
наблюдение, улучшение
работает каждый день
Не автоматизируйте неправильно устроенный процесс
как процесс
работает сейчас
Пересылка документа
Ручной перенос
в таблицу
Проверка данных
Повторный ввод
в другую систему
Автоматизируем —
ускорим хаос
как должен работать
после изменений
Определить
бизнес-результат
Убрать
лишние действия
Правило
Человек
ИИ
«Вместо человека
теперь ИИ»
При правильном порядке ИИ-агенты действительно меняют работу бизнеса
Любую автоматизацию можно разобрать на три части
Что запускает процесс?
Получаем письмо из почты
Что происходит внутри?
Правило проверяет отправителя,
модель определяет смысл
Что должно измениться?
Система выбирает дальнейший маршрут
Анализ сам по себе — ещё не автоматизация:
результатом должно стать реальное изменение
Главный критерий — формализуемость
Решение надёжно описывается правилом?
платёж 10 000 $
на согласованиесмысловой неопределённости нет
ИИ вместо правила
нужна интерпретация смысла
Хорошая AI-First архитектура использует интеллект избирательно:
всё детерминированное остаётся детерминированным
ИИ-агентом часто называют то, что им не является
Следующий шаг
задан до запуска?
Нет данных
Где взять
Инструмент
Оценка
Весь процесс делать автономным не нужно:
воркфлоу — каркас, агенту — зоны свободы выбора
Главная проблема начинается со второго агента
Менеджер
Продажи
HR
Финансы
У каждого свои доступы, интеграции,
данные, память и настройки
стоимость растёт
с числом агентов
Менеджер
Продажи
HR
Финансы
новый агент —
на готовой инфраструктуре
Приложение решает конкретную задачу,
платформа создаёт общую среду для приложений, процессов и агентов
Очень часто проблема вообще не в агенте
не значит, что ИИ-система готова
не понимает бизнес
не может действовать
становится опасной
не разобрать ошибки
ИИ всегда стоит на инфраструктуре, сервисах и данных:
двигатель без колёс, тормозов и руля — не машина
Это уже не интеллект модели, а инженерия исполнения
первый вызов
договор отправлен
состояние сохранено
ответ придёт завтра
с нужного места
повторный вызов
Модель решает, что делать,
а среда исполнения превращает решение в контролируемый процесс
Зрелость — насколько всей системой можно управлять
100 новых источников проблем
Контекст
Доступы
Наблюдаемость
Стандарты
Метрики
Все агенты работают
с одной версией реальности
Централизованно и по роли:
агент видит и меняет только нужное
Видны данные, модель, инструменты,
ответы систем и итог запуска
Переиспользуемые компоненты:
без новой авторизации и интеграций
Результаты и метрики хранятся:
видно, стала ли версия лучше
ИИ можно контролировать, измерять, сравнивать,
безопасно развивать и масштабировать
Агент сам выбирает шаги к цели в заданных границах
один вход
один вызов
один результат
Заказы
в CRM
Нет
документа
Другой
источник
Анализ
результата
Решение
принято
Хватает одного вызова модели — агент не нужен:
чем проще архитектура, тем легче её контролировать и тестировать
Хороший агент начинается не с промта и не с модели
Контракт агента
Роль
помощник финансового отдела
Цель
результат и критерий успешного завершения
Входные данные
на основании чего агент принимает решения
Полномочия
что может решать сам, а что — нет
Инструменты и ограничения
Передача человеку
Формат результата
в каком виде вернуть итог
Вместе это образует контракт агента,
на основе которого уже проектируются промты, контекст и инструменты
Автономность — не «да или нет», а несколько уровней
работает с данными
решает человек
агент решает сам
во внешней системе
автономность
неверно классифицировать счёт
подготовить платёж
самостоятельно отправить деньги
цена ошибки
внешний документ пытается изменить правила — инъекция промта
разрешённый инструмент — неправильные параметры
права доступа
проверка параметров
технические ограничения
подтверждение человека
Внешние данные не меняют системные правила,
а выше ущерб — уже автономность и строже контроль
Не только действовать, но и вовремя остановиться
источники противоречат
ситуация вне контроля
высокая цена ошибки
часть архитектуры
Зрелость — не максимальная автономность,
а понимание границ собственной компетенции
Большинство ИИ-задач сводится к шести типам
договор данные
обращение тип
текст выжимка
вопрос новый ответ
факторы решение
цель план действий
структурированный результат
{"тип": "жалоба"}простая классификация
сложное решение, большой контекст
только если система сама связывает операции
ИИ сам использует инструменты? На самом деле — нет
получить данные клиента
Что делаетнаходит карточку в CRM
Когдаклиент спрашивает о заказе
Она возвращает не ответ, а запрос на функцию
Промт
и контекст
Модель
Запрос
функции
Проверка
вызова
Результат
из CRM
Состояние
Другой инструмент
Уточнение
Завершение
Вызов функций связывает вероятностное решение модели
со строго определённым программным действием
Чем универсальнее инструмент, тем хуже он работает
агенту сложно
понять назначение
Получить список транзакций
Узкий — чтобы ограничить опасную свободу,
понятный — чтобы агент знал, когда его использовать
Инструменты агента часто работают через API
заказ
блюдо
запрос
ответ
Меню — документация:
действия · параметры · что вернётся
адрес
параметры
заголовки
иногда тело
получить
создать
изменить
удалить
доступ: ключи · токены · OAuth
200
успех
400 · 500
ошибка
постоянные проверки
сама сообщает о событии
API — язык, через который решение агента превращается в реальное действие
Важны не ноды, а данные, которые проходят между ними
номер заказа в JSON
найти клиента
объект клиента в JSON
{ "customer": {
"email": "анна@почта.рф"
} }
отправить письмо
но следующий получил
Главный вопрос отладки: откуда на этом шаге взялось каждое значение?
Между сервисами данные почти никогда не идеальны
«03/07/24»
2024-07-03
«8 916 123 45 67»
+79161234567
«12 000,00 ₽»
12000.00
Разделить
на записи
Собрать сотни
в один объект
сумма заказов, группировка по сегментам
Агент верно решил остановить платёж,
но сумма пришла строкой
Именно здесь ломается много реальных процессов,
поэтому преобразование данных — основа надёжной автоматизации
Процесс не прямой — куда данные пойдут дальше?
да
нет
выбирает маршрут — один из нескольких
обновить CRM
создать доставку
уведомить клиента
запускает сразу несколько направлений
итог
снова соединяет результаты веток
Параллельные ветки на схеме не всегда выполняются одновременно —
это зависит от среды исполнения
Реальная автоматизация не всегда идёт по прямой
одно действие повторяется
для множества объектов
по сто клиентов за раз —
иначе упрёмся в ограничения
сохранили состояние, ждём человека —
продолжаем с нужного места
проверка клиента
создали один раз —
для продаж, финансов и поддержки
проверка клиента
целый бизнес-процесс
становится навыком агента
Сложные системы собираются из небольших переиспользуемых компонентов
Промт — это инструкция, а не архитектура
следствие хорошей спецификации
Требования противоречат друг другу
противоречивый промт
Правильный результат не определён
модель заполняет пробелы
своими предположениями
Идеальный промт
всё равно плохой агент
Сначала проектируем систему — и только потом пишем промт
Не длина текста, а чёткая рабочая структура
может работать хуже,
чем короткая инструкция
защита персональных данных
важнее
скорости
следующий компонент
читает
ответ модели
Промт должен соответствовать архитектуре агента
и проверяться на тестовых примерах
Верный по смыслу ответ может сломать автоматизацию
«Клиент, скорее всего,
повышенного риска»
человеку понятно
следующий компонент
какой статус? запускать проверку? что дальше?обязательные поля
правильные типы
разрешённые значения
структура нарушена
повторить генерацию
резервный сценарий
остановить процесс
Структура контролирует формат, а надёжность — тесты на данных и метрики
Тестируем десятки вариантов вместо ручного подбора
Спецификация
Генерация
Тест
Оценка
Улучшение
точнее, но дороже
быстрее, но хуже
на редких случаях
чаще передаёт человеку —
меньше опасных ошибок
а не потому, что «звучит лучше»
Человек отвечает за качество требований, тестовых сценариев и критериев оценки,
а промт — версионируемый инженерный артефакт
Промт и контекст отвечают на разные вопросы
что нужно сделать?
«Оцени риск клиента»
без данных почти бесполезен
управляет поведением модели
на основании какой информации?
управляет информационной средой
данные устарели, неполны или неверны
тысяча страниц без задачи
нужны оба слоя
В бизнесе хороший контекст часто важнее мощной модели.
Иначе она убедительнее рассуждает на неправильной картине мира
Контекст нужно собирать под конкретную задачу
из сообщения
из CRM
из системы заказов
из базы документов
из прошлых коммуникаций
Определить нужные данные
Найти
Проверить качество
Привести к нужному формату
Убрать лишнее
Собрать компактный пакет
транзакции и показатели
история обращений и текущий заказ
Всё соединяется прямо перед вызовом модели — это и есть сборка контекста
Хорошая память ИИ-агента — не когда он помнит всё
текущая сессия
текущая задача
между взаимодействиями
склад устаревших
и противоречивых данных
Проектировать забывание не менее важно, чем запоминание
Чем больше данных, тем хуже ИИ иногда работает
важное теряется в шуме
Релевантность
Свежесть
Надёжность источника
Приоритет
важнее, чем
20 старых писем
о предыдущих версиях
Даже без ограничения объёма контекста решение ухудшают данные
Не максимум информации, а качественные данные для текущего решения
Двигатель сам по себе ещё не автомобиль
мощный двигатель
управление и безопасность
инфраструктура автопарка
Чем автономнее агент, тем важнее обвязка:
надёжность обеспечивает архитектура, а не надежда на модель
Механизмы, которые делают агента управляемым
Контекст
основа решения
Инструменты
данные и действия
Состояние
текущий прогресс
Память
связь взаимодействий
Среда исполнения
выполнение шагов
Права доступа
Лимиты
вызовы инструментов · время · стоимость
Проверки входов
и результатов
Трассировка
Восстановление
после сбоев
Не обязательно один продукт — платформа или несколько сервисов,
главное — наличие всех механизмов
Технически может — не значит, что нужно разрешать
читать
анализировать
решать
предлагать
выполнять сам
агент поддержки
читать заказ
удалять клиента из CRM
запрещённые действия
правила работы с данными
обязательные проверки
сделать расчёты
подготовить платёж
списание денег —
только после подтверждения
Чем чувствительнее процесс, тем точнее должны быть эти границы
Что делать, если агент сломался на девятом шаге?
структура, поля, параметры,
разрешённость, результат —
до и после действия
контекст, версия,
инструмент, параметры,
ответ системы
состояние сохраняется —
восемь дорогих шагов
не повторять заново
после сбоя —
безопасно продолжить
с последней надёжной точки
предотвращает ошибки
объясняет причины
сохраняет прогресс
продолжает работу
Полный маршрут заранее знать необязательно
не хватает данных о клиенте
запросил историю транзакций
изменилось состояние задачи
решение на новых данных
Наблюдает
Решает
Действует
без лимитов — почти бесконечный цикл
получены все обязательные данные
выполнены нужные подзадачи
итоговый результат прошёл проверку
итерации
вызовы инструментов
время
стоимость
Хороший агент не работает бесконечно —
он достигает цели с приемлемыми затратами и надёжно завершает работу
Несколько идеальных ответов — ещё не надёжность
Понял ситуацию
Выбрал маршрут
Нужный инструмент
Корректные параметры
Разрешённые действия
запрещённая операция
Финальный ответ
прекрасное объяснение
Ожидаемое поведение задаём заранее
и проверяем весь путь, а не только последнюю фразу модели
Как понять, что ИИ-агент действительно стал лучше?
94 %
Правильность решений
100 %
Соблюдение ограничений
99 %
Структура ответа
97 %
Вызовы инструментов
92 %
Передача человеку
2 с · 4 ₽
Скорость и стоимость
А что изменилось в процессе?
Время обработки
Ошибки
Ручная работа
Задачи без сотрудника
Обычные
Редкие
Сбой API
Нет данных
Качество агента — это устойчивое поведение
на репрезентативном наборе задач
Если ИИ-агент ошибся, не спешите переписывать промт
Запуск
Оценка
Анализ
Улучшение
Промт
Контекст
Инструмент
Логика процесса
Модель
группирует ошибки
предлагает изменения
сравнивает показатели
Действительно лучше
или только кажется?
Вместо хаотичной правки промтов —
воспроизводимое улучшение всей системы
Для работы в бизнесе одной модели недостаточно
как сейчас как должно быть
роль, цель, данные, полномочия, инструменты,
ограничения, передача человеку, формат, примеры
движение данных, промт и контекст
выбирает разрешённый инструмент
проверяет вызов и выполняет действие
меняет состояние задачи
Работающий агент — это целая инженерная система
Сегодня работает идеально, завтра обновилась модель
воркфлоу, инструменты, промты,
контекст, проверки, обвязка
на сценариях, подготовленных заранее
без реальных данных и пользователей
только после тестов и отдельной среды
для каждого запуска известны
если новая версия работает хуже
Разработка агента — это управление всей историей развития системы
Если агент сделал не то — нужен весь путь до ошибки
Что запустило
Какие шаги прошли
Что пришло на вход
Чем закончилось
Контекст
Версия
Ответ модели
Инструмент
Параметры
Ответ сервиса
Куда дальше
Входные данные
Устаревший контекст
Неоднозначная инструкция
Ответ сервиса
Преобразование данных
Маршрутизация
Пока агент — чёрный ящик, понять причину почти невозможно.
Наблюдаемость — обязательная часть работы
Сбои неизбежны, а цикл улучшения повторяется
Упал сервис
Оборвалась сеть
Событие пришло дважды
Повторные попытки
Ограничения по времени
Резервные сценарии
Защита от повторного выполнения
Повторить
Другой сервис
Остановить
Передать человеку
Откатить плохую версию
процесс упал
ошибки
без сбоев, но письмо ушло не тому клиенту
качество решений
бизнес-метрики
Наблюдаем
Тестируем
Улучшаем
Запускаем
Измеряем
Надёжный агент — не тот, что никогда не ошибается,
а тот, что умеет правильно работать с ошибками
От процесса к агенту, который работает каждый день
где нужен интеллект или человек
цель, роль, данные, полномочия
движение данных, контекст, промты
и среда исполнения
решает там, где правил недостаточно
контроль, наблюдение и постоянное улучшение
Надёжный ИИ-агент — не удачный промт и не самая мощная модель,
а система, где у ИИ своё конкретное место
граф навыков, воркфлоу и четыре теста
Финальный тест
Вопрос 1 из 10