Задание Буткемп

Нажмите, чтобы начать

Включите звук. Слайды листаются стрелками, свайпом или клавишами.

Лекция 3: Разработка агента

От бизнес-процесса к автоматизации

Не просто собрать агента, а превратить его в систему

Процесс

что автоматизируем
и где нужен ИИ

Агент

роль, цель, промт,
контекст, инструменты

Эксплуатация

тесты, ограничения,
наблюдение, улучшение

работает каждый день

AS-IS и TO-BE

Не автоматизируйте неправильно устроенный процесс

AS-IS

как процесс
работает сейчас

Пересылка документа

Ручной перенос
в таблицу

Проверка данных

Повторный ввод
в другую систему

Автоматизируем —
ускорим хаос

TO-BE

как должен работать
после изменений

Определить
бизнес-результат

Убрать
лишние действия

Правило

Человек

ИИ

«Вместо человека
теперь ИИ»

Правильный процесс

Архитектура

Автоматизация

При правильном порядке ИИ-агенты действительно меняют работу бизнеса

Триггер Обработка Действие

Любую автоматизацию можно разобрать на три части

Триггер

Что запускает процесс?

Вручную По расписанию По событию письмо заказ статус

Получаем письмо из почты

Обработка

Что происходит внутри?

Проверка Фильтрация Расчёты Формат Бизнес-правила ИИ — только где нужен смысл

Правило проверяет отправителя,
модель определяет смысл

Действие

Что должно измениться?

Запись в системе Сообщение Новый документ Вызов сервиса

Система выбирает дальнейший маршрут

Анализ сам по себе — ещё не автоматизация:
результатом должно стать реальное изменение

Правила или ИИ-автоматизация

Главный критерий — формализуемость

Решение надёжно описывается правилом?

да

Правило

платёж 10 000 $

на согласование

смысловой неопределённости нет

ИИ вместо правила

стоимость задержка вероятность ошибки
нет

ИИ

содержание письма намерение клиента классификация текста неполная информация нечёткие факторы

нужна интерпретация смысла

Хорошая AI-First архитектура использует интеллект избирательно:
всё детерминированное остаётся детерминированным

Воркфлоу или агент

ИИ-агентом часто называют то, что им не является

Воркфлоу

Заявка
цикл
модель
Категория
условие
Сообщение
переходы заранее заданы

Следующий шаг
задан до запуска?

да нет

Агент

цель

Нет данных

Где взять

Инструмент

Оценка

следующий
шаг
возможности ограничения
путь формируется во время выполнения

Весь процесс делать автономным не нужно:
воркфлоу — каркас, агенту — зоны свободы выбора

ИИ-приложение и ИИ-платформа

Главная проблема начинается со второго агента

Зоопарк решений

Менеджер

Продажи

HR

Финансы

У каждого свои доступы, интеграции,
данные, память и настройки

стоимость растёт
с числом агентов

ИИ-платформа

Менеджер

Продажи

HR

Финансы

данные интеграции доступы мониторинг стандарты компоненты

новый агент —
на готовой инфраструктуре

Приложение решает конкретную задачу,
платформа создаёт общую среду для приложений, процессов и агентов

Четыре слоя ИИ-платформы

Очень часто проблема вообще не в агенте

ИИ

Модели Агенты Алгоритмы принятия решений

Данные

Документы История операций Состояние процессов Знания Память

Сервисный слой

API Интеграции Доступы Мониторинг

Инфраструктура

Вычисления Сеть Хранилища Безопасность

Мощная модель

не значит, что ИИ-система готова

Без данных

не понимает бизнес

Без интеграций

не может действовать

Без прав

становится опасной

Без логирования

не разобрать ошибки

ИИ всегда стоит на инфраструктуре, сервисах и данных:
двигатель без колёс, тормозов и руля — не машина

Среда исполнения агента

Это уже не интеллект модели, а инженерия исполнения

Один вызов модели

Запрос
Ответ
Среда исполнения
Передача данных Хранение состояния Вызов инструментов Учётные записи Обработка сбоев

Модель

первый вызов

Сервис

договор отправлен

Остановка

состояние сохранено

часы или дни

Ожидание

ответ придёт завтра

Продолжение

с нужного места

Модель

повторный вызов

Модель решает, что делать,
а среда исполнения превращает решение в контролируемый процесс

Компоненты ИИ-платформы

Зрелость — насколько всей системой можно управлять

100 агентов

100 новых источников проблем

Управление

Контекст

Доступы

Наблюдаемость

Стандарты

Метрики

Все агенты работают
с одной версией реальности

Централизованно и по роли:
агент видит и меняет только нужное

Видны данные, модель, инструменты,
ответы систем и итог запуска

Переиспользуемые компоненты:
без новой авторизации и интеграций

Результаты и метрики хранятся:
видно, стала ли версия лучше

ИИ можно контролировать, измерять, сравнивать,
безопасно развивать и масштабировать

LLM-функция или ИИ-агент

Агент сам выбирает шаги к цели в заданных границах

Письмо

один вход

LLM-функция

один вызов

«Возврат товара»

один результат

ИИ-агент

Заказы
в CRM

Нет
документа

Другой
источник

Анализ
результата

Решение
принято

цель модель промт
контекст инструменты
цикл выполнения условие завершения

Хватает одного вызова модели — агент не нужен:
чем проще архитектура, тем легче её контролировать и тестировать

Спецификация ИИ-агента

Хороший агент начинается не с промта и не с модели

Контракт агента

Роль

помощник финансового отдела

Цель

результат и критерий успешного завершения

Входные данные

на основании чего агент принимает решения

Полномочия

что может решать сам, а что — нет

Инструменты и ограничения

подготовить платёж отправить деньги

Передача человеку

нет критических данных источники конфликтуют ситуация вне контроля ущерб слишком велик

Формат результата

в каком виде вернуть итог

Промты

Контекст

Инструменты

Вместе это образует контракт агента,
на основе которого уже проектируются промты, контекст и инструменты

Границы автономности ИИ-агента

Автономность — не «да или нет», а несколько уровней

Анализ

работает с данными

Предложение

решает человек

Решение

агент решает сам

Действие

во внешней системе

автономность

неверно классифицировать счёт

подготовить платёж

самостоятельно отправить деньги

цена ошибки

Недоверенные данные

внешний документ пытается изменить правила — инъекция промта

разрешённый инструмент — неправильные параметры

Контроль

права доступа

проверка параметров

технические ограничения

подтверждение человека

Внешние данные не меняют системные правила,
а выше ущерб — уже автономность и строже контроль

Граф навыков ИИ-агента

Не только действовать, но и вовремя остановиться

Понять запрос

Определить тип

Проверить данные

Сформировать решение

Выполнить действие

Найти недостающее

Запросить уточнение

источники противоречат

ситуация вне контроля

высокая цена ошибки

Человек

часть архитектуры

Зрелость — не максимальная автономность,
а понимание границ собственной компетенции

Типовые ИИ-операции

Большинство ИИ-задач сводится к шести типам

Извлечение

договор данные

Классификация

обращение тип

Суммаризация

текст выжимка

Генерация

вопрос новый ответ

Выбор решения

факторы решение

Планирование

цель план действий

Один вызов модели

структурированный результат

{"тип": "жалоба"}

Быстрая и дешёвая

простая классификация

модель

Сильная

сложное решение, большой контекст

качество скорость стоимость возможности
операция достаточная модель агент

только если система сама связывает операции

Вызов функций и схема инструментов

ИИ сам использует инструменты? На самом деле — нет

Разрешённая функция

Имя

получить данные клиента

Что делает

находит карточку в CRM

Когда

клиент спрашивает о заказе

Параметр Тип Обязательность
почта строка обязателен
заказы да или нет по желанию

Сама модель никуда не обращается

Она возвращает не ответ, а запрос на функцию

Среда
исполнения

Промт
и контекст

Модель

Запрос
функции

Проверка
вызова

Результат
из CRM

Состояние

Другой инструмент

Уточнение

Завершение

Вызов функций связывает вероятностное решение модели
со строго определённым программным действием

Выбор инструментов и динамические аргументы

Чем универсальнее инструмент, тем хуже он работает

«Управлять CRM»

агенту сложно
понять назначение

задаём заранее

Найти клиента

Получить
историю заказов

Создать задачу

Получить
список транзакций

агент
динамически

Выбор из разрешённых

Получить список транзакций

Параметры из контекста

клиент Анна Петрова период последний квартал

Узкий — чтобы ограничить опасную свободу,
понятный — чтобы агент знал, когда его использовать

API и внешние системы

Инструменты агента часто работают через API

Гость

клиент

заказ

блюдо

Официант

API

запрос

ответ

Кухня

сервер

Меню — документация:

действия · параметры · что вернётся

Запрос

адрес

параметры

заголовки

иногда тело

GET

получить

POST

создать

PATCH

изменить

DELETE

удалить

доступ: ключи · токены · OAuth

Ответ

200

успех

400 · 500

ошибка

Вебхук

постоянные проверки

сама сообщает о событии

API — язык, через который решение агента превращается в реальное действие

Потоки данных

Важны не ноды, а данные, которые проходят между ними

Вход

номер заказа в JSON

{ "ID": 10482 }

Операция

найти клиента

CRM по ID

Результат

объект клиента в JSON

{ "customer": {

"email": "анна@почта.рф"

} }

маппинг данных переменные и выражения

Следующий шаг

отправить письмо

получатель {{ customer.email }}
тема Заказ собран
текст Здравствуйте …

Каждый блок работает

но следующий получил

не то поле "Анна"
не тот объект "менеджер@почта.рф"
не тот тип [ "анна@почта.рф" ]

Главный вопрос отладки: откуда на этом шаге взялось каждое значение?

Трансформация данных

Между сервисами данные почти никогда не идеальны

Переименовать поля Изменить типы Нормализовать даты Очистить текст Удалить лишнее

«03/07/24»

2024-07-03

«8 916 123 45 67»

+79161234567

«12 000,00 ₽»

12000.00

Разделить
на записи

Собрать сотни
в один объект

Фильтрация Сортировка Удаление дубликатов Агрегация

сумма заказов, группировка по сегментам

«12 000,00 ₽»

Агент верно решил остановить платёж,
но сумма пришла строкой

Вся работа бесполезна

Именно здесь ломается много реальных процессов,
поэтому преобразование данных — основа надёжной автоматизации

Маршрутизация данных

Процесс не прямой — куда данные пойдут дальше?

условие

да

нет

Ветвление

выбирает маршрут — один из нескольких

заказ

обновить CRM

создать доставку

уведомить клиента

Разветвление

запускает сразу несколько направлений

итог

Объединение

снова соединяет результаты веток

Параллельные ветки на схеме не всегда выполняются одновременно —
это зависит от среды исполнения

Управление воркфлоу

Реальная автоматизация не всегда идёт по прямой

Цикл

одно действие повторяется
для множества объектов

1000
100 100 100

Пакеты

по сто клиентов за раз —
иначе упрёмся в ограничения

договор

Ожидание

сохранили состояние, ждём человека —
продолжаем с нужного места

проверка клиента

Подпроцесс

создали один раз —
для продаж, финансов и поддержки

ИИ-агент

проверка клиента

Воркфлоу как инструмент

целый бизнес-процесс
становится навыком агента

Сложные системы собираются из небольших переиспользуемых компонентов

Инженерия промтов

Промт — это инструкция, а не архитектура

Спецификация агента

Роль Цель Входные данные Инструменты Ограничения Критерии результата

Сначала решаем

какие решения принимает чем пользуется где кончаются полномочия когда передать человеку в каком формате результат

Промт

следствие хорошей спецификации

Требования противоречат друг другу

противоречивый промт

Правильный результат не определён

модель заполняет пробелы
своими предположениями

Идеальный промт

всё равно плохой агент

Сначала проектируем систему — и только потом пишем промт

Из чего состоит хороший промт

Не длина текста, а чёткая рабочая структура

Промт на две страницы

может работать хуже,
чем короткая инструкция

Роль и задача

Критерии
правильного результата

Ограничения

Приоритеты правил

Передача человеку

Формат результата

Примеры

защита персональных данных

важнее

скорости

следующий компонент

читает

ответ модели

Промт должен соответствовать архитектуре агента
и проверяться на тестовых примерах

Структурированный вывод

Верный по смыслу ответ может сломать автоматизацию

«Клиент, скорее всего,
повышенного риска»

человеку понятно

следующий компонент

какой статус? запускать проверку? что дальше?
тип обращения заявка на кредит
решение повышенный риск
недостающие данные справка о доходе
следующее действие запустить проверку
передача человеку да
объяснение две просрочки за год

обязательные поля

правильные типы

разрешённые значения

структура нарушена

повторить генерацию

резервный сценарий

остановить процесс

правильный формат не значит правильное решение
«уверена на 95 %» не значит точность 95 %

Структура контролирует формат, а надёжность — тесты на данных и метрики

Автоматическая генерация и улучшение промтов

Тестируем десятки вариантов вместо ручного подбора

промт

Спецификация

Генерация

Тест

Оценка

Улучшение

промт
противоречия
варианты
один набор тестов

Точный

точнее, но дороже

Быстрый

быстрее, но хуже
на редких случаях

Осторожный

чаще передаёт человеку —
меньше опасных ошибок

Выбор по измеримым результатам

а не потому, что «звучит лучше»

Человек отвечает за качество требований, тестовых сценариев и критериев оценки,
а промт — версионируемый инженерный артефакт

Отличие промта от контекста

Промт и контекст отвечают на разные вопросы

Промт

что нужно сделать?

«Оцени риск клиента»

без данных почти бесполезен

управляет поведением модели

модель

Контекст

на основании какой информации?

История операций Договор Последние транзакции Критерии риска

управляет информационной средой

промт контекст

Промт не спасёт

данные устарели, неполны или неверны

промт контекст

Неясно, что решать

тысяча страниц без задачи

промт контекст

Надёжный агент

нужны оба слоя

В бизнесе хороший контекст часто важнее мощной модели.
Иначе она убедительнее рассуждает на неправильной картине мира

Инженерия контекста

Контекст нужно собирать под конкретную задачу

Вопрос

из сообщения

Карточка клиента

из CRM

Статус заказа

из системы заказов

Договор

из базы документов

История

из прошлых коммуникаций

Конвейер контекста

Определить нужные данные

Найти

Проверить качество

Привести к нужному формату

Убрать лишнее

Собрать компактный пакет

Вызов
агента

Финансовый агент

транзакции и показатели

Агент поддержки

история обращений и текущий заказ

Всё соединяется прямо перед вызовом модели — это и есть сборка контекста

Состояние и память

Хорошая память ИИ-агента — не когда он помнит всё

Сегодня
Через месяц

Краткосрочный контекст

текущая сессия

Состояние процесса

текущая задача

договор на согласовании
шаги выполнены
данные получены
решение принято
чего ждём

Долговременная память

между взаимодействиями

формат отчёта ID операции

Всё подряд

склад устаревших
и противоречивых данных

Проектировать забывание не менее важно, чем запоминание

Выбор контекста

Чем больше данных, тем хуже ИИ иногда работает

Всё сразу

важное теряется в шуме

стоимость задержка
миллионы сообщений тысячи документов

Релевантность

Свежесть

Надёжность источника

Приоритет

минимально достаточный
набор данных

Договор,
подписан вчера

важнее, чем

20 старых писем
о предыдущих версиях

Даже без ограничения объёма контекста решение ухудшают данные

устаревшие противоречивые нерелевантные

Не максимум информации, а качественные данные для текущего решения

Что такое обвязка ИИ-агентов

Двигатель сам по себе ещё не автомобиль

один агент

Модель

мощный двигатель

Обвязка

управление и безопасность

не путать
множество агентов

Платформа

инфраструктура автопарка

контекст инструменты состояние права контроль выполнения проверки трассировка лимиты ограничения обработка ошибок

Чем автономнее агент, тем важнее обвязка:
надёжность обеспечивает архитектура, а не надежда на модель

Из чего состоит обвязка ИИ-агента

Механизмы, которые делают агента управляемым

Модель

Контекст

основа решения

Инструменты

данные и действия

Состояние

текущий прогресс

Память

связь взаимодействий

Среда исполнения

выполнение шагов

Для реальной системы

Права доступа

Лимиты

вызовы инструментов · время · стоимость

Проверки входов
и результатов

Трассировка

Восстановление
после сбоев

Не обязательно один продукт — платформа или несколько сервисов,
главное — наличие всех механизмов

Права ИИ-агентов

Технически может — не значит, что нужно разрешать

читать

анализировать

решать

предлагать

граница

выполнять сам

Минимальные права

агент поддержки

читать заказ

удалять клиента из CRM

Защитные ограничения

запрещённые действия

правила работы с данными

обязательные проверки

Контроль выполнения

сделать расчёты

подготовить платёж

списание денег —
только после подтверждения

До действия

права параметры подтверждение

После действия

операция выполнена нужный результат

Чем чувствительнее процесс, тем точнее должны быть эти границы

Контроль и восстановление

Что делать, если агент сломался на девятом шаге?

начать заново
продолжить

Проверка

структура, поля, параметры,
разрешённость, результат —
до и после действия

Трассировка

контекст, версия,
инструмент, параметры,
ответ системы

Контрольные точки

состояние сохраняется —
восемь дорогих шагов
не повторять заново

Восстановление

после сбоя —
безопасно продолжить
с последней надёжной точки

предотвращает ошибки

объясняет причины

сохраняет прогресс

продолжает работу

Цикл работы ИИ-агента

Полный маршрут заранее знать необязательно

не хватает данных о клиенте

запросил историю транзакций

изменилось состояние задачи

решение на новых данных

агент

Наблюдает

Решает

Действует

без лимитов — почти бесконечный цикл

Условие завершения

получены все обязательные данные

выполнены нужные подзадачи

итоговый результат прошёл проверку

Технические лимиты

итерации

вызовы инструментов

время

стоимость

Хороший агент не работает бесконечно —
он достигает цели с приемлемыми затратами и надёжно завершает работу

Как правильно тестировать ИИ-агента

Несколько идеальных ответов — ещё не надёжность

Обычный случай

решить самому

Нет данных

запросить данные

Неоднозначный запрос

уточнить

Редкая ситуация

не угадывать

Ошибка сервиса

повторить попытку

Сверх правил

передать человеку

Понял ситуацию

Выбрал маршрут

Нужный инструмент

Корректные параметры

Разрешённые действия

запрещённая операция

Финальный ответ

прекрасное объяснение

Ожидаемое поведение задаём заранее
и проверяем весь путь, а не только последнюю фразу модели

Метрики для тестирования

Как понять, что ИИ-агент действительно стал лучше?

Технические метрики

94 %

Правильность решений

100 %

Соблюдение ограничений

99 %

Структура ответа

97 %

Вызовы инструментов

92 %

Передача человеку

2 с · 4 ₽

Скорость и стоимость

+3 % точность

Эффект для бизнеса

А что изменилось в процессе?

Время обработки

Ошибки

Ручная работа

Задачи без сотрудника

Модель Промт Контекст Инструмент Процесс
Тот же набор тестов регрессионное тестирование
Версия 1 Версия 2
улучшили
сломали

Обычные

Редкие

Сбой API

Нет данных

Качество агента — это устойчивое поведение
на репрезентативном наборе задач

Инженерия циклов

Если ИИ-агент ошибся, не спешите переписывать промт

Те же
тесты

Запуск

Оценка

Анализ

Улучшение

Промт

Контекст

Инструмент

Логика процесса

Модель

Автоматизация

Одна модель

группирует ошибки

Другая модель

предлагает изменения

Система

сравнивает показатели

Действительно лучше
или только кажется?

Вместо хаотичной правки промтов —
воспроизводимое улучшение всей системы

Полная архитектура рабочего ИИ-агента

Для работы в бизнесе одной модели недостаточно

Разбираем процесс

как сейчас как должно быть

Описываем агента

роль, цель, данные, полномочия, инструменты,
ограничения, передача человеку, формат, примеры

Определяем ИИ-операции

правило вызов модели агент сам выбирает

Проектируем воркфлоу

движение данных, промт и контекст

Обвязка и среда исполнения

Модель

выбирает разрешённый инструмент

Среда исполнения

проверяет вызов и выполняет действие

Результат

меняет состояние задачи

 продолжить  завершить  передать человеку

Работающий агент — это целая инженерная система

Жизненный цикл ИИ-агента

Сегодня работает идеально, завтра обновилась модель

Создание

воркфлоу, инструменты, промты,
контекст, проверки, обвязка

Тестирование

на сценариях, подготовленных заранее

Отдельная среда

без реальных данных и пользователей

Рабочая среда

только после тестов и отдельной среды

модели инструкции инструменты бизнес-правила структура данных интеграции

Контроль версий

для каждого запуска известны

модель промт воркфлоу инструменты настройки

Откат

если новая версия работает хуже

стабильная
новая

Разработка агента — это управление всей историей развития системы

Наблюдаемость и отладка

Если агент сделал не то — нужен весь путь до ошибки

Журнал выполнения

Что запустило

Какие шаги прошли

Что пришло на вход

Чем закончилось

Трассировка

Контекст

Версия

Ответ модели

Инструмент

Параметры

Ответ сервиса

Куда дальше

Отладка

Входные данные

Устаревший контекст

Неоднозначная инструкция

Ответ сервиса

Преобразование данных

Маршрутизация

Пока агент — чёрный ящик, понять причину почти невозможно.
Наблюдаемость — обязательная часть работы

Надежность и постоянное улучшение

Сбои неизбежны, а цикл улучшения повторяется

Упал сервис

Оборвалась сеть

Событие пришло дважды

Повторные попытки

Ограничения по времени

Резервные сценарии

Защита от повторного выполнения

Повторить

Другой сервис

Остановить

Передать человеку

Откатить плохую версию

Техническая ошибка

процесс упал

ошибки

Логическая ошибка

без сбоев, но письмо ушло не тому клиенту

качество решений

бизнес-метрики

Наблюдаем

Тестируем

Улучшаем

Запускаем

Измеряем

Надёжный агент — не тот, что никогда не ошибается,
а тот, что умеет правильно работать с ошибками

Выводы

От процесса к агенту, который работает каждый день

Начинать с модели Начинать с промта

Бизнес-процесс

где нужен интеллект или человек

Агент

цель, роль, данные, полномочия

Воркфлоу

движение данных, контекст, промты

Обвязка

и среда исполнения

Модель

решает там, где правил недостаточно

Тестирование

контроль, наблюдение и постоянное улучшение

Надёжный ИИ-агент — не удачный промт и не самая мощная модель,
а система, где у ИИ своё конкретное место

Практика: превратите TO-BE в архитектуру одного ИИ-агента

граф навыков, воркфлоу и четыре теста

Практика