Как оценить эффективность AI-«сотрудника»

Если какая-то компания еще не привлекла ИИ (AI) для выполнения работ, то по крайней мере точно задумывалась об этом. Есть мнение, что AI-«сотрудник» может быть эффективнее и дешевле человека. Так ли это на самом деле и как оценить эффективность работы виртуального трудяги?

Какие внешние и внутренние бизнес-задачи уже решает AI

Уже сегодня крупные компании отказываются от рабочих мест в пользу применения искусственного интеллекта. Как понять, насколько меняется общая эффективность?

По данным отчетов, такие гиганты как IBM и EADA в мае этого года сократили 4000 рабочих мест в связи с применением ИИ. Прогнозы предрекают еще больший перекос в найм «искусственных сотрудников»: к 2030 году может произойти потеря до 1,1 миллиона рабочих мест в таких секторах как бэк-офис, обслуживание клиентов и пищевое производство.

Сегодня общество активно обсуждает работу AI, составляя списки «профессий на грани вымирания». Не будем вдаваться в конкретику, предположим лишь те направления, где использование виртуального мозга наиболее применимо:

• Генерация текстов, изображений, макетов, видео и аудио. Бесплатные тестовые версии ИИ уже сегодня показывают, какой большой путь они прошли до момента быть способными создавать действительно качественный материал.
• Прогнозирование. На основе любых данных – больших и малых – AI способен выдать картину развития процессов в будущем. Такая работа человеческому мозгу порой просто не по силам, а компьютерный замечает малейшие детали.
• Программирование, кодинг, кибербезопасность, поддержание работоспособности ИТ-сервисов. Искусственный интеллект как никто другой понимает аспекты работы программ, и сам может воздействовать на них изнутри.
• Управление автоматами и роботами. Если простые программы использовались в автоматизации производства уже давно, то ИИ делает шаг вперед, позволяя увеличить эффективность использования устройств в зависимости от ситуации.
• Техподдержка и обслуживание. Здесь можно ничего не говорить – почти любой бизнес стал использовать чаты с роботом-помощником.

Анализируя огромные объемы данных, AI-«сотрудник» находит ответы на возникающие вопросы буквально в миг. Это позволяет ему быстро реагировать на ситуации или выдавать подходящие решения в помощь человеку.

Можно ли понять, насколько такие решения эффективны?

Как понять какого AI-«сотрудника» нанимать и сколько это стоит?

Сам по себе искусственный интеллект придумать ничего не может. Даже генерация картины происходит на основе запроса и того, что ИИ когда-то «видел».

Отсюда тезис, что наилучшим применением виртуального мозга будет ситуация, в которой требуются типовые, основанные на предыдущем опыте решения. Это что-то вроде скрипта для продажников, направляющего их к ответу для клиента на основании его поведения.

По итогу «человек – творец» остается на своем месте, под остальные задачи можно подобрать IT-решение.

Что для этого нужно:

1. Выбрать задачи, подлежащие автоматизации за счет ИИ

Экономический эффект от автоматизации проще всего спрогнозировать, если точно понимать список работ, передаваемых «компьютеру». Если сложно оценить объем выполняемых роботом задач, можно обратиться к опыту уже осведомленных коллег.

Эксперты рекомендуют не поручать пока AI-сотрудникам задачи критической точности, от которых зависит жизнь, здоровье или тем более судьба человека, провал в которых может дорого обойтись компании.

2. Решить: собственная разработка или коробочное решение

Разработка искусственного интеллекта под задачи высокой точности (в районе 95%) может стоить сегодня миллиарды. Поэтому необходимо в точности оценивать целесообразность такого решения. С другой стороны, вариантов «коробочных» ИИ на сегодня уже столько, что можно выбрать и среди них.

Плюсом первого варианта будет возможность любой адаптации и масштабирования, второго – достаточно низкая стоимость по сравнению с разработкой. К примеру, подписка на ChatGPT4 (официально в России недоступен, но есть варианты) обойдется в 990 р. в месяц, и этого возможно хватит для начала.

3. Определить и подготовить исходные данные

Чтобы ИИ мог эффективно обрабатывать информацию, для него нужно создать подходящую базу данных. Если в компании банки наборы данных разрозненны, и руководитель даже при собственном желании не может свести концы с концами, то лучше направить работу в русло систематизации и построения систем хранения информации для ее последующего анализа. Это может потребовать дополнительных вложений.

4. Попробовать работу на пилотном проекте

Чтобы не тратить лишнего, стоит запустить AI-автоматизацию на паре небольших задач, переведя сотрудников пока на другие. Пилотный проект позволит понять, насколько замена вам подходит и какие она дает результаты по сравнению с человеческим трудом. Принять решение затем будет проще.

5. Обучить сотрудников

Несмотря на сокращение рабочих мест в одном направлении, в другом вам предстоит наладить работу людей с ИИ-сотрудником. Сюда будет входить управление AI, генерация запросов, подгонка исходных данных, интерпретация результатов и т.п.

Так что, рынок может не только потерять, но и приобрести новые должности, такие как управляющий ИИ, инженер по наладке и т.п.

Как измерить эффективность работы AI-сотрудника

Исследования российских корпораций говорят о внушительных цифрах экономии/эффекта от внедрения ИИ-систем: в 2019 году этот прогноз составлял 59 млрд рублей. Но это только прогноз.

В реальности бизнес сталкивается со сложностями оценки реального эффекта. Лишь 18% компаний имеют официальные данные, полученные их внутренними финансовыми службами, треть исследованных вообще затрудняются сделать оценку.

Причин несколько:

• Поскольку AI в штате начал применяться не так давно, бизнес еще не выработал системных решений для качественного анализа его работы.
• Бум внедрения тоже произошел недавно, и у многих компаний еще не накопилось достаточно данных для построения адекватной оценки.

Это говорит как о сложностях для новых участников эксперимента по внедрению, так и о возможностях для аналитиков и HR. Методики, средства и алгоритмы оценки должны быть востребованы на рынке уже сейчас.

Базово, формула эффективности от перехода AI рассчитывается на основании:

• Экономической целесообразности. Экономия от снижения потерь/ошибок/зарплат и штата должна со временем перекрыть затраты на «найм» и подготовку.
• Точных критериев успеха. Да, для AI-сотрудника тоже нужны KPI его эффективность. Нужно задать вопрос и поставить осязаемые цели: чего именно бизнес должен добиться через год, два, три после внедрения?

По сути, это обычная формула «прибыль минус затраты», но в случае работы с ИИ слишком много всего находится в неопределенном состоянии. Поэтому для обеспечения нужного качества оценки позаботьтесь о точных данных.

То есть, собирайте и систематизируйте всё возможное, что может понадобиться для обучения нейросетей. Обращайтесь к опыту тех, кто уже пробовал работу с искусственным интеллектом. Как вариант – изучайте труд ученых, участвовавших в его разработке.

Известным теоретиком оценки эффекта является Франсуа Шолле. Пример его работы можно отразить в кейсе «Использование машинного зрения для определения гранулометрического состава горной породы в ковше экскаватора».

Машина анализирует состав породы в ковше экскаватора – количество камней и их размер. Ее производительность – 8 анализов в минуту, 480 в час.

Если поручить работу человеку с обычной камерой, на одно распознавание потребуется час времени, то есть догнать машину у него получится за 480 человеко-часов.

При этом стоимость распознавания ИИ в облаке (например, Amazon Web Service) стоит около 50 центов/ч, с учетом условий – 1 доллар в час.

А работа человека, даже если одно распознавание будет стоить 65 центов, в 480 раз медленнее. Учитывая создаваемые для человека условия и удорожание за счет этого его труда, стоимость вырастет, а эффект останется прежним.

Итого: при равной оплате труда экономический эффект AI колоссален, производительность такой системы в сотни раз выше человеческой.

Сравним работу машины с человеческим трудом. В данном случае система считает состав в каждом ковше экскаватора: количество камней и их размер.

Определения проводятся 8 раз в минуту, 480 распознаваний в час.

При использовании обычной камеры на разметку одного фото вручную потребуется час времени человека. Итого – 480 человеко-часов.

Остается оценить стоимость. Услуги распознавания ИИ в облаке (например Amazon Web Service) стоят около 50 центов/ч. В карьере используется выделенный защищенный сервер стоимостью 0,75 – 1 доллар в час.

Можно поручить распознавание человеку и заплатить ему 65 центов за одну разметку, но она занимает час. И эта стоимость увеличится, если нанимать сотрудников в штат, обеспечивать им условия и безопасность труда.

Получается, что система, которая сравнима по стоимости часа работы с человеком, делает ту же работу в 480 раз быстрее. Экономия понятна и без лишних вычислений.

Как улучшить работу ИИ в компании?

С коммерческими показателями более-менее понятно. Но как подойти к процессу работы самого компьютера изнутри? Есть несколько методик оценки эффективности работы ИИ:

• Информационная эффективность. Оценивает возможности системы относительно базового и приобретаемого опыта;
• Вычислительная эффективность. Определяет количество ресурсов, требуемых для обучения ИИ с определенным уровнем производительности;
• Эффективность по времени. Определяет затраты времени на обучение и работу модели.
• Вычислительная эффективность инференса. Возможность системы обучаться уже в процессе работы.

Если каждый показатель определить в числовых эквивалентах и следить за ними, добиваясь постепенного улучшения, то можно влиять на конечную экономическую эффективность, т.к. AI-сотрудник начнет оптимизировать свой труд.

Это можно и нужно делать, тем более что с каждым годом возможности систем все улучшаются, и появляются новые средства для оптимизации и систематизации данных.

Какие решения предлагают нейросети (AI) для HR-задач

Цифровизация HR – такой же тренд, как и внедрение ИИ на производстве. Активное использование удаленного и гибридного форматов работы ускорили этот процесс. Некоторые компании практикуют такой подход как HR Zero – автоматизацию вообще всех ключевых HR-процессов.

• Поиск и оценка соискателей. Системы уже научились отсеивать нерелевантных кандидатов (важно для крупных компаний с большим штатом) за счет общения через чат-бота. Поручить ему рассказ о компании, сбор информации о соискателе и начальное его тестирование – вполне реально.
• Адаптация новых сотрудников. Особенно актуален вопрос для удаленного формата работы. Виртуальное ассистирование и ведение карты адаптации за счет общения с ИИ – тренд последних лет.
• KPI, оценка и формирование команд. Качество работы любого сотрудника и команды в целом легко оценить за счет AI-HR. Для этого необходим сбор данных, т.е. привлечение самих сотрудников к передаче информации о своем рабочем процессе. Зато алгоритмы оценки позволят не только сформировать тенденции рабочих показателей, но и выделить лидеров, кандидатов на повышение.
• Предотвращение выгорания. Слежение за показателями сотрудников – одна из актуальных задач ИИ в HR. На базе рабочих, физических и других показателей можно предположить близость к выгоранию и вовремя принять меры.
• Обучение и тестирование навыков. На сегодняшний день – уже совсем простая задача для нейросетей. Автоматизированные опросы и тесты могут формировать индивидуальный маршрут обучения для каждого сотрудника, но могут и проводить массовое базовое тестирование с оценкой результатов.
• Документооборот и оплата. Используя опыт экономически направленных ИИ, удалось создать и качественные алгоритмы для управления кадрами. Все документы сотрудника хранятся в базах данных и извлекаются по запросу, а процесс оплаты с применением поощрений/вычетов также производится автоматически.

Главным преимуществом использования AI-«кадровика» является сокращение времени на решение однотипных задач, особенно в условиях коллектива большой компании. Тут же сокращается риск ошибки, процент неправильной оценки соискателей и текущих сотрудников.

Из недостатков метода можно отметить несколько формальный подход к вопросам отдельного работника. Все же мы имеем дело с человеком, поведение и мотивация которого сложны для стопроцентной оценки с помощью ИИ. Нейросеть повышает системность работы, но есть риск получить по итогу коллектив из «роботов», вынужденных выполнять задачи по определенному алгоритму.

Для решения этой задачи в системах Mirapolis предусмотрено активное участие HR-специалиста: AI-составляющая собирает, консолидирует и предоставляет данные для итоговой оценки в удобном понятном виде, а менеджер по персоналу оставляет за собой последнее слово с точки зрения влияния на сотрудника или команду.

Такой симбиоз человеческого и компьютерного мышления позволяет добиться точечного воздействия на проблемные моменты коллектива и не перекладывать ответственность только лишь на машинный разум, оценить работу которого на сегодняшний день не очень просто.