Эффект Матфея в эпоху ИИ

Почему преимущество постепенно смещается от исполнения к качеству суждения

Есть любопытный парадокс. ИИ действительно способен сокращать разрыв между сильными и слабыми специалистами.

Если человеку нужно написать текст, обработать большой объем информации или выполнить другую относительно понятную задачу, хорошая языковая модель может значительно повысить качество его работы. Причем исследования показывают, что менее опытные специалисты нередко получают от ИИ даже больший прирост производительности, чем лучшие сотрудники.

На первый взгляд это противоречит идее эффекта Матфея — принципу, согласно которому первоначальное преимущество со временем имеет свойство накапливаться.

Но, думаю, противоречие здесь только кажущееся.

ИИ действительно сокращает разрыв в исполнении. Однако вместе с этим, он может увеличивать значение другого разрыва — в способности понимать задачу, оценивать результат и принимать решение.

И чем сильнее становятся модели, тем заметнее это различие.

Те, кто начал активно пользоваться языковыми моделями несколько лет назад, хорошо видят, насколько далеко они продвинулись. Сегодня ИИ способен за минуты выполнить работу, которая еще недавно занимала часы.

Но одна его особенность практически не изменилась: результатам работы модели нельзя доверять по умолчанию.

ИИ может уверенно выдать неверный факт, неправильно связать причины и следствия, сделать слишком сильный вывод на основе слабых данных или заполнить недостающие детали убедительными предположениями.

Поэтому высокая скорость генерации сама по себе еще не означает высокую производительность.

Можно за минуту получить десять страниц анализа, а затем потратить час на выяснение того, почему половина выводов не имеет достаточных оснований.

Именно здесь, на мой взгляд, начинает меняться роль специалиста.

Раньше профессиональное преимущество во многом определялось способностью самому хорошо выполнять работу. Затем появилась новая компетенция — умение пользоваться ИИ: правильно формулировать запросы, выбирать модели и направлять их к нужному результату.

Сейчас возникает следующий уровень — владение рабочим циклом.

Человеку уже недостаточно хорошо поставить отдельную задачу модели. Нужно понимать, какой результат вообще требуется получить, как разбить работу на этапы, где ИИ полезен, где его необходимо ограничить, какие результаты проверить и в какой момент работу можно считать завершенной.

И самое важное — нужно самому уметь определить, хорош ли полученный результат.

Здесь и появляется граница, которую ИИ пока не устраняет.

Представим двух специалистов, использующих одну и ту же модель.

Первый получает ответ, немного его редактирует и двигается дальше.

Второй замечает, что задача поставлена неправильно, после чего меняет ее структуру,  разделяет работу на несколько этапов и требует показать источники. Потом сравнивает выводы с исходными данными и обнаруживает, где модель сделала необоснованное предположение, исправляет процесс и сохраняет удачное решение для следующей аналогичной задачи.

У обоих был одинаковый доступ к ИИ.

Но через несколько десятков таких циклов они уже используют его совершенно по-разному.

Именно здесь и начинает проявляться эффект Матфея.

Экспертиза позволяет лучше организовать работу с ИИ. Хорошо организованная работа освобождает время и снижает количество ошибок. Освободившееся время можно направить на более сложные задачи. Они, в свою очередь, увеличивают экспертизу и улучшают качество следующих решений.

Так преимущество начинает накапливаться.

При переходе к такому способу работы я вижу четыре достаточно типичные ошибки.

1. Ожидание хорошего результата с первой попытки

ИИ легко создает иллюзию завершенной работы.

Его ответ может выглядеть связным, хорошо структурированным и зачастую вполне убедительным. Поэтому возникает естественное желание принять его как готовый результат.

Однако надежный процесс чаще устроен иначе:

сделать → проверить → найти расхождение → уточнить → исправить.

Ценность создается не одним хорошим промтом, а качеством всего цикла. Насколько быстро вы заметили проблему? Поняли ли, почему она возникла? Изменили только ответ или исправили сам процесс, который привел к ошибке?

Последний вопрос особенно важен.

2. Недооценка постановки задачи

Когда производство результата становится почти бесплатным, цена неправильного направления, наоборот, увеличивается.

ИИ способен очень быстро сделать много ненужной работы.

Можно попросить его подготовить анализ рынка, инвестиционный меморандум или стратегию выхода на новый рынок. Но если заранее не определить, какое решение должен поддержать анализ, какие данные считать надежными, какие допущения допустимы и что будет считаться достаточным результатом, большой объем текста вряд ли поможет.

Поэтому хорошая постановка задачи становится важнее по мере того, как ее исполнение дешевеет.

3. Попытка заранее превратить всю экспертизу в инструкции

Когда ИИ ошибается, естественная реакция — написать ему более подробный промт.

Иногда это действительно решает проблему.

Но значительная часть профессиональной экспертизы существует не в форме заранее сформулированных правил. Обычно мы сначала видим, что с результатом что-то не так, и только потом можем объяснить причину.

Опытный инвестор, например, может почувствовать слабость инвестиционного кейса раньше, чем сможет разложить ее на конкретные критерии. Аналитик способен заметить странность в выводе до того, как сформулирует точное правило, которое было нарушено.

Поэтому я все меньше верю в попытки сначала написать идеальную инструкцию для ИИ, а уже потом начать работать.

Мне кажется более продуктивным обратный процесс.

Сначала решить вместе с ИИ несколько реальных задач. Исправлять его там, где он ошибается. Показывать разницу между хорошим и плохим результатом. Наблюдать, какие корректировки повторяются.

И только после этого превращать найденные закономерности в инструкции, чек-листы и рабочие процессы.

То есть не пытаться заранее оцифровать собственную экспертизу, а постепенно извлекать в процессе реальной работы ту ее часть, которую действительно удалось формализовать.

4. Измерение активности вместо результата

В соц сетях полно шуток, что ИИ, вместо того чтобы снизить объем работы пользователя, наоборот — увеличил ее. И это действительно так — с ИИ стало очень легко быть занятым.

Можно часами менять промты, создавать новые версии, запускать агентов, строить длинные цепочки и при этом практически не приближаться к решению задачи.

Количество запросов, созданного текста или автоматизированных этапов мало говорит о производительности.

Более полезным будет смотреть на другое:

— сколько времени проходит от постановки задачи до приемлемого результата;
   — сколько работы приходится переделывать;
   — насколько часто ошибки обнаруживаются до того, как результат начнет использоваться;
   — сколько ручного труда действительно удалось убрать без снижения качества;
   — стал ли следующий аналогичный рабочий цикл проще предыдущего.

Последний показатель мне кажется особенно важным.

Хорошее использование ИИ должно оставлять после себя не только выполненную работу, но и улучшенный способ выполнять такую работу в следующий раз.

Поэтому я не думаю, что главный эффект ИИ заключается в том, что лучшие специалисты просто получают более мощный инструмент.

На уровне многих отдельных задач происходит скорее обратное: ИИ делает хорошее исполнение доступнее и тем самым способен уменьшать разницу между людьми.

Но одновременно он переносит дефицит на уровень выше.

Становится менее важно, насколько быстро вы можете создать первый вариант ответа. И значительно важнее, способны ли вы определить правильную задачу, заметить ошибку, понять ограничения инструмента, организовать надежный процесс и принять окончательное решение.

Модели постепенно делают производство ответов дешевым.

Качество суждения дешевле от этого не становится.

И если сильный специалист использует ИИ не только для ускорения работы, но и для постоянного улучшения собственного рабочего процесса, именно здесь со временем может возникнуть новый эффект Матфея: преимущество будет накапливаться не потому, что у него лучше модель, а потому, что каждый следующий цикл работы делает его систему немного сильнее.