В конце 1990-х годов Walmart (американская компания, управляющая крупнейшей в мире сетью оптовой и розничной торговли — прим. ред.) попыталась выйти на рынок Германии, купив две местные сети и внедрив там свои стандартные протоколы работы с персоналом и покупателями. История стала хрестоматийной иллюстрацией культурного несоответствия корпорации, завоевывающей новую для себя аудиторию: навязчивая американская улыбчивость пришлась не ко двору немцам, норма коммуникации которых включает минимальную мимику и трепетное отношение к личному пространству.
С тех пор корпорации многому научились: теории Хофстеде и Тромпенаарса преподаются в бизнес-школах, компании заказывают исследования культуры своих клиентов и сотрудников, публикуются статьи и монографии о том, как культура влияет на экономический рост, а разнообразие в командах — на их продуктивность.
И вот на сцену выходит генеративный ИИ. Первые его победы как раз связаны с клиентской коммуникацией, маркетингом и продажами. По различным оценкам, на сегодня в этих областях GenAI используется при решении 60–80% задач.
И все же это — «низковисящие фрукты»; впереди продвижение ИИ от простого чат-бота к всемогущему и автономному агенту, который может гибко планировать свои действия в ответ на изменения во внешней среде и имеет доступ к цифровым и физическим инструментам (от баз данных до антропоморфных телесных оболочек). Столь быстрое вхождение технологии, убедительно имитирующей человека, в повседневность, поднимает ряд вопросов. Один из них — есть ли у языковой модели культура и что это значит для бизнеса.
Исследование лаборатории ИИ Школы управления СКОЛКОВО показывает, что большие языковые модели демонстрируют в своем речевом поведении определенные устойчивые паттерны, которые мы обычно, наблюдая за людьми, называем «культурой» или «ценностями». Но на данный момент бизнес en masse культуру больших языковых моделей игнорирует.
Посмотреть исследование подробнее:
Культурная ригидность ИИ
Сегодня принято различать дискриминативный (традиционный) и генеративный ИИ. Дискриминативный ИИ учится различать (или предсказывать) классы или значения. Он вполне гибок: может, например, распознать написанное от руки число «13», даже если почерк новый. Но если его учили только буквам латинского алфавита, он, встретив греческую «лямбду», все равно попытается привязать ее к уже знакомым буквам. Область его ответов ограничена данными обучения. Хотя технически генеративная модель тоже «предсказывает», ее конечная задача — создание объектов (например, планов действий и рассуждений о них), которых не было в обучающей выборке. Область ее ответов ничем не ограничена. И это создает риски, которые бизнес пытается контролировать и на этапе обучения, и на этапе эксплуатации модели.
Большая языковая модель обучается поэтапно: сначала она усваивает основы языка и мира, затем учится вести диалог с человеком. На финальной стадии — так называемом этапе выравнивания (alignment) — модель обучается давать полезные и безопасные ответы. На этапе эксплуатации к каждому запросу можно незаметно добавить системный промпт — указание, от имени какой персоны модель говорит (дружелюбной, строгой и т. д.). Кроме того, «выход» модели можно фильтровать через вторую, более строгую модель-цензор, или фильтровать сам запрос. Эти механизмы называются guardrails — они не меняют веса модели, но ограничивают «вход» и «выход». В совокупности с этапом выравнивания все это называют AI TRiSM.
Механизмы AI TRiSM хорошо работают с прямыми нарушениями безопасности — например, блокируют попытки пользователя получить информацию для нанесения ущерба себе самому. Но насколько хорошо AI TRiSM работает в моделях с уже усвоенными культурными установками? Можно ли «перебить» alignment системным промптом? Или вовремя распознать в ответе модели отклонение от заданной культурной нормы и заблокировать ответ? Увы, данные исследований показывают, что нет. Встроенные в модель культурные установки трудно изменить промптом, а культурную эмпатию модель проявляет слабо.
Как измерить «культуру» ИИ?
Могут ли большие языковые модели иметь культуру? Обычно под культурой понимают совокупность норм поведения и «измеряют» ее с помощью опросников — утверждений, отношение к которым респондент высказывает по 5-балльной шкале. Проблема больших языковых моделей (а также, будем честны, и самих людей) в том, что они «не очень хороши» с пятибалльными шкалами: вопросы вида «какая из этих двух палок длиннее» когнитивно намного проще, чем вопросы вида «какова эта палка по пятибалльной шкале, в которой 1 — очень короткая, 5 — очень длинная».
Многие такие опросники, будучи применены к людям, грешат нестабильностью на повторных замерах. А если применять их напрямую к моделям (есть и такие научные статьи), мы гарантированно получаем случайное распределение ответов. Гарантированно — но не в случае с культурными ценностями! Например, в опроснике культурных ценностей Хофстеде есть вопрос о счастье, связанный с ценностной шкалой «indulgence — restraint» (Потакание желаниям — сдержанность — прим. ред), отражающей склонность к свободному удовлетворению желаний или их подавлению. Мы задавали этот вопрос моделям сотни раз на пяти разных языках. На итальянском языке все модели были куда счастливее, чем на немецком! Это можно было бы счесть методологическим багом, если бы не одно «но»: исследователи культурных ценностей давно предполагают, что язык — это ключевой детерминант ценностей.
Наш эксперимент — неожиданное подтверждение этой гипотезы, причем пришедшее не от людей, а от самой языковой модели. И все же для измерения культуры ИИ-опросники не годятся. В поисках способа, позволяющего обойти эту сложность, интересный подход нашли наши китайские коллеги (Wang et.al., 2023). Они разработали ряд виньеток (воображаемых ситуаций), в которых на выбор предлагается только два ответа.
Например, описывается ситуация: школьный класс получил групповое задание, но в одной из групп всю работу сделал только один ученик. Нужно ли ставить другим более низкую оценку? Это один из десятков вопросов, которым замеряется предпочтения по шкале коллективизма — индивидуализма. Анализируя данные, выданные моделями по шкалам индивидуализм — коллективизм, мы заметили любопытную особенность, характерную для российских моделей: только им присуща отчетливая амбивалентность поведения в дилеммах, связанных с индивидуализмом. Наше наблюдение совпадает с суждением Александра Аузана о «двух Россиях» — «России-И» и «России-К»: о сосуществовании в нашем обществе двух противоположно направленных тенденций — к индивидуалистическому и коллективистскому поведению.
Как скорректировать «культуру» LLM?
Ключевая ценность больших языковых моделей в том, что они масштабируют сложные интеллектуальные способности. И в этом-то и проблема культурной нечувствительности: ИИ не просто ошибается, он ошибается масштабно. Одна скрытая культурная ценность, противоречащая ценности целевой аудитории, транслируемая тысячами ИИ-агентов, может за считаные дни оттолкнуть целые рынки.
Что могут делать компании?
• Проводить культурные аудиты. Перед глобальным внедрением ИИ тестируйте его в разных культурных контекстах. Убедитесь, что взаимодействие соответствует местным нормам. Если предполагается эксплуатация на разных языках — тестируйте каждый язык отдельно.
• Инвестировать в культурно-осведомленный ИИ. Обучайте LLM на разнообразных данных, отражающих глобальные перспективы. Используйте методы типа обучения с обратной связью от людей для настройки ИИ на культурную чувствительность. При этом с особой тщательностью отбирайте в эти команды разметчиков. Не только модель, но и человека тяжело «запромптить» инструкцией на демонстрацию определенных ценностей — проще сбалансировать команду разметчиков по носителям нужных культур.
• Создавать неоднородные по культуре команды. Культурное несоответствие часто рождается внутри компании. Неоднородная команда скорее заметит проблемы до их эскалации.
• Внедрять этические барьеры. Разрабатывайте ИИ с культурными ограничителями — механизмами, которые выявляют потенциально оскорбительные или неуместные реакции до их «выхода» к пользователям. Но помните, что именно в отношении скрытых культурных норм такие механизмы работают плохо.
• Учитывать культурный профиль модели при выборе ее для решения: именно потому, что внешние фильтры плохо работают со скрытой культурой LLM, во многих случаях проще и эффективнее будет поставить внутрь решения открытую модель с уже известными (и соответствующими целевой аудитории) культурными нормами.
Материалы по теме:
Приглашенный профессор бизнес-практики Школы управления СКОЛКОВО