Исследователи из университета Мичигана выяснили, что назначение ролей при общении с большими языковыми моделями (LLM) увеличивает качество ответов на 20%.

Для этого они провели эксперименты со 162 ролями: 50 из них были межличностными (например: мать, друг, брат, знакомый, одноклассник), а 112 — профессиональными. Роли задавались ИИ тремя способами:

• Роль назначалась самой модели — например, «Вы врач…»
• Роль назначалась аудитории — «Вы разговариваете с пациентами…»
• Запрос определял роли и спрашивающего, и отвечающего — «Вы со своим пациентом…»
  

Эксперименты проводились с тремя разными моделями. Эффективность и качество их ответов проверяли с помощью 2457 вопросов из популярного датасета MMLU (Massive Multitask Language Understanding).

Выводы учёных оказались крайне разнообразными. Например, ответы на запросы с межличностными ролями оказались в целом более качественными по сравнению с ответами на профессиональные запросы. При этом для межличностных ролей все три протестированные модели давали ответы одинакового качества, а вот для профессиональных ролей качество ответов отличалось от модели к модели.

Среди межличностных ролей наименее эффективными для всех моделей оказались романтические и семейные. При этом учёные выяснили, что лучше всего работают гендерно нейтральные формулировки запросов, то есть не «девушка» или «парень», а «партнёр» (конечно, здесь надо учитывать, что исследование проводилось на английском языке).

В работе учёных есть ещё масса интересных подробностей. А для практического применения на основании этого исследования мы выделили семь советов:

• Старайтесь задавать роли при использовании ИИ — это в целом повышает качество ответов.
• Гендерно нейтральные роли работают лучше, чем мужские и женские.
• Старайтесь избегать романтических и семейных ролей, например «скажи мне, брат…».
• Лучший способ формулирования запросов для ИИ — это обозначение аудитории. Например, «Вы разговариваете с программистами».
• Не используйте слово «Представьте» в запросах — это значительно снижает эффективность.
• Если вы используете LLM для работы и оперируете профессиональными ролями, стоит потратить время на то, чтобы подобрать наиболее эффективную модель в вашей сфере.
• Попробуйте спросить ИИ, в какой роли будет лучше всего задать ваш вопрос, и последуйте его совету.