Ролевые ИИгры: как получить наиболее качественные ответы от ИИ
Future Crew
Блок инноваций ПАО «МТС»
![](/_next/image?url=https%3A%2F%2Ffuturecrew.rdclr.ru%2Fimg%2F317d9dc9-3369-44bd-b51b-57f8d31f9366%2Fotvety-ot-ii.png&w=3840&q=75)
Исследователи из университета Мичигана выяснили, что назначение ролей при общении с большими языковыми моделями (LLM) увеличивает качество ответов на 20%.
Для этого они провели эксперименты со 162 ролями: 50 из них были межличностными (например: мать, друг, брат, знакомый, одноклассник), а 112 — профессиональными. Роли задавались ИИ тремя способами:
- Роль назначалась самой модели — например, «Вы врач…»
- Роль назначалась аудитории — «Вы разговариваете с пациентами…»
- Запрос определял роли и спрашивающего, и отвечающего — «Вы со своим пациентом…»
Эксперименты проводились с тремя разными моделями. Эффективность и качество их ответов проверяли с помощью 2457 вопросов из популярного датасета MMLU (Massive Multitask Language Understanding).
Выводы учёных оказались крайне разнообразными. Например, ответы на запросы с межличностными ролями оказались в целом более качественными по сравнению с ответами на профессиональные запросы. При этом для межличностных ролей все три протестированные модели давали ответы одинакового качества, а вот для профессиональных ролей качество ответов отличалось от модели к модели.
Среди межличностных ролей наименее эффективными для всех моделей оказались романтические и семейные. При этом учёные выяснили, что лучше всего работают гендерно нейтральные формулировки запросов, то есть не «девушка» или «парень», а «партнёр» (конечно, здесь надо учитывать, что исследование проводилось на английском языке).
В работе учёных есть ещё масса интересных подробностей. А для практического применения на основании этого исследования мы выделили семь советов:
- Старайтесь задавать роли при использовании ИИ — это в целом повышает качество ответов.
- Гендерно нейтральные роли работают лучше, чем мужские и женские.
- Старайтесь избегать романтических и семейных ролей, например «скажи мне, брат…».
- Лучший способ формулирования запросов для ИИ — это обозначение аудитории. Например, «Вы разговариваете с программистами».
- Не используйте слово «Представьте» в запросах — это значительно снижает эффективность.
- Если вы используете LLM для работы и оперируете профессиональными ролями, стоит потратить время на то, чтобы подобрать наиболее эффективную модель в вашей сфере.
- Попробуйте спросить ИИ, в какой роли будет лучше всего задать ваш вопрос, и последуйте его совету.