Подсказка по цепочке рассуждений — метод улучшения способности к рассуждению больших языковых моделей (БЯМ) путём подсказки им сгенерировать серию промежуточных шагов, которые приводят к окончательному ответу на многоэтапную проблему. Впервые он был предложен для языковых моделей исследователями Google в 2022 году.
Было показано, что БЯМ, которые обучаются на больших объёмах текста с использованием методов глубокого обучения, способны генерировать ответы, подобные человеческим. Хотя БЯМ продемонстрировали впечатляющую производительность при решении различных задач на естественном языке, они по-прежнему сталкиваются с трудностями при решении некоторых задач, требующих логического мышления и выполнения нескольких последовательных шагов, а также при решении арифметических задач или задач на "здравый смысл". Чтобы решить эту проблему, подсказка по цепочке рассуждений побуждает модель делать промежуточные шаги в рассуждениях, прежде чем дать окончательный ответ на многоэтапную задачу.
Например, на вопрос «Вопрос: В столовой было 23 яблока. Если они использовали 20 яблок для готовки и купили ещё 6, то сколько яблок у них осталось?», подсказка по цепочке рассуждений может привести к последовательности рассуждений, которые имитируют ход мыслей, например: «Изначально в столовой было 23 яблока. Они использовали 20 блок для готовки. Таким образом, у них было 23 — 20 = 3. Они купили ещё 6 яблок, значит у них 3 + 6 = 9. Ответ 9». Это отличается от вывода ответа напрямую.
Было показано, что подсказки по цепочке рассуждений в среднем улучшают производительность БЯМ как в арифметических задачах, так и в логических задачах по сравнению со стандартными методами подсказок. Применительно к PaLM, языковой модели с 540 миллиардами параметров, подсказки по цепочке рассуждений значительно помогли модели, позволив ей работать наравне с под определённые задачи языковыми моделями в нескольких случаях, даже превысив результат теста на логические рассуждения специализированной модели GSM8K.
Подсказки по цепочке рассуждений — это эмерджентное свойство масштаба модели, т.е. оно проявляется для более масштабных языковых моделей. Также можно тонко настроить модели на наборах данных подсказок по цепочке рассуждений, чтобы ещё больше расширить эту возможность и стимулировать лучшую интерпретируемость результатов.
Метод Существует два основных метода получения умозаключений по цепочке рассуждений: и . Первоначально использовались подсказки с несколькими примерами, когда подсказка представляет собой по крайней мере один пример вопроса в паре с ожидаемой цепочкой рассуждений, написанными человеком. Позже было обнаружено, что аналогичные рассуждения и прирост производительности также можно получить с помощью обучения без подсказок, когда подсказка представляет собой простое предложение вроде «Давайте подумаем шаг за шагом».
Ограничения Хотя подсказки по цепочке рассуждений могут существенно улучшить производительность задач обработки естественного языка, существуют определённые недостатки. Подсказки по цепочке рассуждений с нулевым выстрелом увеличили вероятность токсичного результата в задачах, где модели могут делать выводы о маргинализированных группах или вредных темах.
Примечания
Категория:Лингвистика Категория:Машинное обучение Категория:Обработка естественного языка