Технология цепочек рассуждений (ризонинга) стала прорывом в области создания искусственного интеллекта (ИИ) — за счет нее большие языковые модели (LLM), такие как o1 и DeepSeek, могут решать сложные математические задачи и создавать работающий код. Но эта же технология может быть фактором, который вредит качеству ответов моделей, сообщают исследователи Калифорнийского университета.
В своем докладе от 12 февраля они отмечают, что LLM с возможностями ризонинга могут отдавать предпочтения своим рассуждениям и игнорировать информацию о внешней среде. Это приводит к тому, что ИИ бесконечно планирует свои действия, но ничего не делает, принимает самовольные решения или отказывается от задачи из-за стресса, который вызывают его «мысли».
Вместе с этим использование обычных LLM без ризонинга может быть почти вдвое дешевле при сопоставимых результатах, утверждают исследователи. Ризонинг приводит к ошибкам из-за чрезмерно длинных цепочек рассуждений, в которых модель теряет фокус на исходной задаче, накапливая логические несоответствия, пояснил «Эксперту» глава отдела исследований в области ИИ дирекции разработки и развития цифровой платформы Университета 2035 Ярослав Селиверстов.
Это может быть связано с ограничениями контекстного окна (максимального числа слов, которые модель может считывать за раз), чрезмерно сложным синтаксисом или недостатком релевантных данных в обучении, что провоцирует «зацикливание» на второстепенных деталях, рассуждает он.
Также ризонинг может быть подвержен галлюцинациям, когда модель генерирует правдоподобные, но фактические неверные утверждения, которые затем использует в дальнейших рассуждениях, усугубляя ошибку. Еще одна проблема может быть связана со «смещением» (bias) в данных, на которых обучалась модель, что приводит к предвзятым рассуждениям, добавляет Ярослав Селиверстов.
Ризонинг критичен для задач, требующих многошаговой логики, связанных с математикой, анализом текста, соглашается директор департамента расследований T.Hunter, эксперт рынка НТИ SafeNet («Сейфнет») Игорь Бедеров. Он позволяет моделям «думать вслух», что повышает интерпретируемость решений; также этот функционал полезен для исследователя, который видит машинную логику и может ее менять при составлении промптов. Решить проблемы ризонинга можно за счет качественного написания промптов к модели и тщательной валидации рассуждений и действий, которые она совершает, уверен он.
Источник: Эксперт
