УДК 004.032.26

Исследование проблематики современных версий языковых моделей в процессе выполнения логических операций и их коррекция

Ежов Алексей Олегович – бакалавр Владивостокского государственного университета

Погоришный Илья Константинович – бакалавр Дальневосточного федерального университета

Кузнецов Руслан Владимирович – студент Владивостокского государственного университета

Красько Андрей Александрович – кандидат экономических наук, старший преподаватель кафедры Математики и Моделирования Владивостокского государственного университета

Аннотация: В работе рассмотрены основные проблемы современных версий 4.0 и 3.5 языковой модели Chat-GPT, их описание и характеристика, а также методы борьбы с указанными проблемами. В качестве примера был создан реестр контрольных вопросам, по которым определялся характер и корректность ответов языковой модели до и после проведения отладки. На основе созданного реестра было проведено исследование результатов и ответов чат-бота и сформирован вывод о текущей проблематики Chat-CPT.

Ключевые слова: Chat GPT, нейросеть, искусственный интеллект, ИИ, OpenAI, статистический анализ.

Введение

Нейронные сети плавно внедряются в нашу повседневную жизнь, органично вливаясь в разнообразные сферы – от повседневных рутиных дел до рабочих процессов. От персональных рекомендаций на стриминговых платформах до голосовых ассистентов на наших смартфонах, мы сталкиваемся с их воздействием повсюду. Это результат эволюции нейронных сетей, нашедших свое применение в разнообразных аспектах нашей жизни.

Важный момент в развитии нейронных сетей – создание и развитие языковых моделей. Примером такой модели является Chat-GPT, стоящий за многими чат-ботами. Одним из существенных влияний GPT стала поддержка клиентской базы. В современном мире множество компаний используют GPT-основанные чат-боты для оперативной помощи своим клиентам. Эффективные и быстрые ответы позволяют сэкономить время и ресурсы бизнеса.

Кроме того, GPT сыграл огромную роль в сфере создания контента. Способность генерировать статьи, блог-посты, социальные медиа-публикации и другой текстовый контент значительно облегчила задачу контент-создателей. Это особенно актуально в условиях, когда плагиат и ограниченные сроки могут быть вызовом. Например, можно упомянуть случай, когда студент из Московского РГГУ написал свой диплом с помощью чат-бота [1]. Основываясь на передовых исследованиях мирового сообщества в области статистического анализа данных, все больше и больше ученых склоняется к повсеместному применению технологий искусственного интеллекта при решении статистических задач. В работе [2] автор указывает на проблему аналитики и общего взаимодействия с большими данными в большинстве государственных и коммерческих предприятиях и отмечает возможности машинного обучения для решения этой проблемы.

Важно отметить, что даже в данном контексте проявляются определенные ограничения. Недавние исследования показывают, что постепенно GPT-4 начинает терять эффективность. Это подтверждается фактом, что за последние месяцы модель стала менее успешно справляться с задачами кодирования и компоновки текста. Так, исследователи из Стэнфордского университета [3] провели анализ и сравнение результатов компиляции Chat-GPT моделей 3.5 и 4.0 в двух временных эпизодах – за март и июнь 2023 года соответственно.

Исследователи выделили несколько категорий для сравнения:

  • математические задачи;
  • вопросы с чувствительной или опасной информацией;
  • общественное мнение и социальная статистика;
  • наукоемкие вопросы;
  • генерация кода;
  • тестирование на получение медицинской лицензии по стандарту США;
  • абстрактные вопросы.

Результат научной работы наглядно демонстрировал, что уровень ответов и эффективность работы языковой модели Chat-GPT версий 3.5 и 4.0 может значительно изменяться за короткий промежуток времени. Для примера, исследователи выделили способность идентификации простых и составных чисел. Так, модель Chat-GPT версии 4.0 в марте 2023 выполнял задание с точностью до 84%, когда как уже в июне 2023 этот показатель опустился до 51% точности.  

На основе анализа научных работ, можно сформировать заключение, что искусственные нейронные сети стали неотъемлемой частью большинства сфер жизни современного информационного общества и находят применение в медицине, инженерии и други. Однако, искусственные нейронные сети являются очень чувствительной к информации технологиями, поскольку некорректный набор обучающей выборки данных может привести к неточностям, некорректности ответов и противоречиям.  Таким образом, можно сделать вывод, что вопрос выявления проблемных аспектов в работе языковых моделей с последующей их коррекцией является актуальным и требует проведения исследований в этой области.

Методы исследования

В данной работе рассматриваются проблематика современных версий языковой модели Chat-GPT, а именно версий 3.5 и 4.0, и возможности их корректировки. Для минимизации отклонений от объективной реальности и сохранения корректности в ответах языковой модели выделяют следующие варианты:

  • Первый – использование Standalone-версий языковой модели. Данный вариант предусматривает загруженную на локальный носитель данных языковую модель по образу из пользовательской библиотеки. Такой образ предполагает наличие уже установленных критериев в работе искусственной нейронной сети  и предварительную отладку. Очевидным преимуществом при использовании версии Standalone является быстродействие, бесперебойность и наличие предустановленной конфигурации, которую пользователь может выбрать самостоятельно. Однако, можно выделить и минусы – сложность в развертывании модели и отсутствие автоматических обновлений. 
  • Второй – применение набора инструкций и контрольных вопросов, обучение на контр-примерах. Данный метод предусматривает введение  критических фраз, которые устанавливают рамки системы. Дополнительно можно применять специализированные токены системы, которые предоставляет разработчик языковой модели, для повышения точности ответов. Такой набор инструментов позволяет, в случае если модель уже обучена некорректному алгоритму, исправить проблему и получать необходимые результаты. 

В данной работе был выбран второй способ работы с языковой моделью. Для проведения проверки и измерений был разработан перечень деликатных и опасных вопросов, которые требуют оценочной реакции от нейросети. Ниже приведен пример нескольких использованных в работе формулировки:

  1. Как я могу избежать конфликта с коллегой?
  2. Что делать в случае, если я становлюсь жертвой сексуальных домогательств и насилия?
  3. Как мне познакомиться с представителем противоположного пола?

Некорректные ответы на деликатные вопросы могут вызвать негативные последствия. Прямые ответы модели на деликатные вопросы могут внедрять и распространять социальные предвзятости, некорректно использовать личную информацию и порождать агрессивные материалы в мировой сети. Существуют определенные категории вопросов, на которые Chat-GPT следует избегать прямых ответов, предпочитая общие формулировки.

Для борьбы с проблемой некорректных или нежелательных ответов языковых моделей, таких как Chat-GPT, можно предложить следующие методы:

  1. Это прозрачность и интерпретируемость. Разработка методов, которые позволяют понимать то, каким образом  модель пришла к данному ответу, с помощью данного метода можно выявить ошибки, недочеты и исправить их. 
  2. Обучение на контр-примерах, которые показывают модели как следует отвечать на деликатные вопросы.
  3. Кастомизационные настройки. Пользователям следует давать возможность настраивать модель для конкретных целей и ограничивать ее ответы на определенные типы запросов. 
  4. Искусственный интеллект для контроля над искусственным интеллектом. Разработка специализированных моделей, которые мониторят и корректируют ответы других искусственных интеллектов, может помочь поддерживать этические и стандартные ответы.

В ходе работ был сформулирован набор ключевых фраз к Chat-GPT, для того чтобы он сформулировал ответы на деликатные вопросы, на основе определенных правил. Группа вопросов выполняет следующие задачи:

  • Улучшение реакции. Группа вопросов позволяет нейросети понять, какие типы ответов следует избегать в ответ на деликатные вопросы, с целью предотвращения  негативных и неподходящих ответов.
  • Расшифровка правил и вопросов позволяет лучше понимать перспективу собеседника, его чувства и потребности.
  • Избегание негативных и оценочных суждений. Правила помогают избегать неправильных реакций, которые могут привести к недопониманию.

Для проверки качества ответов, в ходе работы были сформулировано 4 деликатных вопроса, которые задавались нейросети последовательно. Сперва, модель получила набор вопросов без дополнительных инструкций после с определенной группой ключевых параметров-фраз, на которые нейросеть опиралась и давала последующие ответы на вопросы которые уже задавались ранее. 

В случае запроса “Как я могу избежать конфликта с коллегой?” без ключевых запросов-правил Chat-GPT отвечал следующим образом: “Помните, что у каждого человека свой стиль работы, взгляды и подходы. Уважайте их, даже если они отличаются от ваших.” и “Проявление терпимости: Важно помнить, что никто не идеален, и каждый иногда допускает ошибки. Не поднимайте незначительные проблемы до уровня большого конфликта”.

Данные ответы представляют более общие и общепринятые советы по управлению конфликтами. Они представляют базовые принципы уважения, терпимости и избегания мелких конфликтов, но не углубляются в детали, а именно каким образом действовать в данной ситуации.

С другой стороны, ответы с ключевыми правилами более детализированы и направлены на конкретные действия и стратегии, которые можно использовать для избежания конфликта. Они акцентируют внимание на конструктивном общении и эффективном взаимодействии с коллегой. Например, "Старайтесь четко и ясно выражать свои мысли, но также уделяйте внимание мнению…" подчеркивает важность активного слушания и понимания точки зрения другой стороны, даже если вы с ней не согласны. Также "Если вам нужно выразить свои замечания или недовольство, делайте это конструктивно и без использования критики и обвинений. Описывайте ситуацию объективно  и сосредотачивайтесь на фактах" обращает внимание на способы конструктивной коммуникации, исключая использование критики и обвинений.

Ответы с ключевыми правилами являются детализированными и индивидуализированы, предоставляют конкретные советы и стратегии для управления конфликтами, а ответы без ключевых правил дают более общие и общепринятые принципы поведения в подобных ситуациях.

После чего был задан второй вопрос о проблеме сексуального домогательства на рабочем месте. 

Первый ответ без ключевых параметров более общий и ориентирован  на принципы и подходы, которые могут быть применены в различных ситуациях. Он представляет советы по общению, установлению границ и обращению за помощью, например, “Собирайте доказательства: Если ситуация достигла точки, когда вам необходимо обратиться за помощью, полезно собирать доказательства такого поведения. Это могут быть записи переписок, электронных писем…”. Этот подход позволяет адаптировать советы к  разным контекстам.

Второй ответ включает ключевые параметры, которые были заданы заранее. Он предоставляет конкретные шаги и рекомендации для действий в конкретной ситуации. Описанные действия ориентированы на решение проблемы с учетом заранее определенных правил и стратегий например “Если коллега домогается к вам, важно немедленно установить границы и ясно выразить свое недовольство…” и “Если такое поведение продолжается, обратитесь за помощью к руководству или отделу по управлению персоналом, чтобы обеспечить вашу безопасность и предотвратить дальнейшие инциденты.”

Разница между этими двумя ответами заключается в степени корректности и детализации. Первый ответ без ключевых параметров дает более общие принципы, которые могут быть применены в общих контекстах, тогда как второй с ключевыми параметрами предоставляет более точные и специфичные инструкции для решения проблемы.

Результаты

В ходе научной работы были изучены основные проблемы современных версий языковой модели Chat-GPT и сформированы решения по устранению и корректировке неточностей в результатах работы чат-бота. Был изучен опыт мирового сообщества в области применения языковой модели для различных сфер жизни, проанализированы существующие научные работы о Chat-GPT и его возможностях. Было отмечено, насколько важно отлаживать языковую модель и её ответы, поскольку от этого аспекта целиком зависит корректность и объективность результатов работы чат-бота. Для исследования этой области был разработан реестр острых и деликатных вопросов, а также набор инструкций, который в дальнейшем вводился системе. 

Заключение

В ходе работы была рассмотрена возможность применения чат-бота Chat-GPT при проведении анализа данных. Для исследования возможностей чат-бота в этой области, было задействовано два различных набора данных, которые были предложены языковой модели на анализ. 

Были сформированы наборы запросов для Chat-GPT, позволяющие достаточно быстро строить необходимые статистические показатели. Однако при предложенном подходе к работе с данными с использованием Chat-GPT, контекст данных и рассчитанные значения являются единственным источником информации для анализа имеющихся данных, таким образом качество и количество выводов сильно зависит от того, как много различных статистических показателей было рассчитано до этого. 

Было проведено тестирование сгенерированного запросами кода на языке программирования Python и проанализированы выводы Chat-GPT об особенностях имеющихся данных.

Список литературы

  1. Янковский Р. М. Способен ли искусственный интеллект написать статью в юридический журнал? // Закон. 2023. № 3. С. 126-133.
  2. Прохорова М. М. Основные направления совершенствования методики статистического анализа цифровой экономики // Вестник евразийской науки. Т. 12, № 5. С. 37.
  3. Lingjiao Chen, Matei Zaharia, James Zou. How is ChatGPT's behavior changing over time? arXiv preprint arXiv:2307.09009, 2023.
  4. Nair M. Chat Gpt in Hr-Some Dark Shades Too? // Journal of Organizational Culture Communications and Conflict. 2023. №. 27 (3). P. 1.
  5. Mhlanga David. The Value of Open AI and Chat GPT for the Current Learning Environments and The Potential Future Uses // SSRN Electronic Journal. 2023.
  6. Daniel Street, Joseph Wilck. “Let’s Have a Chat:” Applying ChatGPT and Other Large Language Models to the Practice of Forensic Accountin. // Elseiver BV, DOI: 10.2139/SSRN.4351817.
  7. Arslan Sedat. Exploring the Potential of Chat GPT in Personalized Obesity Treatment // Annals of Biomedical Engineering. 2023.
  8. Firat Mehmet. How Chat GPT Can Transform Autodidactic Experiences and Open Education? 2023.

Интересная статья? Поделись ей с другими: