ИИ теперь обучается ИИ, чтобы стать лучшим ИИ
OpenAI разработала помощника искусственного интеллекта , получившего название CriticGPT , чтобы помочь своим краудсорсинговым тренерам в дальнейшей доработке модели GPT-4 . Он обнаруживает тонкие ошибки кодирования, которые в противном случае люди могли бы пропустить.
После первоначального обучения большой языковой модели, такой как GPT-4, она впоследствии подвергается непрерывному процессу усовершенствования, известному как обучение с подкреплением на основе обратной связи с человеком (RLHF). Тренеры-люди взаимодействуют с системой и комментируют ответы на различные вопросы, а также сравнивают различные ответы друг с другом, так что система учится возвращать предпочтительный ответ и повышает точность ответа модели.
Проблема в том, что по мере улучшения производительности системы она может опережать уровень знаний ее тренера, а процесс выявления ошибок и ошибок становится все более трудным.
Заметьте, эти инструкторы по искусственному интеллекту не всегда являются экспертами в предметной области. В прошлом году OpenAI уличили в том, что они привлекали кенийских рабочих и платили им менее 2 долларов в час , чтобы улучшить производительность своих моделей.
Эта проблема особенно сложна при доработке возможностей генерации кода системы, и именно здесь на помощь приходит CriticGPT.
«Мы обучили модель CriticGPT, основанную на GPT-4, для обнаружения ошибок в выводе кода ChatGPT», — пояснила компания в сообщении в блоге в четверг . «Мы обнаружили, что когда люди получают помощь от CriticGPT для проверки кода ChatGPT, они превосходят тех, кто не получал помощи, в 60 процентах случаев».
Более того, компания выпустила технический документ на эту тему под названием « Критики LLM помогают выявлять ошибки LLM», в котором говорится, что «LLM выявляют значительно больше вставленных ошибок, чем квалифицированные люди, которым платят за проверку кода, и, кроме того, критика модели предпочтительнее критики человека». более 80 процентов времени».
Интересно, что исследование также показало, что, когда люди сотрудничали с CriticGPT, уровень галлюцинаторных реакций ИИ был ниже, чем когда CriticGPT выполнял работу в одиночку, но этот уровень галлюцинаций все равно был выше, чем если бы человек просто выполнял работу самостоятельно.