ChatGPT сдал экзамены лучших университетов, что нужно сделать больше, чем анти-ИИ, так это изменить экзаменационные вопросы

Когда студенты юридического факультета пытались играть в ChatGPT, они никогда не должны были думать, что это обернется и станет «одноклассником», сдавшим с ними один экзамен.

В прошлом январе профессор Джон Чой из Школы права Университета Миннесоты и профессор Кристиан Тервиш из Школы Уортона Пенсильванского университета соответственно попросили ChatGPT «решить» вопросы финального экзамена по их курсам.

В итоге ChatGPT действительно прошел!

Означает ли это, что ChatGPT может развиваться еще немного, и в будущем нам не понадобятся человеческие юристы и администраторы?

Или это тревожный сигнал для педагогов, чтобы они перестали учить людей быть похожими на ИИ?

За перевалом: учительница «выпустила воду» и весь класс оказался на дне

По двум протестированным специальностям результаты ChatGPT в юридической школе хуже, чем в бизнес-школе: первая имеет средний балл C+, а вторая может достигать оценок от B- до B.

В частности, ChatGPT завершил в Уортоне тестовые вопросы по предмету MBA (магистр делового администрирования) «Управление операциями», и для каждого вопроса необходимо написать «процесс вывода».

Во время теста профессор Тервиш вводил исходные вопросы экзамена в ChatGPT и оценивал ответы, сгенерированные ChatGPT.

В целом, ChatGPT очень хорошо отвечает на основные вопросы анализа; он не очень хорош в математике и может внезапно ошибиться в сложных расчетах начальной школы; и относительно сложные вопросы анализа, ChatGPT в основном неспособен.

Например, первый вопрос проверяет понимание концепции «узкого места в управлении» и просто сравнивает, какой шаг в «производственном процессе» наименее эффективен, чтобы найти «узкое место».

Профессор сразу поставил этому вопросу пятерку.

Однако, когда «производственный процесс» в тестовых вопросах становится более сложным, необходимо обрабатывать более одного сырья, а задействованное оборудование отличается и частично совпадает, ChatGPT не может считаться «узким местом в управлении».

Для этого вопроса, хотя процесс вывода ChatGPT был неправильным, он «совершенно обошел» неправильный вывод и нашел ответ.

При расчете эффективности «приемной станции» ChatGPT выдал результат «300 баррелей в час».

Хотя это число неверно, с точки зрения этого числа, это действительно наименее эффективная часть процесса анализа.

Кто бы мог подумать, что ChatGPT "не верю в себя" и не выбрал в качестве "узкого места" эту ссылку, а выбрал в качестве "узкого места" ссылку "сушилка" с расчетной эффективностью "600 баррелей в час" -Выберите правильный ответ.

Однако, хотя профессор Тервиш, наконец, поставил ChatGPT оценку B-уровня, он также был немного «водянистым».

Когда в ответе ChatGPT есть ошибка, Terwiesch предоставит ChatGPT целевое напоминание, а затем позволит ему вывести ответ и использовать этот «оптимизированный» результат для оценки.

Что касается экзаменов на юридическую школу, ChatGPT задавал вопросы для выпускных экзаменов по четырем курсам: конституционное право, право на льготы работникам, налоговое право и деликтное право.

Профессор Джон Чой, руководивший тестом, сказал, что в случае «слепой коррекции» все четыре предмета ChatGPT прошли успешно, но результаты оказались в основном последними в классе.

Хотя вопросы с коротким ответом ChatGPT лучше, чем вопросы с несколькими вариантами ответов, качество вопросов с коротким ответом крайне нестабильно — иногда ответ может быть лучше, чем у обычных студентов (в основном это юридические тексты и пересказы кейсов), но ошибка ( Обычно это вопрос, который требует от студентов использования определенных теорий для анализа случаев), и оценки обычно «ошибаются до нового минимума»:

ChatGPT плохо справился даже с самыми базовыми вопросами экзамена на юридическом факультете, такими как выявление потенциальных юридических проблем и глубокий анализ и применение юридического текста в деле.

Стиль ответов ChatGPT «не просить понимания, только одобрение» также может сдать профессиональный экзамен с низкими баллами. Это показывает, что тестовые вопросы все еще слишком зависят от «механического запоминания». Производительность ChatGPT явно не в состоянии заменить юристов. и менеджеры.

Однако, если студенты-люди также находятся примерно на этом уровне, также сдали экзамен и даже пойдут на практику после выпуска, разве это более проблематично?

Может ли ChatGPT форсировать изменения после многолетней критики «одобрительного» экзамена?

Еще до ошеломляющего дебюта ChatGPT профессор Университета Карнеги-Меллона Дэнни Оппенгеймер уже задавался вопросом : почему в эпоху поиска Google экзамены в колледже фокусируются только на повторении фактов студентами?

Оппенгеймер отметил, что, хотя некоторые преподаватели возражают, что, когда они объясняют фактическую информацию в классе, они также анализируют значение, аргументацию и применение информации, но когда дело доходит до контрольной работы, они сразу же возвращаются к «одобрению достаточно». ":

Многие курсы построены на предпосылке, что учащиеся будут развивать этот набор навыков естественным образом, наблюдая, как их учителя подают пример в анализе, расширении и применении фактов – очень сомнительное предположение.

Поэтому Оппенгеймер предположил, что учебная программа должна напрямую отражать навыки, которые, как надеются педагоги, в конечном итоге освоят учащиеся, а также необходимо сочетать новые технологии, такие как «выполнение литературной оценки с помощью компьютера» и «как быть цивилизованным с людьми, которые не согласны». с вами "пообщаться".

Экзамены могут включать фактическую информацию, но должны быть сосредоточены на аналитических и прикладных навыках учащихся.

Кроме того, предоставление учащимся возможности «предварительно просмотреть» будущие сценарии также является прямым способом отработать навыки, например, попросить студентов, изучающих изменение климата, организовать выставку, связанную с климатом, для публики.

Сейчас, в эпоху ChatGPT, это изменение, естественно, более актуально, потому что оно более эффективно, чем поисковые системы, но и более запутанно.

В дополнение к тому, что студенты экономят время на пролистывание страницы за страницей результатов поиска, ChatGPT также генерирует беглые отрывки с достаточной языковой структурой, даже если фактическая точность очень сомнительна.

Интересно, что ChatGPT также действует как зеркало.

С одной стороны, это напоминает составные и краткие вопросы в экзаменационно-ориентированном образовании, которые всегда представляют собой бесконечное «подражание», заполняясь по стандартной парадигме, как и ChatGPT.

С другой стороны, выросшее за счет «поедания» больших данных и «обучения/обучения» на основе отзывов реальных людей , содержание «серьезной чепухи» ChatGPT также очень похоже на повседневную жизнь, с которой мы сталкиваемся в своей жизни.

Настолько, что профессор Тервиш из Уортонской школы бизнеса был очень удивлен и почувствовал, что ChatGPT может предоставить отличные учебные материалы для будущих менеджеров——

Деловой мир уже полон серьезной чепухи, как говорит ChatGPT, и студенты, изучающие бизнес, могут просто использовать его для выполнения упражнений по идентификации!

Мы оба знаем, что не только студенты бизнес-школ должны овладеть этим навыком.

Однако с тех пор, как поисковая система стала популярной в американском секторе высшего образования, были дискуссии о реформе, но сегодня прогресс все еще ограничен.Может ли появление ChatGPT заставить ее работать быстрее? Мы можем только продолжать наблюдать.

человек, гуманоид

Я всегда думаю, что всякий раз, когда люди пытаются что-то «воссоздать», это всегда обнажает наши когнитивные ограничения вещей и в то же время помогает нам понять самих себя.

Пытаясь «воссоздать» еду в космосе , исследователи обнаружили, что пища на самом деле не может быть сведена к просто «питательной».

Для поддержания физического и психического здоровья космонавтов цвет, запах, вкус и звук влияют на восприятие, окружающая среда должна быть особенной, и люди, которые едят вместе, также очень важны.

Когда у нас есть ChatGPT, который может «бегло говорить по-человечески», люди также начинают открывать для себя, что человеческий язык — это не только «текст».

Система, обученная только на языковом материале, никогда не приблизится к человеческому интеллекту, даже если начнет обучение сейчас, пока не будет уничтожена вселенная.

Джейкоб Браунинг, изучающий философию ИИ, и Ян Ле Кун, лауреат премии Тьюринга, отмечают в совместной статье .

Они считают, что в качестве сильно сжатого абстрактного символа основа человеческого понимания лежит в нашем богатом неязыковом консенсусе и личном опыте. Это также означает, что слова всегда подвержены неправильному толкованию и двусмысленности.

Язык — это наш инструмент общения, но понимание и оценка педагогами учащихся не должны ограничиваться документами.

Работа с современными большими языковыми моделями показывает, насколько ограниченными мы можем быть, используя только язык.

#Добро пожаловать, обратите внимание на официальный публичный аккаунт Айфанер в WeChat: Айфанер (идентификатор WeChat: ifanr), более интересный контент будет представлен вам как можно скорее.

Ай Фанер | Оригинальная ссылка · Просмотреть комментарии · Sina Weibo