Новый инструмент Guardrails от Nvidia решает самую большую проблему с чат-ботами AI
Nvidia представляет свой новый инструмент NeMo Guardrails для разработчиков искусственного интеллекта и обещает сделать чат-ботов с искусственным интеллектом, таких как ChatGPT , чуть менее безумными. Программное обеспечение с открытым исходным кодом уже доступно разработчикам, и оно фокусируется на трех областях, чтобы сделать чат-ботов с искусственным интеллектом более полезными и менее тревожными.
Инструмент находится между пользователем и Большой языковой моделью (LLM), с которой он взаимодействует. Это безопасность для чат-ботов, перехват ответов до того, как они достигнут языковой модели, чтобы либо остановить реакцию модели, либо дать ей конкретные инструкции о том, как реагировать.
Nvidia заявляет, что NeMo Guardrails ориентирована на актуальные границы безопасности и безопасности. Тематическая направленность кажется наиболее полезной, поскольку она заставляет LLM оставаться в определенном диапазоне ответов. Nvidia продемонстрировала Guardrails, показав чат-бота, обученного работе с кадровой базой данных компании. Когда Nvidia задали вопрос о финансах, она дала готовый ответ, который был запрограммирован с помощью NeMo Guardrails.
Это важно из-за множества так называемых галлюцинаций, которые мы видели в чат-ботах с искусственным интеллектом. Например, Bing Chat от Microsoft предоставил нам несколько странных и фактически неверных ответов в нашей первой демонстрации. Столкнувшись с вопросом, который LLM не понимает, он часто дает ответ, пытаясь удовлетворить запрос. NeMo Guardrails стремится положить конец этим надуманным ответам.
Принципы безопасности сосредоточены на фильтрации нежелательных ответов от LLM и предотвращении того, чтобы пользователи играли с ним. Как мы уже видели, вы можете сделать джейлбрейк ChatGPT и других чат-ботов с искусственным интеллектом. NeMo Guardrails примет эти запросы и заблокирует их доступ к LLM.
Хотя NeMo Guardrails создан для того, чтобы чат-боты были актуальными и точными, это не универсальное решение. Nvidia говорит, что лучше всего работает в качестве второй линии защиты, и что компании, разрабатывающие и развертывающие чат-ботов, все равно должны обучать модель набору мер безопасности.
Разработчикам также необходимо настроить инструмент под свои приложения. Это позволяет NeoMo Guardrails располагаться поверх промежуточного программного обеспечения, которое уже используется в моделях ИИ, такого как LangChain, которое уже обеспечивает основу для того, как чат-боты ИИ должны взаимодействовать с пользователями.
В дополнение к открытому исходному коду, Nvidia также предлагает NeMo Guardrails как часть своего сервиса AI Foundations . Этот пакет предоставляет несколько предварительно обученных моделей и сред для компаний, у которых нет времени или ресурсов для обучения и поддержки собственных моделей.