Anthropic стремится решить одну из самых больших проблем в сфере искусственного интеллекта прямо сейчас

Сразу после объявления о том, что его модель большого языка Claude 3.5 Sonnet превзошла другие ведущие модели , в том числе GPT-4o и Llama-400B, стартап в области искусственного интеллекта Anthropic объявил в понедельник, что планирует запустить новую программу для финансирования разработки независимых, сторонние тесты производительности, по которым можно будет оценивать будущие модели.

Согласно сообщению в блоге, компания готова платить сторонним разработчикам за создание тестов, которые смогут «эффективно измерять расширенные возможности моделей искусственного интеллекта».

«Наши инвестиции в эти оценки направлены на повышение уровня безопасности ИИ во всей области, предоставляя ценные инструменты, которые принесут пользу всей экосистеме», — написала Anthropic в своем блоге в понедельник . «Разработка высококачественных оценок безопасности остается сложной задачей, а спрос превышает предложение».

Компания хочет, чтобы представленные тесты помогли измерить относительный «уровень безопасности» ИИ на основе ряда факторов, в том числе того, насколько хорошо он сопротивляется попыткам принудить к реагированию, которое может включать кибербезопасность; химическое, биологическое, радиологическое и ядерное (ХБРЯ); а также несогласованность действий, социальные манипуляции и другие риски национальной безопасности. Anthropic также ищет тесты, которые помогут оценить расширенные возможности моделей, и готова финансировать «разработку десятков тысяч новых оценочных вопросов и комплексных задач, которые могли бы бросить вызов даже аспирантам», по сути, проверяя способность модели синтезировать знания из различных источников, его способность отклонять грамотно сформулированные вредоносные запросы пользователей и его способность отвечать на нескольких языках.

Anthropic ищет «достаточно сложные» и объемные задачи, в которых могут участвовать до «тысяч» тестировщиков в различных форматах тестирования, которые помогут компании информировать о своих «реалистичных и безопасных» усилиях по моделированию угроз. Любой заинтересованный застройщик может подать свои предложения в компанию, которая планирует их оценивать по мере поступления.