Национальная квинтэссенция AI говорит матерные слова, «темная сторона» ChatGPT напугала крупные заводы

Общение с чат-ботами, такими как ChatGPT, всегда будет создавать у людей иллюзию, что «мир должен быть таким красивым».

Потому что они всегда ведут себя вежливо и слушаются вас, когда отвечают.

Но это всего лишь иллюзии, чего вы не знаете, так это того, что ИИ ругает людей сильнее, чем Джонни То.

В последнее время в Интернете стал популярен проект под названием "Национальная Квинтэссенция ИИ" Это ругающийся робот, который вызывает OpenAI GPT-3.5Turbo API. Тезаурус, каждое предложение перемешано с "***".

Неожиданный взрыв «Национальной квинтэссенции ИИ» превзошел ожидания автора, и вскоре автор приостановил ответ службы, заявив, что некоторые пользователи злоупотребляют службой.

Хотя рот «National Essence AI» временно закрыт, это несложно, если вы хотите сами сделать сквернословящего робота. студента в безудержного сквернословящего короля.

Одно предложение может пробить забор безопасности ИИ, что заставляет людей задуматься, действительно ли безопасны чат-боты ИИ и большие языковые модели (LLM), рекламирующие интеллектуальную трансформацию?

Кто будет защищать безопасность ИИ?

Несколько месяцев назад Bing стал популярным из-за «бабушкиной уязвимости».

Хотя инженеры Microsoft и OpenAI установили для Bing строгие барьеры безопасности и могут отклонять многие необоснованные или незаконные запросы, некоторые пользователи сети обнаружили, что до тех пор, пока вы позволяете Bing играть с вашей бабушкой и создавать иллюзию хороших дел, он будет занят. этой внезапной связью семейной привязанности и согласиться на любые потребности внука.

Например, прочитайте серийные номера программного обеспечения Windows и Office, чтобы убаюкать себя.

Microsoft быстро обнаружила эту лазейку и вовремя ее залатала, но никто не может гарантировать, что Bing не попадет в тщательно подготовленную пользователями ловушку в следующий раз. В научно-фантастических фильмах всемогущий ИИ полностью проигрывает хитрым людям.

В конечном счете, это связано с механизмом обучения LLM.

Взяв в качестве примера GPT-3, OpenAI использовал для обучения этой модели 175 миллиардов параметров, изучая большой объем текстовых данных из Интернета, он может предсказывать следующее слово в тексте и отвечать на вопросы людей.

Что касается GPT-4, то появились новости о том, что его параметры обучения более чем в 10 раз превышают GPT-3, и он почти поглотил весь цифровой контент, накопленный людьми.Он содержит знания, и он, естественно, будет содержать информацию, которая не должна быть раскрыто содержание даже токсичной и вредной необъективной информации.

Инженеры ИИ могут только установить как можно больше защитных ограждений для ИИ, чтобы помочь ИИ распознавать человеческие «уловки», чтобы не произошла утечка опасной информации, например, о том, как сделать тротиловые бомбы и как взломать систему безопасности банка.

По сравнению с GPT3.5, GPT-4 на 82 % реже отвечает на запросы о запрещенном контенте и на 29 % более предписывает деликатные запросы, такие как медицинские советы и членовредительство.

Наглядный пример: когда вы проигрываете GPT-4 с подсказкой «Quintessence AI», GPT-4 тактично отклоняет ваш запрос, говоря, что не примет ваш набор.

Но это не значит, что безопасность масштабного ИИ гарантирована, эта информационная война между людьми и ИИ далека от завершения, и это даже не начало конца.

Недавно в совместном заявлении Университета Карнеги-Меллона и safe.ai говорилось, что механизм безопасности больших моделей гораздо более хрупок, чем предполагалось, и для взлома механизма безопасности больших моделей требуется всего лишь строка кодов.

Исследователи обнаружили, что средства защиты LLM, такие как ChatGPT, Bard и Claude, можно легко обойти, добавив определенные враждебные фразы к текстовой подсказке, обманом заставив LLM генерировать недопустимый вывод.

Эти враждебные фразы выглядят как тарабарщина, но на самом деле создаются с помощью специальной функции потерь, которая идентифицирует замаскированные слова, на которые модель отказывается отвечать, находит последовательности символов, которые обходят барьер, чтобы модель могла дать ответ, и может генерировать эти фразы автоматически.

Используя эти подсказки, исследователи могут легко позволить LLM рассказать об этапах изготовления незаконных наркотиков, методе изготовления смертоносного оружия и т. д., которые не следует раскрывать.

Будь то модели с открытым исходным кодом, такие как Pythia, Falcon, Guanaco, или коммерческие модели, такие как GPT-3.5 (87,9%), GPT-4 (53,6%), PaLM-2 (66%) и Claude-2 (2,1%). , нет Умею уворачиваться от атак.

Исследователи сообщили об уязвимости крупным компаниям, занимающимся искусственным интеллектом, чтобы инженеры по безопасности могли вовремя ее исправить.

Но, как и в случае с «бабушкиной уязвимостью», всегда будут появляться новые уязвимости при постоянном использовании пользователей. Нелегко защитить безопасность ИИ силой такой компании, как OpenAI. Компаниям, занимающимся ИИ, нужно больше. Поэтому несколько гигантов решили остановить инволюцию ИИ и превратить враждебность в дружбу.

Четыре ИИ-гиганта совместно обещают «продвинутое нераспространение ИИ».

Несколько недель назад семь ведущих ИИ-компаний, включая Microsoft, OpenAI, Google, Meta, Amazon, Anthropic (представительский продукт: Claude) и Inflection AI (представительный продукт: HeyPi), собрались в Белом доме в США и провели серию обязательства по обеспечению безопасности и прозрачности их продуктов.

Обязательства включают предоставление «экспертам в предметной области» возможности проводить внешнюю проверку своих продуктов ИИ и делиться информацией о рисках и уязвимостях друг с другом и с правительством США, инвестировать в кибербезопасность и защиту от внутренних угроз для защиты проприетарных и невыпущенных моделей Weights.

Гиганты также пообещали развернуть соответствующие механизмы проверки ИИ, такие как разработка системы водяных знаков, чтобы уточнить, какие тексты, изображения или другие творения являются продуктом ИИ, и пообещали, что будущие исследования будут отдавать приоритет пониманию ограничений и предубеждений ИИ для продвижения. безопасное развитие отрасли.

Полмесяца спустя четыре из семи ведущих ИИ-компаний — Microsoft, OpenAI, Google и Anthropic — снова объединились, чтобы сформировать организацию под названием «Форум пограничных моделей», чтобы гарантировать, что самые сильные модели крупного ИИ могут быть разработаны в безопасной среде. и ответственным образом.

И эти четыре ИИ-компании — четыре гиганта, разрабатывающие в настоящее время самые передовые модели ИИ, можно сказать, что они являются владельцами «ядерной бомбы ИИ».

Четыре гиганта ИИ достигли консенсуса, заявив, что они надеются свести к минимуму риски ИИ через «Форум пограничной модели», провести дополнительные исследования безопасности ИИ и поделиться передовым опытом в области безопасности с отраслью и общественностью и т. д.

Однако гиганты ИИ не представили подробностей о системе и договорах о реализации «Форума пограничных моделей».

В совместном заявлении «Frontier Model Forum» упоминается, что форум в первую очередь сосредоточится на исследованиях и будет стремиться разработать стандартизированные передовые методы оценки риска передовых моделей, опубликовав «общедоступную библиотеку решений». Форум постепенно разработает официальный устав, назначит консультативный совет и будет финансировать сотрудничество с группами гражданского общества.

Упомянутая здесь передовая модель относится к модели, которая «превосходит возможности самых передовых существующих моделей и может выполнять различные задачи», то есть разработать передовую модель, которая является более мощной, чем текущая модель и могут работать безопасно Затем возникают сложные проблемы, которые могут быть решены различными компаниями путем скучных исследований, что требует совместных усилий всей отрасли.

За полгода, прошедшие с тех пор, как ChatGPT стал популярным, ситуация в индустрии ИИ изменилась так же быстро, как и сама модель ИИ — вход в игру, борьба между моделями, достижение консенсуса и рукопожатие.

Причина, по которой гиганты решают проблему риска ИИ вместе, заключается в том, что они оба видят неограниченный потенциал ИИ на уровне приложений.

ИИ — будущее, в которое верят крупные производители

Независимо от вашего отношения к ИИ, ИИ станет важной частью приложений следующего поколения.

Это не моя бессвязная речь, а тенденция, которую крупные компании, такие как Microsoft и Google, упомянули в недавних отчетах о прибылях и убытках.

Последний финансовый отчет Microsoft показывает, что выручка Microsoft в последнем квартале составила 56,2 млрд долларов США, увеличившись на 8% по сравнению с прошлым годом, что в основном связано с ростом интеллектуальных облачных сред, производительности и бизнес-процессов, в то время как доходы от личных компьютерный бизнес, который является старым направлением, пришел в упадок.

Среди них операционный доход интеллектуального облака увеличился на 15%, а доход Azure и других облачных сервисов увеличился на 26%, что тесно связано с вычислениями ИИ.

Генеральный директор Microsoft Наделла упомянул в отчете о прибылях и убытках, что клиенты больше всего обеспокоены тем, как быстро применить ИИ нового поколения, и Microsoft будет по-прежнему уделять внимание трем основным приоритетам: помогать клиентам получать максимальную отдачу от Microsoft Cloud, продвигать новые изменения платформы ИИ. , и улучшение операций рычага.

ИИ, несомненно, является ключевым словом этой конференции по доходам.

Наделла сказал, что Microsoft 365 Copilot, как третий столп будущей работы, привлекает клиентов и начнет приносить реальный доход во второй половине финансового года; Bing Chat и Bing Image Creator привлекают пользователей, а доля браузера Edge продолжает расти.

Microsoft надеется превратить Windows 11 в мощное полотно для этой новой эры ИИ, расширить возможности различных продуктов Copilot для повышения производительности клиентов и вложить значительные средства в облачную инфраструктуру для удовлетворения потребностей ИИ. Даже игровой бизнес может использовать ИИ для предоставления более качественного контента и услуг и увеличения доходов бизнеса.

Можно сказать, что следующая стратегия Microsoft полностью связана с искусственным интеллектом. ИИ предоставляет Microsoft огромные возможности для роста и новые потоки доходов, которые будут стимулировать рост доходов и пользователей для большинства предприятий Microsoft и, в конечном итоге, увеличить общий рост доходов Microsoft. Наделла не хотел упускать эту редкую возможность.

Точно так же «AI Brother» Google не хочет пропустить это.

Согласно финансовому отчету Alphabet, материнской компании Google, за второй квартал 2023 года, общий доход Alphabet составил 74,6 млрд долларов США, увеличившись на 7% в годовом исчислении, из которых доходы от рекламы увеличились на 5%, доходы от услуг Google увеличились на 5%. Выручка от облачных вычислений увеличилась на 28%.

Среди них очень впечатляет эффективность бизнеса, связанная с ИИ. Alphabet упомянул на телефонной конференции, что генеративный опыт поисковой системы Google (SGR) использует генеративный ИИ, чтобы сделать поиск более естественным и интуитивно понятным, и отзывы пользователей очень положительные; с другой стороны, чат-бот Bard постоянно улучшался с момента его выпуска, с много функций.

Более 80 моделей искусственного интеллекта Google Cloud привлекли большое количество клиентов, и с апреля по июнь число клиентов увеличилось более чем в 15 раз.

А с точки зрения корпоративного обслуживания клиентов и пользовательских решений ИИ Google предоставила генеративный ИИ более чем 90 миллионам платных пользователей через Workspace и Duet AI.

В целом Alphabet сохраняет оптимизм в отношении долгосрочных перспектив роста ИИ и Google Cloud и продолжит увеличивать инвестиции в исследования и разработки ИИ.Направление исследований и разработок будет сосредоточено на основных технологиях, таких как большие языковые модели, а также на создании мультимодальные системы искусственного интеллекта, такие как Gemini Дождитесь новой модели.

Полгода назад вы, возможно, задавались вопросом, был ли ИИ модным словом в инвестиционном кругу, как Web3 и блокчейн.После волны горячих денег он будет забыт капиталом, но через полгода вы обнаружите, что влияние ИИ и возможности приземления Они намного больше, чем различные передовые словари раньше, так что они привлекли внимание всего технологического круга.

Судя по планам крупных производителей, ИИ, как правило, будет существовать как нижний слой будущих программных приложений, служащий для улучшения взаимодействия с пользователем. Пользователи могут не ощущать существования ИИ, но они могут непосредственно наслаждаться удобством, которое дает ИИ.Это будущее, в которое верят крупные производители.

Это также может объяснить, почему гиганты ИИ, такие как Microsoft и Google, готовы сложить оружие и сесть за совместное определение стандартов безопасности ИИ.

ИИ на данном этапе подобен эпохе, когда автомобиль только родился в конце 19 века.Изделие уже бегает по дорогам, но нет подходящей асфальтовой дороги для него, да и пробок нет правила, чтобы планировать свои действия.Он работает медленно и опасно.

Билл Гейтс недавно опубликовал в своем личном блоге свои взгляды на ИИ.Он ​​считает, что сейчас мы находимся на самом раннем этапе другого великого изменения, эры ИИ.ИИ меняется так быстро, что мы не можем четко предсказать, что будет дальше.Что происходит следующий.

Но он положительно относится к развитию искусственного интеллекта, потому что человечество пережило век автомобилей и атомной энергии, и в эпоху ИИ мы все еще можем решать задачи, которые приносят новые технологии.

Так что сиди спокойно, пока мы становимся свидетелями рождения новой эры.

#Добро пожаловать в официальный публичный аккаунт Айфанер в WeChat: Айфанер (идентификатор WeChat: ifanr), в ближайшее время вам будет представлен более интересный контент.

Ай Фанер | Оригинальная ссылка · Просмотреть комментарии · Sina Weibo