Почему письмо с помощью ChatGPT усложняет мою жизнь

Я помню, когда впервые появился ChatGPT , и первое, что все начали говорить, было: «Писателям конец». Люди начали рассуждать о том, что новостные сайты, блоги и практически весь письменный интернет-контент будут генерироваться искусственным интеллектом — и хотя эти прогнозы показались мне экстремальными, я также был очень впечатлен текстом, который может создать GPT.

Естественно, мне пришлось опробовать этот необычный новый инструмент на себе, но я быстро обнаружил, что результаты оказались не такими впечатляющими, как казалось. Перенесемся более чем на два года вперед, и с точки зрения моего опыта и вариантов использования ничего не изменилось: всякий раз, когда я использую ChatGPT, чтобы помочь с написанием текста, все, что он делает, это замедляет меня и расстраивает.

ChatGPT может генерировать действительно хорошие вещи. Он может создавать естественный, связный, даже остроумный и интересный язык. Но большинство ярких примеров, которые вы склонны видеть, происходят из чрезвычайно простых подсказок — подсказок типа «напиши стихотворение о покупках в Walmart, но в стиле Уильяма Шекспира», которые все делали еще в 2023 году.

Извините, я просто не могу быть циничным по отношению к технологии, которая может это сделать. pic.twitter.com/yjlY72eZ0m

– Томас Х. Птачек (@tqbf) 2 декабря 2022 г.

Когда вы просите о чем-то подобном, результат становится замечательным отчасти потому, что он неожиданный. По сути, вы попросили его удивить вас, и в большинстве случаев это удастся.

С другой стороны, когда вы пытаетесь использовать ChatGPT для скучной старой письменной работы, это совсем другая история. Во-первых, для таких штук это бесполезно. Все, что я сейчас пишу, касается моего собственного опыта и мнений — ИИ не может написать их за меня. Некоторые люди могут возразить, что это может помочь вам планировать, проводить мозговой штурм или уточнять аргументы, но мне все равно никогда не нужна была помощь в подобных вещах.

На самом деле я пытался использовать ChatGPT для блогов компаний. Вы знаете этот тип — пояснения, инструкции и рекомендательные посты, посвященные темам, связанным с компанией и ее продуктами (с добавлением некоторой тонкой саморекламы). Когда вы пишете такого рода вещи, вам часто предъявляют множество требований: руководство по стилю языка и грамматики, ключевые слова для вставки, источники, которые следует включать, источники, которых следует избегать, а также план контента с заранее определенными заголовками, структурой и ключевыми моментами.

Если бы я хотел получить какую-нибудь полезную копию, я не мог бы просто передать GPT однострочное приглашение и позволить ему работать. Итак, я попробовал структуру, которая выглядела так:

• Предварительная «контекстная» подсказка, объясняющая, что я пишу и о чем собираюсь спросить, а также пример абзаца, показывающий стиль языка, который мне нужен.
• Последующие подсказки с «схемами содержания», в которых содержался один или два заголовка вместе с пунктами о том, что следует осветить.

Я бы никогда не просил слишком многого сразу, и, поскольку я не доверял ему добавлять статистику и источники, я бы оставил все это, чтобы потом сделать это сам.

Но как бы я ни пытался разбить работу на небольшие куски и дать предельно четкие инструкции, я всегда сталкивался с одними и теми же проблемами:

1. ChatGPT ужасно слушает инструкции.
2. У него есть плохая привычка заходить слишком далеко.
3. В текст довольно часто попадает неверная или нерелевантная информация.
4. Его «стиль письма» очень быстро становится повторяющимся и клише.
5. При возникновении любой из вышеперечисленных проблем практически невозможно заставить LLM успешно пересмотреть или исправить свои результаты.

Позвольте мне показать вам, что я имею в виду.

Когда вы пытаетесь получить очень конкретный результат от ChatGPT, вам необходимо дать конкретные инструкции. К сожалению, создается впечатление, что чем больше вещей вы запрашиваете, тем больше вероятность, что GPT проигнорирует некоторые из них. В моих подсказках должны были быть заголовки, пункты содержания, количество слов, инструкции по форматированию, а чат-бот также должен был запомнить инструкции по стилю с самого начала сеанса. Я пробовал много разных подходов для упрощения, но всегда казалось, что ChatGPT просто не может справиться с таким количеством инструкций.

У меня часто возникали проблемы с двумя конкретными вещами: подсчетом слов и пунктами списка. LLM редко давал мне то количество слов, которое я просил (обычно давал мне что-то гораздо меньше, чем намного больше), и он никогда не слушал меня, когда я говорил, что хочу или не хочу каких-либо пунктов.

Иногда это поправимо — скажем, я хотел 200 слов с маркерами, но получил 300 слов без маркеров. Достаточно быстро вырезать несколько слов и вставить туда несколько пунктов. К сожалению, мне всегда казалось, что я допустил ошибки, которые труднее исправить.

Когда вы просите 500 слов без пунктов и получаете 200 слов с пунктами — вам, по сути, приходится делать большую часть работы самостоятельно.

Когда вы говорите ChatGPT, что хотите чего-то конкретного, например дружелюбного языка или точки зрения второго лица, он имеет тенденцию цепляться за эти концепции и сходить с ума от них.

Дружественный язык превращается в полноценный язык текстового чата с эмодзи, а перспектива от второго лица каким-то образом превращается в чрезмерные вопросы и ссылки на читателя, чтобы он мог использовать местоимение «вы» как можно чаще.

Вы также немного застряли, если хотите много чего-то вроде примеров или цитат. Если вы просто сообщите GPT, что хотите «много», «много» или «много» чего-либо, он, вероятно, даст вам двойную или тройную сумму, которую вы хотите. Если вы дадите ему определенное число, оно, скорее всего, полностью проигнорирует его и выдаст вам что-то случайное. Другими словами, вы едва можете контролировать результат.

Мы все знаем, что ИИ «галлюцинирует» и в случайное время неправильно интерпретирует факты — это случается достаточно часто, что вам приходится проверять все, что он говорит, что занимает много времени и влияет на то, сколько времени вы можете сэкономить, используя его.

Чтобы бороться с этим, я практически никогда не спрашивал фактов или цифр. Я пробовал несколько раз в самом начале, но процесс проверки фактов действительно утомительный, и я быстро перестал беспокоиться.

Проблема в том, что GPT будет выдавать случайные неточности в своих ответах независимо от того, запрашиваете ли вы факты и цифры или нет. Это означает, что вы не можете просто проверить, насколько хорошо текст читается или довольны ли вы теми моментами, которые он пытается донести — вы должны проверить и принять во внимание достоверность всего, что в нем говорится. Это такое бремя.

И поскольку я говорю здесь об ошибках и галлюцинациях, я мог бы также упомянуть и о «наихудшем сценарии». Иногда LLM просто сходит с рельсов , и хотя это происходит не всегда, когда это происходит, вам придется выбросить этот сеанс в мусорное ведро и потратить время на вставку своих подсказок в новый чат и начинать все сначала. Лично я никогда не видел, чтобы ChatGPT сходил с ума особенно забавным образом, но мой друг однажды получил этот драгоценный камень:

На первый взгляд кажется безумием, насколько «человечным» может звучать ChatGPT. Но по мере того, как вы используете его все больше и больше, вы понимаете, что он звучит не просто по-человечески, он звучит как «средний человек».

Наборы данных OpenAI включают большую часть Интернета — миллионы интернет-статей, тредов Reddit и личных блогов. И мне жаль это говорить, но большая часть этого контента — полный мусор. Но поскольку ChatGPT обучен на нем, он перенимает все наиболее распространенные вредные привычки.

Поэтому, когда вы генерируете много текста с помощью ChatGPT, вы начинаете замечать, что определенные структуры предложений и фразы часто повторяются. Двумя худшими виновниками для меня были эти две структуры предложений:

• «От А и Б к С и D, бла-бла-бла». (Пример: в мире TikTok найдется место для каждого — от энтузиастов DIY и гуру красоты до любителей домашних животных и педагогов. )
• «Независимо от того, А или Б, бла-бла-бла». (Пример: независимо от того, начинаете ли вы или хотите повысить уровень своего канала, использование умных стратегий для создания подлинного взаимодействия является ключом к выделению. )

ChatGPT настолько нравятся эти две структуры предложений, что я почти гарантированно получал три или четыре из них за каждый сеанс. Эти два примера даже взяты из одного и того же абзаца одного из его ответов. И эта фраза «В мире…» в первом примере — еще один способ начать предложение. Все это скучно, клише и до смешного злоупотреблено (это, конечно, та самая причина, по которой ChatGPT генерирует их так много). Я даже пытался прямо запретить определенные фразы и типы предложений, начиная каждую подсказку с такого небольшого списка:

Люди говорят, что в наши дни почти невозможно отличить текст, сгенерированный ИИ, от текста, написанного человеком, но я с этим не согласен. Если вы сами пытались использовать эти инструменты искусственного интеллекта и столкнулись со всеми проблемами и вредными привычками, вы узнаете множество контрольных признаков. Когда люди смешивают контент искусственного интеллекта с материалами, написанными людьми, и сильно редактируют большую часть вывода ChatGPT, вы можете полностью скрыть это. Но контент, который просто взят прямо из языковой модели и опубликован практически как есть, — вы можете это заметить. Вы можете сказать это довольно легко.

Реальная проблема со всем этим заключается в том, что при возникновении проблемы ChatGPT редко может решить ее в одиночку. Всякий раз, когда что-то шло не так, я пытался один или два раза объяснить проблему и попросить внести изменения, но это просто не помогало.

Если бы я попросил правильное количество слов, в большинстве случаев я бы снова получил то же количество слов. Если бы я попросил его избавиться от пунктов списка, он бы сказал: «Конечно!» а затем дайте мне больше пунктов. Если бы я попросил его отрегулировать тон или стиль, ему было бы сложно применить изменения по всем направлениям, и в итоге я получил бы странную смесь того и другого.

Возможно, если бы вы просто продолжали повторно запрашивать и регенерировать ответы ChatGPT, в конечном итоге вы бы довольно близко подошли к тому, что хотели. Проблема для меня в том, что я писатель, а использование ChatGPT заставляет меня вместо этого выполнять роль редактора.

Вероятно, это не проблема для всех — многие писатели также вносят редактирование в рамках своей работы, но меня это действительно беспокоит. Я ненавижу редактировать работу других людей и ненавижу редактировать выходные данные GPT.

Что касается того, как часто что-то шло не так — когда каждая сессия длится несколько часов и содержит более 30 подсказок, вы почти всегда где-то сталкиваетесь с проблемой.

Я действительно пытался в течение нескольких месяцев научиться использовать ChatGPT еще в 2023 году и вернулся к нему после крупных обновлений в течение следующих двух лет, но мой опыт никогда не менялся. Я пробовал и другие LLM, но даже новые модели «рассуждения», которые выпаливают внутренний монолог перед ответом, по-прежнему имеют те же проблемы с удобством использования.

Текущие модели LLM просто не ускоряют процесс написания для меня — все, что они делают, это заставляют меня тратить время на то, что я ненавижу, вместо того, чтобы просто тратить время на то, что мне нравится. Если вы ненавидите писать и никогда не хотите этого делать, ChatGPT наверняка вам поможет. Но если писательство является для вас хобби или тем, чем вы решили заниматься на жизнь, это занятие, скорее всего, сведет вас с ума.

В конце концов, я так и не опубликовал ничего, что можно было бы назвать «созданным ИИ». Каждый раз, когда я пытался, как говорится, «интегрировать это в свой рабочий процесс», я в конечном итоге бился головой о стену, терял кучу времени, а затем закрывал дело, когда понимал, что ничего не добился, а срок уже не за горами.