Что такое обработка естественного языка и как она работает?

Дядя Влад

Вы когда-нибудь задумывались, как работают виртуальные помощники, такие как Siri и Cortana? Как они понимают, что вы говорите?

Что ж, часть ответа – обработка естественного языка . Эта интересная область искусственного интеллекта привела к огромным прорывам за последние несколько лет, но как именно это работает?

Читайте дальше, чтобы узнать больше об обработке естественного языка, о том, как она работает и как она используется, чтобы сделать нашу жизнь более удобной.

Что такое обработка естественного языка?

Обработка естественного языка или НЛП – это то, как компьютеры могут понимать человеческие языки. Например, когда вы разговариваете с голосовыми виртуальными помощниками, такими как Алекса или Сири , они слушают, понимают вашу речь и выполняют действие на основе того, что вы сказали.

Традиционно люди могли общаться с компьютерами только через язык программирования, на котором они были закодированы с помощью определенных команд. Код по своей сути структурирован и логичен, и одни и те же команды всегда будут давать одинаковый результат.

Напротив, человеческий язык неструктурирован и намного сложнее. Одно и то же слово или предложение может иметь несколько значений в зависимости от интонации и контекста. И есть много разных языков.

Итак, как ИИ может понять, что мы говорим?

Как работает НЛП?

НЛП обучается с помощью машинного обучения. Машинное обучение – это ветвь искусственного интеллекта, которая преобразует большие объемы данных в алгоритм, который обучается давать точные прогнозы. Чем больше данных и времени у алгоритма, тем лучше он становится. Вот почему машины НЛП сегодня намного лучше, чем десять лет назад.

НЛП работает путем предварительной обработки текста, а затем прогоняет его через алгоритм, обученный машинному обучению.

Шаги предварительной обработки

Вот четыре общих шага предварительной обработки, которые будет использовать машина НЛП.

  • Токенизация: токенизация – это процесс разбиения речи или текста на более мелкие единицы (называемые токенами). Это либо отдельные слова, либо предложения. Токенизация важна, потому что она позволяет программному обеспечению определять, какие слова присутствуют, что приводит к следующим этапам обработки НЛП.
  • Стемминг и лемматизация : стемминг и лемматизация – это упрощающие процессы, которые сводят каждое слово к его корневому слову. Например, «бег» в «бег». Это позволяет NLP быстрее обрабатывать текст.

Создание основы – более простой процесс, который включает удаление любых аффиксов из слова. Аффиксы – это дополнения к началу и концу слова, которые придают ему немного иное значение. Однако выделение корней может привести к ошибкам, если похожие слова имеют разные корни. Рассмотрим слова «верблюд» и «пришел». Стебель может сократить «верблюд» до «пришел», несмотря на совершенно разные значения.

Лемматизация намного сложнее и точнее. Это включает в себя сокращение слова до их леммы, которая является базовой формой слова (как найдено в словаре). Лемматизация учитывает контекст и основана на лексическом и морфологическом анализе слов. Хороший пример – «забота». Стебель может свести «заботу» к «машине», тогда как лемматизация точно сведет ее к «заботе».

Другой метод, известный как удаление стоп-слова, работает вместе с обоими процессами . Это простое удаление слов, которые не добавляют релевантной информации к значению речи, таких как «at» и «a».

Задачи алгоритма машинного обучения

После предварительной обработки текста машина НЛП может делать несколько вещей в зависимости от своего намерения.

  • Анализ тональности : процесс классификации тональности текста. Например, положительный, нейтральный или отрицательный отзыв о продукте.
  • Классификация тем: здесь определяется основная тема текста. Машина НЛП может помечать документы, абзацы и предложения по той теме, которую они касаются.
  • Обнаружение намерения: это процесс определения намерения за конкретным текстом. Например, это может помочь предприятиям определить, хотят ли клиенты отказаться от подписки или заинтересованы в продукте.
  • Маркировка части речи: после токенизации машина НЛП помечает каждое слово идентификатором. К ним относятся обозначение слов как существительных, глаголов, прилагательных и т. Д.
  • Распознавание речи: это задача преобразования речи в текст, которая особенно сложна из-за различий в акценте, интонации, грамматике и интонации между людьми.
  • Распознавание именованных сущностей: процесс определения полезных имен, таких как «Англия» или «Google». Это сочетается с разрешением кореферентности, определяющим, относятся ли два слова к одному и тому же, например «Алиса», а затем «она».
  • Генерация естественного языка: это противоположность преобразования речи в текст, и именно так машины НЛП могут генерировать речь или текст для обратной связи.

Почему так важно НЛП?

Обработка естественного языка – это огромная и постоянно растущая область, которая включает в себя множество функций. Некоторые из основных применений НЛП:

  • Анализ онлайн-информации: предприятия и исследователи могут использовать НЛП для преобразования массивов текстовых данных в полезную информацию. Например, комментарии в социальных сетях, обзоры, тикеты в службу поддержки и даже статьи. NLP может анализировать их для выявления тенденций и понимания ценности для бизнеса.
  • Языковой перевод: такие приложения, как Google Translate, используют машины NLP для преобразования одного языка в другой.
  • Проверка орфографии и грамматики: текстовые процессоры и приложения, такие как Grammarly, проверяют ваш текст на орфографические и грамматические ошибки, читаемость, пассивный голос и т. Д., Чтобы улучшить ваше письмо.
  • Интерактивный голосовой ответ (IVR): телефонные боты позволяют людям общаться с компьютерной телефонной системой для выполнения перенаправлений и других задач.
  • Виртуальные помощники: личные помощники, такие как Siri, Cortana, Bixby, Google Assistant и Alexa, используют NLP для прослушивания ваших запросов и получения ответов или выполнения действий в зависимости от того, что вы говорите.
  • Интеллектуальный ввод текста : ваш смартфон автоматически подбирает слова на основе нескольких букв или того, что вы уже написали в предложении. Смартфон учится на основе предложений, которые вы обычно набираете, и предлагает слова, которые вы, скорее всего, будете использовать. Фактически, Microsoft Word скоро реализует эту функцию .
  • Чат-боты: на многих веб-сайтах теперь есть виртуальные боты по обслуживанию клиентов, которые будут пытаться помочь клиентам до того, как их направят к оператору.

Роботы-переговорщики

Обработка естественного языка меняет то, как мы общаемся с роботами и как они общаются с нами. Bloomberg News использует систему искусственного интеллекта Cyborg для создания почти трети своего контента. Между тем, Forbes, The Guardian и The Washington Post используют ИИ для написания новостных статей.

И все это возможно только благодаря НЛП!