В эту эпоху Трансформеры являются наиболее мощными моделями, которые обеспечили наилучшие результаты в многочисленных операциях НЛП (обработки естественного языка). Первоначально он использовался для задач языкового моделирования, включая генерацию текста, классификацию, машинный перевод и многое другое. Но теперь он также используется для распознавания объектов, классификации изображений и множества других задач компьютерного зрения.
В этом уроке мы предоставим процедуру выполнения классификации текста с помощью Transformers.
Как выполнить классификацию текста с помощью преобразователей?
Чтобы выполнить классификацию текста с помощью Трансформеров, прежде всего установите « трансформаторы » библиотеки, выполнив предоставленную команду:
! пункт установить трансформаторы
Как видите, указанная библиотека успешно установлена:
Затем импортируйте « трубопровод ' из ' трансформаторы » библиотека:
из трубопровода импорта трансформаторов
Здесь « трубопровод » будет включать в себя задачу НЛП, которую нам необходимо выполнить, и желаемую модель преобразователя для этой операции вместе с токенизатором.
Примечание: Токенизатор используется для обработки текста, который будет предоставлен на вход модели, путем разделения текста на токены.
После этого используйте « трубопровод() ” и передайте ей функцию “ классификация нулевого выстрела в качестве аргумента. Затем передайте еще один параметр — нашу модель. Мы используем Facebook « БАРТ Модель трансформера. Здесь мы не используем токенизатор, поскольку он может быть автоматически выведен указанной моделью:
text_classifier = конвейер ( 'классификация с нулевым выстрелом' , модель '=' 'facebook/барт-большой-мнли' )
Теперь объявите « последовательность »переменная, содержащая входной текст, который необходимо классифицировать. Затем мы указываем категории, по которым мы хотим классифицировать текст, и сохраняем их в папке « лаборатория », которые известны как метки:
лаборатория = [ 'обновлять' , 'ошибка' , 'важный' , 'проверка' ]
Наконец, запустите конвейер вместе с входными данными:
Как вы можете видеть, после выполнения конвейера модель предсказала, что предоставленная нами последовательность будет классифицирована:
Дополнительная информация: Если вы хотите ускорить производительность модели, вам необходимо использовать графический процессор. Если да, то для этой цели вы можете указать аргумент устройства для конвейера и установить для него значение « 0 », чтобы использовать графический процессор.
Если вы хотите классифицировать текст более чем в одном операторе последовательности/ввода текста, вы можете добавить их в список и передать его в качестве входных данных в конвейеры. Для этого посмотрите фрагмент кода:
последовательность '=' [ «Корректура и редактирование являются необходимыми компонентами для обеспечения ясности, связности и отсутствия ошибок в содержании» ,«В современную эпоху SEO-оптимизация необходима для того, чтобы статьи имели хороший рейтинг и охватывали более широкую аудиторию» ]
text_classifier ( последовательность , лаборатория )
Выход
Вот и все! Мы собрали самый простой способ классификации текста с помощью Трансформеров.
Заключение
Трансформаторы используются для выполнения задач языкового моделирования, таких как генерация текста, классификация текста и машинный перевод, а также задач компьютерного зрения, включая распознавание объектов и классификацию изображений. В этом уроке мы проиллюстрировали процесс классификации текста с помощью Transformers.