Как использовать ретриверы в LangChain?

В этом посте будет продемонстрирован процесс использования ретриверов в LangChain.

Как использовать ретриверы в LangChain?

Ретриверы действуют как интерфейс между моделями и людьми, поэтому они могут использовать его для получения желаемого результата, используя входные данные, представленные на естественных языках. Хранилища векторов используются для хранения данных, которые можно использовать для получения/извлечения информации/данных.

Однако ретриверы более общие, чем эти базы данных. Они не хранят никаких данных и используются только для получения или извлечения данных для пользователей. Чтобы изучить процесс создания и использования ретриверов через LangChain, выполните следующие шаги:

Шаг 1. Установите модули
Сначала установите необходимые модули, такие как LangChain, чтобы библиотеки и зависимости продолжили процесс:

Установите векторное хранилище chromadb, которое можно использовать для данных базы данных, чтобы ретривер мог получать данные из хранилища:

Теперь установите инфраструктуру OpenAI, чтобы получить библиотеки для использования встраивания текста перед созданием ретривера:

После установки всех необходимых модулей просто настройте среду с помощью ключа OpenAI API:

Шаг 2. Загрузите набор данных.
Теперь выполните следующий код, чтобы щелкнуть значок «Выбрать файлы» кнопку и загрузите документ или файл из локальной системы:

Шаг 3. Импортируйте библиотеки
Импортируйте необходимые библиотеки для создания и использования ретриверов в LangChain, например: « Список ', ' Обратные вызовы » и многое другое:

Шаг 4. Создание однострочного индекса
На этом этапе создается индекс для средства извлечения, который можно использовать для получения данных для формирования векторного хранилища путем импорта необходимых библиотек:

Здесь загрузите данные, используя ТекстЗагрузчик() метод с путем к файлу, загруженному на шаге 2:

Импортировать библиотеку ВектормагазинИндексСоздатель из LangChain для создания индекса для базы данных:

Определите индекс переменную с помощью метода VectorstoreIndexCreator() с использованием погрузчик переменная:

Примените запрос для проверки индекса путем получения данных из документа:

Получите подробную информацию об индексе относительно того, какая база данных имеет индекс используя следующий код:

Следующий код объяснит все подробности об индексе, его типе и базе данных:

Используйте индекс с методом query(), запрашивающим краткую информацию о документе, используя аргумент источника, чтобы использовать имя документа:

Шаг 5: Создайте встраивания
Загрузите документ для создания его встраивания и сохраните текст в числовой форме, используя векторное хранилище:

Запустите процесс встраивания с помощью text_splitter с размером кусков и аргументами перекрытия:

Примените метод OpenAIEmbeddings(), который можно импортировать из LangChain:

Используйте хранилище chromadb для хранения вложений, созданных из документа:

Шаг 6: Проверьте ретривера
После того, как внедрения созданы и сохранены в базе данных, просто определите переменную ретривера:

Вызовите цепочки с помощью метода RetrivalQA() с функцией OpenAI() и ретривером в качестве аргументов:

Предоставьте входные данные для тестирования ретривера с помощью запрос переменная внутри метода qa.run():

Просто настройте ВектормагазинИндексСоздатель () используя свои аргументы для установки разных значений:

Это все, что касается процесса начала работы с ретриверами в LangChain.

Заключение

Чтобы использовать ретриверы в LangChain, просто установите зависимости, необходимые для настройки среды OpenAI, а затем загрузите документ для тестирования ретриверов. После этого создайте средство извлечения, используя абстрактный базовый класс или библиотеку ABC, а затем создайте индекс для базы данных для извлечения данных. Настройте встраивания для документа и запустите средство извлечения, чтобы получить сопоставимые результаты из базы данных. В этом посте подробно описан процесс использования ретриверов в LangChain.