Microsoft VisualGPT выпускает новую технологию « ВизуальныйGPT Это развитие искусственного интеллекта, открывающее возможности для более привлекательного и интерактивного опыта искусственного интеллекта за счет преодоления разрыва между визуальными эффектами и языком.
Что такое VisualGPT?
VisualGPT — это расширенная версия ChatGPT, основанная на моделях NLP (обработка естественного языка), но в VisualGPT используется VFMS, который может преобразовывать текстовые запросы в форму изображения. Это так, что это комбинация/интеграция текстовых и графических запросов.
Цель VisualGPT
После выпуска на рынок ChatGPT, который работал только с текстовым форматом, для достижения следующего уровня развития появился идеальный инструмент, который будет работать с текстовым форматом на графический, следуя всем этим причинам и в гонке за искусственным интеллектом. продвижение Microsoft выпускает VisualGPT. Основная цель VisualGPT — создание изображений AI по запросу пользователя или анализ изображения.
Архитектура VisualGPT
VisualGPT содержит пользовательский запрос, диспетчер подсказок, модели Visual Foundation (VFM), принцип системы, историю диалога, историю рассуждений и промежуточный ответ.
Если говорить конкретно о его модели, т.е. VFM (визуальные базовые модели) используется почти 22 VFM, таких как BLIP (предварительная подготовка языка и изображения) и Stable Diffusion.
Как запустить визуальный чатGPT?
Чтобы запустить Visual ChatGPT, выполните следующие действия:
Шаг 1: Создайте среду
Во-первых, вам необходимо создать среду Python версии 3.8:
импорт системы
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Шаг 2. Клонирование файла Visual ChatGPT
Теперь клонируйте визуальный файл ChatGPT из GitHub, используя следующую команду:
! git клон https: // github.com / Дипаншу88 / визуальный-чатgpt.git 
Шаг 3. Создайте новый каталог
После этого настройте новый каталог с помощью приведенной ниже команды:
% CD визуальный-чатgptШаг 4. Установите необходимые пакеты
Теперь установите необходимые пакеты, используя « точка » командлет:
! локон https: // bootstrap.pypa.io / get-pip.py -О get-pip.py! python3.8 get-pip.py
! питон3.8 -м точка установить -р требования.txt
Шаг 5. Доступ к API OpenAI
После установки исходных пакетов получите доступ к API OpenAI, получив ключ API с сайта «platform.openai.com» и выполнив аутентифицированные вызовы API:
% окружение OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxШаг 6: Выберите модель
Наконец, после доступа к Openai выберите модель. В VisualGPT используется более 20 моделей, которые вы можете выбрать в соответствии с вашими требованиями:
! питон3.8. / Visual_chatgpt.py --нагрузка Text2Image_cuda: 0В приведенной выше команде « Текст2Изображение » соответствует используемой модели. Для получения более подробной информации проверьте этот Google Colab. блокнот .
Заключение
ChatGPT был введен для получения конкретных ответов на любой запрос, а теперь Microsoft запустила VisualGPT, который может работать как с текстовыми, так и с графическими данными. Это так, что пользователь может просто добавить свои требования в текстовой форме и получить графический результат.