Знаете ли вы, что можете запустить свой собственный экземпляр чатбота ИИ на базе LLM с GPT на ПК Ryzen™ AI или видеокарте серии Radeon™ 7000? ИИ-помощники быстро становятся необходимыми ресурсами, помогающими повысить производительность, эффективность или даже провести мозговой штурм для поиска идей. Локальный ИИ-чатбот на вашей машине не только не требует подключения к Интернету, но и ваши разговоры остаются на вашей локальной машине.
Чтобы запустить свой собственный чатбот с искусственным интеллектом, следуйте приведенным ниже инструкциям:
1.Загрузите правильную версию LM Studio:
| Для процессоров AMD Ryzen | Для видеокарт серии AMD Radeon RX 7000 |
| LM Studio — Windows | LM Studio – ROCm™ technical preview |
- Запустите файл.
- На вкладке «Поиск» скопируйте и вставьте следующий поисковый запрос в зависимости от того, что вы хотите запустить:
a. Если вы хотите запустить Mistral 7b, найдите: «TheBloke/OpenHermes-2.5-Mistral-7B-GGUF» и выберите его из результатов слева. Как правило, это будет первый результат. В данном примере мы выбрали Мистраль.
b. Если вы хотите запустить LLAMA v2 7b, выполните поиск: «TheBloke/Llama-2-7B-Chat-GGUF» и выберите его из результатов слева. Как правило, это будет первый результат.
c. Здесь вы также можете поэкспериментировать с другими моделями.
Снимок интерфейса LM Studio, отображающий сведения о модели «TheBloke/Llama-2-7B-Chat-GGUF» с информацией о емкости RAM и VRAM.
- На правой панели прокрутите вниз, пока не увидите файл модели Q4 K M. Нажмите кнопку «Загрузить».
a. Мы рекомендуем Q4 K M для большинства моделей на Ryzen AI. Дождитесь окончания загрузки.
Список загружаемых файлов моделей, один из которых отмечен как «Загруженный» и указывает на возможности разгрузки GPU.
- Перейдите на вкладку «Чат». Выберите модель из центрального выпадающего меню в верхней части экрана и дождитесь окончания загрузки.
Снимок интерфейса чата для языковой модели, на котором показано использование оперативной памяти, параметры чата и область ввода пользователя.
- Если у вас есть компьютер с AMD Ryzen AI, вы можете начать общаться!
a. Если у вас есть видеокарта AMD Radeon™, пожалуйста:
i. Установите флажок «Разгрузка GPU» на правой боковой панели.
ii. Переместите ползунок до упора в положение «Макс».
iii. Убедитесь, что AMD ROCm™ отображается в качестве обнаруженного типа GPU.
Пользовательский интерфейс приложения для чата с языковой моделью, показывающий настройки ускорения GPU и параметры конфигурации чата.
iv. Начните общаться!
Источник: Наш техноблог!
