Petals
Что такое Petals?
Инструмент лепесток-это децентрализованная платформа, которая запускает большую языковую модель, такую как Bloom-176b. Он способен загружать небольшие части модели для выполнения вывода и тонкой настройки. Однократный вывод занимает приблизительно 1 секунду за шаг (токен) и может выполнять параллельный вывод до сотен жетонов/сек. Этот инструмент предлагает больше, чем просто API классической языковой модели, используя методы отбора точной настройки и позволяет пользователям выполнять пользовательские пути и видеть скрытые состояния. Petal также предлагает гибкий Pytorch API. Он является частью проекта мастерской BigScience Research.
Особенности Petals:
✔ Децентрализованная платформа
✔ Большая языковая модель типа bloom-176b
✔ Однократный вывод
✔ тонкая настройка
✔ Гибкий Pytorch API
Идеи для работы с Petals:
1. Обработка естественного языка.
2. Генерация текста.
3. Анализ настроений.
