Анонс Optima: конструктор кастомных бенчмарков под задачи бизнеса
Инструмент создания персонализированных тестов: загружайте свои документы и измеряйте точность моделей именно на ваших данных.
Мы запускаем Оптиму. Теперь любой может создать собственный тест для своего варианта использования, используя исследования и платформу Искусственного анализа: создайте тест на основе собственных файлов, трассировок агентов или среды кодирования, запустите его на ведущих моделях одним щелчком мыши и сравните качество с затратами на задачу и временем на задачу.
Представляем Оптиму
Создавать и проводить тесты сложно. Мы объединили исследования и опыт искусственного анализа в разработке тестов в Optima, новой платформе для тестирования моделей на ваших собственных рабочих нагрузках и сравнения производительности, скорости и экономической эффективности.
Optima позволяет вам найти лучшую модель для вашей задачи или равноценную по производительности альтернативу вашей текущей установке с в 10 раз меньшими затратами или временем на каждую задачу.
Как работает Оптима
Мы применили подходы и инфраструктуру сравнительного анализа, которые мы используем в искусственном анализе, во всех частях Optima.
Что создали тестеры предварительной версии
Перед запуском мы предоставили группе тестировщиков предварительной версии доступ к Optima. Примеры созданных ими тестов включают в себя
- Какая модель поможет мне сэкономить в 10 раз больше без существенного снижения качества работы моего финансового и бухгалтерского агента?
- Какая модель лучше всего соответствует стилю письма юристов моего юридического агента?
- Какая модель может лучше всего идентифицировать различные элементы в моем пользовательском наборе данных изображений?
Начать
Оптима доступна сегодня. Создайте свой собственный тест и отметьте @ArtificialAnlys тем, что вы создадите.
