В 1000 раз дешевле: Gemini против российских LLM для антиспам-проекта
Коллеги, у меня работает антиспам-бот SpamAway. Проверяет сообщения нейронкой в реальном времени, 10+ чатов. Естественный вопрос: может, перейти на российские модели? GigaChat, YandexGPT. Они русский понимают отлично, сарказм ловят, крипто-спам распознают.
Посчитал. Не перейду.
#Математика одной проверки
Спам-сообщение: 50-100 токенов. Промпт с примерами: ~500. Итого ~600 токенов на проверку.
#GigaChat (Сбер), бесплатный тир
900 000 токенов в год на Lite. Делим на 600. Получаем 1500 проверок. В год. Это меньше пяти в день. Плюс ограничение в один поток: если три сообщения прилетели одновременно, два стоят в очереди.
#YandexGPT
Бесплатного тира нет. Есть грант 4000 рублей на 60 дней. Потом 20 копеек за 1000 токенов. Дешево, но нужна привязка к Yandex Cloud, биллинг, карта. Для пет-проекта это лишний порог.
#Gemini Flash (Google)
1 миллион токенов в день бесплатно. 15 запросов в минуту. Это ~1600 проверок в день. 580 000+ в год. Разница с GigaChat: в 387 раз.
Пока кто-то выбирает между GigaChat Lite и Pro, бот на Gemini Flash уже обработал весь дневной поток сообщений и не потратил ни копейки.
В следующем посте покажу, как устроен промпт SpamAway: few-shot примеры, edge-кейсы и почему бот не банит сообщение "продам гараж".
Подписывайтесь на канал @popovvii — больше кейсов и инсайтов из мира AI и автоматизации.
