Дешевые токены
👁 461↗ 2💬 19
И так! А у меня тут есть небольшой вопрос про абуз подписок)
Я искал агрегатор нейронок для одного из своих проектов и нашел сервис, где стоимость токенов дешевле более чем в 2 раза относительно официального поставщика.
Я точно не знаю, у меня нет прямых доказательств как это работает, но все признаки говорят о том, что они абузят подписки.
То есть закупают пользовательские аккаунты по $100-$200 и так получают условный безлимит, а дальше подключают их к своей системе, и пользователь, делая запрос в их API, на самом деле отправляет его на пользовательскую подписку.
Но например Anthropic жёстко это палит и блокирует, потому что так делать запрещено.
На мой взгляд, тут есть некоторые проблемы.
С точки зрения конечного пользователя это нарушение приватности, так как запросы уходят вообще хз куда. То есть я как сервис, который подключил этот агрегатор себе не могу гарантировать своим пользователям приватность их запросов.
Потом стабильность запросов - во время тестов иногда отваливается API, приходит ошибка, что слишком большой контекст: в официальном API он разрешён, а в пользовательском нет.
А еще образовался серый рынок по арбитражу аккаунтов. То есть аккаунты блокируются, а агрегаторы должны быстро переключать запросы на другие незаблокированные аккаунты.
Причем Anthropic регулярно проводит зачистку аккаунтов и туда попадают легитимные пользователи, которые ни в чём не виноваты.
Ну и последнее, это поддерживает воровство аккаунтов для перепродажи их подобным сервисам. Оно и так существовало всегда, из-за того что в некоторых регионах есть запреты на эти нейронки, просто из-за агрегаторов этому есть намного выше спрос.
Однако из плюсов это очень низкая цена! Прям очень! Чтобы строить MVP, официальный API или агрегатор с официальным API - это дорого очень.
В общем, некоторые мои доводы возможно притянуты за уши, а поэтому вопрос тут в том, как считаете, норм или не норм использовать такой агрегатор в своих проектах?
21
Комментарии · 19
- @sunm8использую агрегатор и не парюсь опенроутер один из оч популярных, юзаю его ещё юзал kie, но мне они не понравились. они вот кажется по описанному тобой методу работают
- Именно про них и пишу)
- @timur518Знаешь как работает карма? Если чувствуешь, что поступаешь неправильно, значит поступаешь неправильно ) Если действуешь с чистой совестью, значит все норм 😆
- Ну это такое, можно как угодно себя оправдать иллюзией добродетели)
- @sunm8а так ещё агрегаторы кажется имеют просто корпоративные всякие договоренности с разными нейронками и получают просто дешевле
- Да, это возможно, но например на kie вообще более 70% скидка относительно официального opus 4.7)
- @sunm8kie странные, они как я понял вообще китайский сервис у китая могут быть свои нюансы я находил какой-то такой же китайский сервис, у них тоже дешман, но они прям под китай точились. эти хотя бы с переводами)
- Это прям чудеса какие-то. Плюс у них еше есть реферальная программа 15%)
- Ага, тоже находил, наверное ты про этих ребят getmodel.ai
- @sunm8этож супербаза стим так со всякими сервисами по перепродаже ключей работают по примерно такой же схеме.
- @link0lnесть ж фикс подписка за 200$ у антропиков на месяц на max , там токенов хватает заглаза для работы сразу над несколькими проектами. Это дорого/неюзабельно/мало ? Более того по подписке часто насыпают денег для оверлимита если 5ч лимит закончился. Для самых "тупых" задач можно и FreeLLMAPI поднять, там под капотом переключатель между бесплатными планами сразу пачки провайдеров, гермес через него может что-то несложное делать.
- @sunm8тут вопрос API именно. когда тебе нужно шарить эти доступы кому-то ещё для себя конечно подписки хватает. но если у тебя бот даёт доступ к тому же клоду другим по подписке или за оплату - такое уже не подойдет
- @mr_joomА нужен ли для API именно клод? Deepinfra например дает кучу открытых моделей за недорого и если там прямо тяжелая нагрузка можно просто арендовать кластер GPU под свой проект
- @mr_joomСуть в том что для большинства продакшен задач фронтир модели типа клода или chatgpt не нужны. Качественным инструкциям вполне способны следовать и Qwen-235B и даже gemma 4
- @mr_joomТ.е. по идее надо разделить задачи, исследования, анализ и разработка софта, тут нужны фронтир модели, но по подписке. А все остальные задачи где нужна недетерминированная обработка должны быть оптимизированы под менее мощные модели, в идеале с открытыми весами, чтобы при масштабировании просто пересесть на свою инфраструктуру
- @takoikakvse1А где можно посмотреть такие агрегаторы до покупки?
- Конкретно про который я писал kie.ai
- @D3L0R1ANА откуда уверенность, что они дают доступ к настоящим моделям? А не более дешёвые под видом фронтирных?
- На самом деле вообще нет никакой гарантии. Это еще один фактор на чем они могут экономить