А кто какими LLM-ками пользовался?
👁 336↗ 1💬 18
Кто-то пробовал уже сам ставить на тачку LLM-ки разные?
Комментарии · 18
- @ezdevnullollama.com не вариант?
- @kirill_s_gavrВариант, а еще?
- @ezdevnullсмотря под какие нужды
- @kirill_s_gavrДа просто, вопрос же в общем, кто какие пробовал и какие на тачку ставил
- @ezdevnullтекстовые много юзаю (в основном через ollama, тот же qwen, deepseek и их вариации), немного аудио
- @kirill_s_gavrлокально или на сервак ставил?
- @ezdevnullлокально
- @kirill_s_gavrЯ тут у ScaleWay увидел, что можно развернуть любую LLMку, правда там прайсы дикие из-за GPU
- @ezdevnullпрактически все из этого списка доступно в ollama из коробки
- @kirill_s_gavrllama 3.3 на 70b параметров очень больно кусается
- @kirill_s_gavrЭто да, я сейчас выбираю вариант приватной LLM для корпоративного использования
- @ezdevnullпо той же причине локально и приходится юзать
- @kirill_s_gavrЕсть еще варик такой, на hetzner поднять дедик за 900 бачей и туда накатить llama 3.3 70b по факту должно хватить на команду из 5 - 7 человек.
- @ezdevnullхетцнер не юзаем. все на aws. но решили именно эти вещи все же юзать локально
- @nikitosnikМогу накинуть еще 2 варианта: 1) https://openrouter.ai/, который поддерживает все важные модели по адекватным ценам по модели PAYG (и поддерживает оплату криптой😁)
- @nikitosnik2) https://vast.ai/ Очень дешевая аренда vm+gpu, но есть сомнения по sla так как это маркетплейс
- @nikitosnikА если прям локально, то ollama / llama.cpp + модели, которые занимают до 5-6гб RAM в GPU Из самых последних - Qwen https://huggingface.co/collections/unsloth/qwen3-680edabfb790c8c34a242f95
- @shaurgonТы попинай те же нейросетки, чтобы дали совет под твои требования. Мне Grok подсказал развернуть модельку в олламе, которая хорошо с русским языком дружит. Итого, на M4 сейчас локально развернута моделька на 400 метров, выдрана конфля и нейронка вполне справляется с ответами на вопросы оттуда