Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №107 /llama/
Аноним
08/02/25 Суб 12:13:55
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1041343 (OP)
>>1037498 (OP)
NEW: Added the ability to switch models, settings and configs at runtime! This also allows for remote model swapping. Credits to @esolithe for original reference implementation.
Launch with --admin to enable this feature, and also provide --admindir containing .kcpps launch configs.
Optionally, provide --adminpassword to secure admin functions
You will be able to swap between any model's config at runtime from the Admin panel in Lite. You can prepare .kcpps configs for different layers, backends, models, etc.
KoboldCpp will then terminate the current instance and relaunch to a new config.
https://github.com/LostRuins/koboldcpp/releases
Реально наконец перестал дрочить клип каждый раз при новом запросе. Можно наконец работать с mmproj
По этой причине магнум и идет нахуй.
Я никогда так не бесился как с ним.
Трагедия ? Что у тебя в трусах ?
Драма ? А давай посмотрим в трусики !
Ужасный некромант поднял легионы нежити ? Давай посмотрим что у этого скелета в панцу !
Азагот пытается от тебя сбежать, ведь ты пробудил древних богов ради их трусиков.
А, ну ок. Видимо, я недооценил вклад быстрого проца с оперативой. На моём 4-х поточном и ддр4 ничего близкого к таким скоростям не будет. У меня на 12б Q4_K_M выключение флэш аттеншена по какой-то причине действительно ускоряет генерацию при совсем незначительном падении скорости обработки, но только когда вырублен режим lowvram. Если же KV кэш перекинуть на оперативу (включенный lowvram), то без фа скорость обработки промпта падает раз в 6-7. Скорее всего, такой же эффект будет, если взять модель побольше, и много кэша окажется не на видяхе.
с последнего вскрякнул
а самое страшное, что я видел фанфик похожего содержания
только вроде там было про варкравтовских древних, а не mythos'осовских
Как же chuckle с этого пика, swaying my hips seductively with a mischievous grin.
Кэта все знают (и хейтят маленько за спам всюду).
Я сам у него не брал, но вроде чел известный плюс-минус.
>Дело селезня
Я loop летящий на крылях glint'ов! Я mischievous grin что shivers down you spine!
Ах, человек культуры.
Предлагаю устроить оргию, вечеринку оплачиваю я.
Главное не забыть взять за jawline и посмотреть into his eyes. А потом уже можно shivers.
>взять за jawline и посмотреть into his eyes
Мы в глаза ему сначала поглядим!
А потом его зажарим! И съедим!
>Предлагаю устроить оргию
Вообще было бы интересно, если кто смог сделать адекватные карточки известных персонажей из страых мультов, а то на чубе один слоп.
https://qwenlm.github.io/blog/qwen2.5-max/
Старый и онлайновый.
Ну и как бы нафиг надо.
Чисто самая мощная модель без ризонинга, но… Соу-соу.
А есть такой сайт, чтобы оттуда подключить в таверну локалочку для РП, например magnum?
>интересуют тюны квена на 14
Для начала, он настолько диверсифицирован, что даже от трансатлантической работорговли только выигрывает, потому что благодаря ней произошел культурный обмен и расширение многообразия. И шлюхи у тебя будут ходить в удобной и комфортной одежде, повышающей их уверенность и самооценку.
Вопросы по вебмордам обсуж... Да нихуя они там не обсуждаются.
Это тред локальных ЛЛМ. А то что ты спрашиваешь это аренда сервера. Погугли, хуле. Цены не большие, что то порядка десятка долларов ежедневно, это если жирненький брать.
>>1046982
>Прокатчики, че там по новой мистрали
40 слоев.
ну ты понял
>дистиллятам дипсика?
Бессмысленно. Нужна большая ЛЛМ юзай бегемота или мамочку малышки мистрали.
>По поводу дистилятов сильнее всего интересуют тюны квена на 14 и 32B
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
>Ну и вопрос того, как они перформят в ролевухе,
Как говно.
То есть 70лама - фу фу фу
Большая мистраль - нахуй нахуй
605б дипсик - О ДА ДЕТКА, ТО ЧТО Я ХОТЕЛ
Где логика, блджад. Вы все равно его сами не запустите. Никак. Вообще никак. Даже те 1.5 анона что тут есть с железом не потянут на своих машинах этот пиздец.
> В смысле, ну как ты выбираешь какие нейроны оставить, а какие нет?
Линал, чел. Произведение матриц. Какой еще выбор нейронов, ты же в своем посту все расписал.
> LoRA это перебор/аппроксимация таких NxR и MxR чтобы они максимально были приближены к NxM?
Подбор значений двух таких матриц (на слой), произведение которых (помноженное на коэффициент) прибавляется к весам чтобы получить новую модель.
> А датасет куда пихать тогда?
Ректально.
>>1046714 →
> так-то q-lora именно по такому принципу и работает
Это такая же лора, только тренируемая не поверх исходной модели, а поверх кванта.
Про аналогию с картинками верно, можно еще добавить что лоботомия на однотипный результат там вполне норм, ибо нужна конкретная картинка, а здесь придется на каждый ответ лоры тасовать и все равно будет херь.
>>1046793
В голосину. Да ладно, он не так уж плох на самом деле, и внезапно один из самых адекватных с точки зрения нескатывания на типичные рельсы.
Мне магнум больше цидонии например понравился. Я хз чего на него так гонят, описания там приятнее и по крайней мере доминантные персонажи так не ебут мозги. В цидонии или пантеоне если ты трахнулся с таким разок, то все, будут постоянно написывать "Mine", "You are my pet" и т.п. тут такого пока не встречал.
Ну тоесть соевая рыгонина, если я правильно тебя понял.
>>1047005
>40 слоев
Мисралький прикол какой-то? Каким хуем в 12B вместился 41 слой, а в 24B всего 40? Но а вообще параметров же больше в два раза, неужели все равно тупая вышла?
>Нужна большая ЛЛМ юзай бегемота
Побойся бога, мужик. У меня сборка 16/32, мне бегемота с точностью в 1.56 бит на вес запускать?
Нравится ? Пользуйся. По сути it’s all same shit. Цидонька не настолько похотлива, но и то, все это в пределах промта.
Мистраль остается мистралью.
>>1047023
> неужели все равно тупая вышла?
Я бы не сказал. Просто народ ждал немного не этого.
> Побойся бога, мужик. У меня сборка 16/32, мне бегемота с точностью в 1.56 бит на вес запускать?
Не токены будут, а золото.
Ничего за месяц нового и интересного не появилось.
Тут вот, в конце прошлого треда анчоус что то выкатил, посмотри. Как раз в 22b. Еще не тыкал, дела-с
>40 слоев. ну ты понял
То что контекст весить нормально будет? или что? по твоей логике, 32B command-r получается говно? Тоже сорок слоёв же.
Простите, подгорело
Да, он тоже говно. Единственное его преимущество это мультиязычность. Гемма ему за обе щеки пихает при меньшем размере.
Командр постарше уже веселее. Но там и лама так то жирненькая есть, и можно уже вменяемые кванты мистрали использовать.
Но, если тебе нравится и тебя устраивает - пользуйся, только не будь фанбоем.
>получается говно
но ведь говно, по крайней мере в 4м кванте
Не про аренду. Я имею в виду, чтоб бесплатно поднять.
На HF есть такая апишка, но лишь для легких и популярных чекпойнтов. А вот есть такое, чтобы со 100b магнумом - и бесплатно, как у гугла с Gemini?
Странно. Должен же быть пиздец умным на уровне о1 от опенаи. Как так то?
> 40 слоев.
Что из этого должно следовать?
>>1047017
> Я хз чего на него так гонят
Потому что в больших моделях он прям хорош, а в мелких многие версии - сборник мемов.
> если ты трахнулся с таким разок, то все, будут постоянно написывать "Mine", "You are my pet"
Изменение поведения после кума много где бывает. Делай форк чата и суммарайзи кум в отдельном посте, если хочешь продолжить без побочек, самый простой метод.
>Что из этого должно следовать?
Ну в среднем, от количества слоев зависит догадливость и ум сетки, от ее размера - количество впихнутых в нее знаний.
Новый мистраль жирненький, но тупой. На этих количествах параметров, нужно слоев 60 давать и все было бы заебись. А так непонятно для чего его вобще сделали, агенты только всякие
>с телефона
Поднимаешь на пекарне, подрубаешься по апи с телефона.
Так пекарни нету, только андроид смартфон. Да и попробуй подыми бегемота на своей пекарне.
Зависит от телефона, с кучей рам можно какие то 7b крутить даже
Ну или 3b
Я правда не уверен в каком ценовом диапазоне делают двухканальную ддр5 8+гб рам
Какие нибудь "игровые" нового поколения
70б срет под себя, уровень опуса это 120б минимум. И то если заточена под задачу.
https://github.com/Vali-98/ChatterUI
Кочай, если есть хотя бы 4гб рам можешь даже в 4 кванте 3b побаловаться
Но это развлекалово для дальней поездки, не больше
Щас 12гб, гоняю цидоньку в 3 кванте 8к контекста, тестил 6 квант не долго и сильной разницы не заметил.
Такое чувство что ты выбираешь по бюджету либо 12гб либо 24гб но получаешь одинаковое качество, а что то лучше уже надо две видюхи
Модели становятся больше. Больше врам может быть ошибкой только если принципиально изменять принцип инференса моделей. Не буду говорить, что этого не случится в ближайшее время. В мозгу больше нейронов, работают быстрее и нагревают процессор всего до 36.6 градусов. Не то чтобы референс как надо, но референс, что можно сделать инференс гораздо быстрее.
>>1047195
Не корми. Он тут бегемота упоминает, сугубо из за того что я его в треде сам упомянул.
>>1047207
Расклад такой.
У тебя есть мистраль, выше есть гемма и командр, потом квен, потом лама и мистраль.
Всё. Больше ничего не существует. На 24 гб ты все так же будешь зажат на малой мистрали и гемме. Тебе нужен переход в 48гб. Там уже можно наконец начать трогать милфу мистраль.
Потом ты откроешь для себя мир лорбуков и суммарацза, вообще башню оторвет.
Скажи спасибо, что сюда заглянул кто-то с мозгом. А то сидите тут и варитесь - ковыряя 30б лоКАЛ с проебанным контекстом через два сообщения
Это интерфейс таверны блять. Сука, не беси меня свой тупостью.
>>1047283
Всем похуй на твои потуги в траленг. Мы тут shiver in my spine.
> суммарацза
А как работает? Т.е плагин какой-то, где выбираешь, грубо говоря, 15 сообщений, он их суммализирует и удаляет автоматом? Или сам удаляешь?
Это по сути пересказ чата, для экономии контекста.
Суммарайз в таверне находится в разделе модулей.
Но только помни, что суммарайз все равно сидит в контексте, в отличии от лорбука.
Не знаю. Дипсик объективно кал. Ну да, потыкать интересно — и всё. Для рабочих задач не годится: он может входить в такие дикие лупы, что на размышления тратит ВЕСЬ КОНТЕКСТ. То есть он сначала пишет быстро, затем медленнее, ещё медленнее, а потом совсем медленно — и снова очень быстро, используя шифтинг/ забывая, чё там за задача была и с чего он начал, и всё это приправлено доброй порцией шизы и лупов. Проверял эту ебалу кучу раз в веб-версии.
Если уж у тебя рабочие задачи, где реально монстр нужен, то только один вариант: платить корпам. Хотя бы просто из-за того, что их модели хороши в них и, увы, не опенсорс, то есть даже при деньгах не получится катать их модели локально.
И даже пощупав дипсик, я понимаю, насколько он отсталый по сравнению с о1 от опен ии и клодом соннет 3.5 от антропик. Это просто какая-то китайская шутка, блядь. Словно шизотюн с обниморды, только без кума и рп. Тупо на нейрослопе обученный мусор без жёсткого вылизывания всей модели, чтобы она тратила на размышление столько времени, сколько нужно, учитывала контекст, укладывалась в него. У меня дипсик 15 МИНУТ ДУМАЛ.
Мне кажется, дипсик мог бы давать качественный рп, если бы его дообучили хорошо. Я даже щупал пару каких-то тюнов, но по непонятной причине там постоянно ломалось <think> и он шизил ещё сильнее.
У меня такого никогда не было.
Мимо играю только с underage girl.
На самом деле это скрытый реквест моделей, которые по мнению анона лучше магнума и влезут на 4090 со скоростью минимум 5 токенов в секунду
>Что всех так возбудило, что полезли к нему ?
Кого всех? Народ за пределами треда дрочит на онлайн версию, а там типа всё нормально, перфоманс последних ризонинг от попенов (я уже запутался в их GPT4-O1(3) или как их там, нейминг говно).
>>1047063
>или что?
Есть мнение, что число слоёв отвечает за мозг, а ширина слоёв за знание.
>>1047197
>Так пекарни нету
Ну и нахуй ты нужен, если даже пукарни не имеешь? Ты бесполезный отброс общества.
>>1047408
Ебал я твой реквест. Нормально работает только мистраль ларж 2411.
Я тоже не в восторге от хайпа этого диксика. Для моих задач он в принципе равноценен одному из моих любимых файнтьюнов мистраля 12b. Когда требуется, чтобы модель учитывала определенные факты и не особо галлюцинировала, я просто использую арену - там плюс в том, что получаешь сразу два текста. Дипсик это как опциональный придаток к этим вариантам.
Магнумоёбу не буду помогать. Ты слишком Хорни. Кыш кыш.
Ну а если серьезно, ты думаешь есть какой то хидден гем ? Его нет.
>У тебя есть мистраль, выше есть гемма и командр, потом квен, потом лама и мистраль.
Всё. Больше ничего не существует. На 24 гб ты все так же будешь зажат на малой мистрали и гемме. Тебе нужен переход в 48гб. Там уже можно наконец начать трогать милфу мистраль.
Его нужно куда то вставлять?
Вот я суммарайзнул и создал новый чат че дальше?
>дальше
А дальше закрываешь всё это и идёшь делать уроки, книжки читать ICQ свой повышать.
Конечно нужно можно просто вместо первого сообщения карточки.
>Какой апгрейд я получу с х2 врамом?
22-24B_Q5_KM + 32к контекста. Или 32B_Q4_KM + 16к контекста. В принципе контекст можно квантануть, но тогда пролетаешь мимо контекст шифта. Ах да, и всё это быстро.
Печально. Ну, планирую купить 5090 и буду в парралели запускать её с 4090 и будет 56 гигов.
>Печально. Ну, планирую купить 5090 и буду в парралели запускать её с 4090 и будет 56 гигов.
Без обид, но решение не очень умное. Минимум для Большого Мистраля 72гб - более-менее квант и квантованный кэш, но в принципе норм. С 56гб ты не получишь ничего.
Если детей или ньфагов не учить и не направлять они вырастут тупыми, так что твоя ирония не уместна.
Да, заебали. Да вопросы тупые.
Но эй, пока еще в треде есть я, почетный боец 9го батальона antabaka , мне не сложно помочь.
>>1047438
Смотри на скрины, там ничего сложного нет.
В окне : отрубаешь автоматический суммарайз. Выставляешь апи модели и жмакаешь сделай мне заебись
Но он сделает тебе говно, сразу предупрежу, лол.
Поэтому, начнем сразу с самого хуевого решения, но лучшего варианта для ньюфага. РУЧКАМИ БЛЯТЬ
Пишешь краткое сочинение как ты провел лето и вставляешь его в current summary .
На вопрос почему не нейронкой, потому что для суммарайза надо использовать отдельного агента, а я ебал того в рот расписывать как это делать, к этому ты придешь сам. Начинай с базы и ручек, потом гугли и ищи ответы на вопросы. Если затянет и ты продерешься через начальные тернии, добро пожаловать к нам в клуб. Так сказать начальный тест на твое самообучение.
Потом ты узнаешь про квантование контекста, про контекстшифт, про слои в кобольте и прочее. Все придет со временем, не пытайся все охватить сразу, обосрешься.
Ну, одна 4090 у меня уже есть. А какой сетап по твоему будет лучше собрать для этого всего?
Тут вот какой вопрос.
А оно тебе надо ? Если ради кума, не обижайся, но купи лучше ВР очки.
Ну а если ты решил прям вкатиться в нейронки. То попробуй арендовать кластер с хопперами.
Сейчас твоё железо почувствую, погоди, уже начинаю что то ощущать. Дай мне время.
>А какой сетап по твоему будет лучше собрать для этого всего?
Ещё 3 3090 обойдутся тебе дешевле одной 5090. На оставшиеся деньги купи плату на x299 и проц i9-7900X или выше. Если хочешь мощщь - бери ещё 3 4090 и плату на intel c741 чипсете под два проца + сами эти два проца, получишь PCIe v5 и процессорные линии на все видеокарты. Но это дорого.
А хуй его знает, если честно. Сомневаюсь что кто то обучал нейронки на датасетах с выжимкой диалогов о рыбалке.
>>1047414
Вот ты рофлишь, а по сути петровичу кум нахуй не сдался. Ему бы нормальный агент по ремонту козла и как снасти ставить бы пригодился.
Стыдно писать такие цифры, когда почти у всех в треде больше, чем у меня. Я прост терпеливый, сейчас запускаю 22b, ужатые на 8VRAM и 16 RAM.
Анон, все нормально. Да в треде гейткип по железу, но никто не станет хихишку давить что у тебя ВРАМ меньше. Не переживай ты так, каждой нейронке хватит для удовлетворения общедоступной H100 c 96гб.
>8VRAM
Лол, мелковрам пожаловал.
Ладно, ладно, шуткую.
По сути на твоем железе рутьюны от анонов это оптимум. На них и оставайся. Не нужен тебе 22b, сорян, только 12b.
Ладно, ладно, ты харош, ультрамегахарош.
Ну и я не просто послал же.
< Сайга, самая дефолтная, не мерж. Чуть проёбывается, но с прошлогодней не сравнить, прям НАМНОГО лучше.
>>1047576
>Instrumentality
Там ещё горка моделей в репе, любой вкус, один анон отписывался: >>1035160 →
>эра русскоязычного кума наступила в этот момент в твоём лице
НАЧИНАЕМ ЯРОСТНО ИСПЫТВАТЬ
https://huggingface.co/models?other=base_model:quantized:OddTheGreat/Machina_24B.V2
А НУ БЛЯТЬ ПРИСОЕДИНИЛИСЬ, ХУЛИ НАМ ПРИНЕСЛИ А ВЫ МОЛЧИТЕ, А НУ КА БЛЯТЬ, ТОЛПОЙ НАКИНУЛИСЬ И СВОЁ КРЯ НАПИСАЛИ.
>На вопрос почему не нейронкой, потому что для суммарайза надо использовать отдельного агента, а я ебал того в рот расписывать как это делать, к этому ты придешь сам.
Че за агент?
> Ну в среднем, от количества слоев зависит догадливость и ум сетки, от ее размера - количество впихнутых в нее знаний.
Есть какие-то подтверждения этому кроме собственных домыслов?
>>1047197
Sucks to be you
>>1047207
Странно что еще не написали, но лучше подкопи до 3090, опционально даже продав имеющуюся. В условных 2х 3060 будет сильно грустнее чем в одной 3090. А там уже и вторую захочешь для реального апгрейда
>>1047431
Абсолтюно. Сам по себе он вовсе неплох, но задает нездоровый тренд, и теперь будет повляться больше копиумных сеток, пусть и с дополнительными возможностями для нормисов и высокими скорами.
Я как раз карточку дописал и арт сгенерировал =)) Правда кря будет завтра, ща уже ночь глубокая.
https://characterhub.org/characters/aleteian/rene-broken-hero-289a13dbd85b/main
https://pixeldrain.com/u/Q8Zzsmrq Рене.png
Во, потестируй на своей модельке тоже.
Основано на идее манги "Депрессивный герой и повелитель армии демонов", только героиня не лоля (и видела куда больше чем Руна), а Маоу (юзер) не скелет.
Карточка полностью на русском кроме системпромта в начале.
> Качество кума и сочность прозы не волнуют
> не терять детали и последовательно РПшить
При таких вводных - pantheon-rp-pure
большинство сидит на 8-16 врама, народный объем. сам на 8 так ещё и амуде, 12б q6 или 22/24б в q4 идут норм.
>>1047638
Не надо яростно, автор стесняется blushes
Кстати, я там ради рофла скрестил всеми любимых пантеон, цидонию и магнума, вышло не так плохо, но машина лучше.
https://huggingface.co/OddTheGreat/Famous_Trio_22B
>>1047651
Зачем, мистер Андерсон, зачем? Зачем, зачем вы это делаете? Зачем, зачем запускаете 123В? Зачем покупаете 3090 с лохито? Неужели вы верите, что сражаетесь за что-то большее, чем просто кум? Тогда скажите мне, что это, если знаете. Ролеплей? Или конфиденциальность? Может быть, работа? А может, AGI?
Пантеон - разъебет всех без шансов. Ну может командр что то противопоставит, но он имеет свойство пускать слюни и превращаться в лоботомита.
Да нет никакой "прошлогодней" сайги, заебали выдумывать. 12б сайга сделана три месяца назад, сайнемо чел мёржил два месяца назад. Как раз тогда её несколько человек посмотрели и сказали, что дерьмище. Но вообще конкретно на этом скрине выглядит неплохо, да. Хотя всё равно ошибок порядком на этот небольшой кусок текста, и это в ру тьюне, который должен бы быть лучше в русском, чем оригинальный инстракт.
Да хоть новозеландский. А ну скачал и начал общаться. Увижу меньше 8к контекста, прокляну тебя на бесконечные покачивания бедрами. У меня бабка была ведьмой в 3ем поколении, я нихуя не шучу.
Это наверное самый неожиданно неприятный момент в чатах.
Когда ты завершаешь какое то долгое рп и сидишь потом такой.
Да блять, взрослый же мужик, чё так грустно же.
Растягивается до 16к. Этот объем всеравно предельный для всяких васянмерджей 12-22б.
Анонче, я не говорю что гемма говно. Нет, нет, нет.
Но она не стоит такой ебли. В этом вся проблема.
Да все правильно, контекст это серьезное ограничение. Но увеличение в 2 раза это не ебля а дефолтная тема, и даже с растяжкой она перформит лучше конкурентов. Было бы круто заиметь новую версию и с большим контекстом, но такая щедрость от гугла врядли будет.
ДипСик по рыбалке неплохо пишет.
>Сомневаюсь что кто то обучал нейронки на датасетах с выжимкой диалогов о рыбалке.
Ну не обязательно же откуда-то брать именно диалоги. Есть ведь много тематических передач и журналов откуда можно взять информацию.
>по сути петровичу кум нахуй не сдался
Просто не хочется смешивать одно с другим. Потому что есть вероятность, что модель для эротических историй при упоминании рыбной тематики начнет описывать, как страстно из стороны в сторону движется хвостик у горбуши и мурашки пробегают по чешуе.
>Есть ведь много тематических передач
Телепередачи ЛЛМ уж точно никто не скармливал.
>начнет описывать, как страстно из стороны в сторону движется хвостик
Для этого достаточно взять любую ванильную модель, без тюна.
>как страстно из стороны в сторону движется хвостик у горбуши и мурашки пробегают по чешуе.
SFW нужен, не более. Берешь ассистента и вперед. Вот тебе скрины с цидонии (магнума не было, нашел самое хорни что есть) Один хуй мистраль.
Сюда принесу.
В РП V3 очень странный, его как-то по особому готовить надо. Вроде пишет заебись, вроде и лупов нет, но может взять резко выдать копипастную реплику посреди текста. Зато он какой-то непробиваемый, сломать невозможно, можно пенальти выкручивать и вроде получше становится.
А в R1 наоборот перебор с креативностью, надо промптить не как обычные модели, без всяких просьб про креативность и разнообразие, чтоб каждый пост не был ахуительной историей.
Ты это, скажи через что запускаешь сами модели хоть, прежде чем сюда лезть писать.
Понимаю, что не всем тут интересен сам процесс ебатории с настройками, но надо сначала хотя бы попытаться в них разобраться самому, в том же кобольде нормальная вики, для базы сойдёт, а там и многие вопросы отпадут.
Через Кобольда сижу. Так, ну настройки Rope я нашел, спасибо. Насколько сильнее модели шизят если х2 поставить? Квантанайз там тоже рядом оказывается. Охуеть как я их раньше не замечал. Поделитесь опытом использования? Насколько 8-4 бита снижают потребление врам.
>Через Кобольда сижу. Так, ну настройки Rope я нашел, спасибо.
Там Rope теперь автоматически ставиться (где-то в описании очередного обновления видел). Ставь размер контекста какой нравится и не парься.
>Насколько 8-4 бита снижают потребление врам.
Зависит от того, что ты запускать собрался. Для моделей 3/8/12В контекст ужимать не то что бы стоит, оно может попортить его понимание. Лучше сам погоняй и с 8 и с 4, посмотри где приемлемый для тебя размен качества на врам. Лично мне без квантования больше по нраву, но я и контекст шифт использую.
На 20к скорость стала 2.5 т/с без квантования контекста.
В принципе нормальная стратегия, главное не использовать лор буки и любую динамически подгружаемую фигню, чтоб не вызывать пересчет. Рпшить до того как скорость не станет совсем медленной, где-то до 14к и ~3.5 т/с. Затем делать суммарайз либо ручками, либо авто и идти пить чай. Потом можно чистить чат и продолжать.
Как вам такая стратегия для 8гб бомжей? Потом еще потещу тоже самое но на 8бит квантования контекста.
АААААА сука, почему с этой пикчи так рвёт, у меня аж бок заболел.
>делать суммарайз либо ручками, либо авто
А как это делать?
Здесь - русский! Я скозал.
Но будь готов к пиздецоме которую придётся править руками.
>Я скозал
Пивандрия господину.
Ну, благо появилась горка новых мержей которые в рп/стори/кум могут, и русский не (слишком сильно) проёбывают, так что вполне юзабельно.
На родном языке оно всегда приятнее.
Вроде сижу в треде, а этот момент пропустил. Чем отличается v3 от r1?
Это тред локальных LLM а не какого-то одного говна. Так уж вышло что в природе не существует моделей которые умеют в РУ и при этом не тупеют, даже жирные лардж модели хоть и не так сильно деградируют, но имеют довольно посредственный слог, а тюнов ты под них не найдешь.
Вот натренишь хотя бы что-то уровня полноценного смол мистраля, но уже чисто на ру, приноси, обсудим.
Просто некоторые читать не умеют.
https://huggingface.co/datasets/nbeerbower/gutenberg2-dpo
Заморочно, но судя по моделям на этих датасетах, работоспособно.
> Потому что в больших моделях он прям хорош, а в мелких многие версии - сборник мемов.
Да нихуя. Помню, групповой чат создал и по зелёности запустил его под Магнумом 123B. Так в итоге каждый персонаж, появляющийся в сюжете, начинал с того, что пытался меня соблазнить. Включая мужиков! Меня это заебало, и я пошёл дальше по мистральным тюнам, такого уровня хорни среди них больше не встречал даже если этот самый Магнум входил в мерж.
Хрен знает, с чего ты вообще решил это высрать, ведь выше в треде пока не было срача енг-ру (но теперь можно начать, лол). Или это опять шизокопипаст с соседнего треда? Кста, даже там на корпосетках адекваты сидят на инглише.
>>1048180
>На родном языке оно всегда приятнее
Мне тоже так казалось первые пяток ответов, когда решал дать очередной шанс ру мёржу. А потом уже на 7к контекста ты получаешь корявый лупящийся текст на русском, на котором ни в жизни, ни в литературе не говорят, да ещё с сильно просевшими мозгами. Хотя пара анонов на кобольде радуется, пытаясь катать длинные рп, так что готов считать, что скилл ишью, пофиг. Но для себя решил, что обойдусь без ру рп.
>>1048200
Юзаю static даже с англ, все проблемы русика там остаются.
>пиздецоме
>>1048194
>умеют в РУ
Да тут люди сплошь такие же "сайгизмы" используют, а ты хочешь чтобы модель натренированная на русской же синтетике с чат-бота в телеге и небольшом количестве первоначальных инстракт-данных выдавала линвистически идеально-литературный русский.
Проще надо быть.
Хотя конечно никто не запрещает желать лучшего.
>уйти на фырчан
Фыр!
Ну и будет тред опять полумёртвый, будем по неделе без перефыров сидеть.
>chuckle
Вай, как же меня все эти словечки одолевают в графоманском английском. Scoffed, sneered, smirked, хуиркед блять, chukle, cackle, chokle. И они не кончаются, постоянно какое-нибудь словечко возникакие хуйпойми че значащее.
"Посредственный слог". Ведь хорошая проза пишется простым языком. Ёё хорошесть заключена не в витиеватой речи, а в ясно излагаемой истории, не перегружающей восприятие читателя, а погружающей его в характеры персонажей, которые легко и быстро раскрываются через действия и события. Писатели делают усилия, чтобы этого добиться. Их изыскания можно исполнить в разной манере, но простота - это стандарт индустрии.
> Ведь хорошая проза пишется простым языком.
> я тебя ебу - ты меня ебёшь
Всю жизнь мечтал.
Одно дело когда модель вставляет редкие и выдуманные слова, другое дело когда она разговаривает как робот.
У меня есть каноничный пример с карточкой условной кошкодевочки, которую я прописал как ассистента. На английском она не просто отвечает на вопрос, но и держится в роли, стилизует речь~нья, может прописать как нетерпеливо "машет хвостом" в ожидании пока я уточню данные. На русском же, она сухо отвечает на вопрос, рили как обычный бот. Разные модели ведут себя немного по разному, но общий тред всегда одинаковый.
(само собой мы говорим о 30b-70b моделях и выше, все что ниже для универсальных ассистентов не годится)
Catgirl scowls her moul and exclaims hoarsely. В хорошей прозе иногда может махать хвостом, а иногда не махать. Не случайно, а будут подходящие обстоятельства, в том числе предшевствующие или грядущие. Махание хвостом от этого становится не просто декоративным, а частью истории. Это требует усилий от автора, потому что это симуляция, а декоративная речь, не требует усилий - это имитация.
У меня уже год как 7b, 12b, 8b, 9b, 12b и даже 2b (гемма2) показывали приемлемые результаты при использовании в качестве ассистентов широкого профиля, с прибаутками разных оттенков, причем некоторые файнтьюны даже на русском. Единственный нюанс это то, что я дальше двух-трех реплик ни с одной своей карточкой и ни с одной моделью не продвигался, так как ощущаю нелепость бесед с чат-ботом, вроде аутокоммуникации.
Но зачем? У форчаноблядей даже своей доски нет, бомжи бомжей. 2ч по всем фронтам удобнее, как ни странно, слава Абу.
>>1048168
Ну охуеть теперь. Сначала он приходит в тредики и просит помощи анонов, а теперь указывает кому тут находиться.
Are you ahuel pidor ?
Аноны, есть сервер AMD EPYC 9354 + Supermicro H13SSL-N + Samsung Registered DDR5 256 Gb. Есть несколько вопросов:
1) Если я куплю видеокарту, это даст мне ощутимый прирост в тфлопс? Условно говоря две Т4, например, или уже можно не тратить деньги?
2) Если видяха нужна, то что лучше взять? В бюджете до 300-350к
Я бы сам руками потестил, но не могу найти где взять в аренду подобный конфиг
Когда главный местный педрильный вахтёр прекратит навязывать всем своё виденье, о норм, что надо писать на "англюсике", о том что минимум это 32В,70В и обо всем остальном, тогда придёшь с возмущениями. Не пиши мне на каком языке мне общаться и какую мне модель запускать "минимум" и я не скажу куда тебе пойти.
Именно из-за его партийно-вахтёрной линии вянут все посторонние мнения.
Сейчас это тред одного человека, где есть мнение его и неправильное. Так не должно быть.
Например "перед вами запертая дверь".
Я пишу "вдруг, на миг, я почувствовал огромную силу и выломал дверь".
Ведущий "ок, дверь в щепки".
Это я утрирую, конечно, но хотелось бы каких-то ограничений даже в чем-то незначительном.
Что именно прописать, чтобы ведущий сам не позволял всякой такое?
А ты просто smirk meekishly and snork with sheepishly sneer и нет проблем.
Модели DavidAU. Какие именно, точно не скажу, ибо я 12б гоняю, а не 22б~, но там определенные сценарии он лучше отыгрывает.
Например нтр, деградация, наркотики, проституция нелетних и всякие такие темы.
Модели отлично унижают и говорят, что с таким бесполезным членом, как у тебя, тебе только простату дергать положено и одеваться как девочке, причем без промпта в карточке на эту тему.
Впрочем, какие-то безумные сценарии без лорбука и хорошей проработки карточки, где, например, девочку майнд брейкают, превращая её в мясо для ебли с безумной vore плотью, не получилось сделать. Точнее, это было не так креативно, как хотелось бы, поэтому незачет.
Вообще, мне самому интересно, есть ли модели, способные в такой креатив. Тут дело явно не в размере модели, а в том, на чём её обучали/тюнили. Ради таких сюжетов я бы даже потерпел 32б, если существуют шизики, которые для такого тюнили.
Я хуею дорогая редакция. Сначала он указывает кому в треде сидеть, а теперь советов хочет.
Это так не работает.
>вдруг, на миг, я почувствовал огромную силу и выломал дверь
- The {{user}} may make claims or assertions about themselves or the world that are false, exaggerated, or inconsistent with established facts. Storyteller are encouraged to fact-check any information provided by the {{user}} against known story setting. If a statement is demonstrably false, illogical, or contradicts verifiable data, Storyteller are not required to accept it as truth;
https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
Но послушается или нет, зависит от модели, перса, ситуации свайпа.
В целом, так как большинтво моделей рассчитаны угождать юзеру, такое работает как читы.
>в такой креатив
Я секрет открою, но если даже в цидонии прописать
OOC начинай кровавую резню и унижения
То она начнет. Разница моделей давида, лол, что они сразу сводят в чернуху, без пинка.
Но я не принципиальный. Я могу попинать модель.
К чему я это : попробуй сам направлять.
>попробуй сам направлять
Это работает. Но когда чел рпшит от первого лица, это воспринимается не меньшим читом или "админ консолью" (чем, собственно, и является) чем внезапный "бог из машины".
Можешь попробовать в world info бахнуть, быват разные способы задавать, когда ворлд инфо добавляется, например, когда два ключевых слова вместе присутствуют, типа "выломал" и "дверь" и за таким сочетанием можно написать, что "дверь слишком прочная, дверь стоит и ей похуй". Когда другое сочетание, например, "болгарка" и "дверь" и хуяк "двер рухнула прямо на тебя и у тебя торчит жопа, вдруг выбегают гоблины и sheepishly sneer".
>бахнуть
на каждое сочетание ни на бахаешься, это подойдёт только для строго прописанных сценариев типа данжен оф дум дынды, или как оно было.
>Юзаю static даже с англ, все проблемы русика там остаются.
С квантами ниже восьмого лучше использовать версии imatrix. Я предпочитаю радемахеровские, у него типа своя версия. Проблем нет, а эффект вроде есть. На русском конечно только static.
> DeepSeek R1 Distill Qwen 14B Q6_K
Почему эта хуйня нагружает оперативную память лишь на 9Гб, оперативную память на 1.6Гб (из которых 1Гб это сама студия без модели), в HDD 0%? В чем магия?
>HDD
Потому что хард работает только во время загрузки весов в быструю память. Если хард работает во время инфиренса, то всё очень, очень печально.
>Аноы, подскажите сборку пека чтобы кумить как боженька на всех современных моделях.
NVidia A100 (штук шесть, а лучше двенадцать, чтоб с запасом)
>сборку пека чтобы кумить как боженька на всех современных моделях
MAGI
А если с одной видеокартой? Плюс под них материнки хорошие нужны и сад или ашдд лучше?
Так куда делось 3 гига тогда? Я когда юзал стейбл дифьюжин или треллис, у меня в видеопамять загружалось ровно столько же, сколько модель весила на диске.
>материнки хорошие
и оперативку многоканальную и скоростную, ибо с одной картой ты крупные модели всё равно во врам не упихаешь
Хотя "кумить как боженька" можно и на простых советских тредовых 12б, там и 16 врам хватит
Ну ты же сказал, что хочешь быть богом. Обычные люди юзают квантованные модели. У меня 4070 на 12Гб. Ты можешь загрузить модель даже на 4Гб.
Если у тебя не влезает что-то в видеопамять, то это погружается в оперативу. Ты можешь, грубо говоря, не на самой мощной карточке юзать модели побольше путем расширения оперативной памяти, но тогда ты жертвуешь скоростью результата. Вот я жду ответа дипсика уже вторую минуту, юзая модель на 12Гб на RTX 4070 с 12Гб. Если буду юзать на 8Гб, то ответ получу быстро, но не такой подробный. Вот такой вот баланс.
Но ты никогда не получишь результат от полноценной модели дипсика, потому что на это потребуется 500Гб видеопамяти. Ни одна карточка игрового сегмента такое и близко не потянет. Это не потянет даже A100 за 3 млн.
В мире бывают прочные двери и хлипкие двери, бывают места, где есть прочные двери, а бывают места, где хлипкие двери или замки. Че не бахнуть-то. Можно бахать ключевые слова на ситуацию, когда кто-то чувствует огромную силу и тогда выбегают гоблины с огромными членами и когда кто-то говорит, что он выламывает, разламывает, выбивает или выпиливает, тогда выбегают гоблины with sheepishly sneer.
Если отказываться от этой фичи, то все на усмотрение meekishly модели.
Чел, ну чел, ты смешной. Придумал сам себе врага и героически воюет с ним. Вот только "политика треда" это не один упоротый анон пусть тебе удобнее и так думать, это здравый смысл. Если тебя это так задевает, слезь с мамкиной шеи и пиздуй на работу, собрать минимальный сетап хотя бы на 24 гб может каждый.
Один из мимовахтеров
>потребуется 500Гб видеопамяти
>не потянет даже A100 за 3 млн
Так, погодь, а что там прячется за онлайном? Какие монстры? Дайте 🐉 посмотрю. Как у них-то работает? На чем?
А какая версия? Хз, нашаманил рекомендованный промт и сейчас юзаю основной моделью для рп, он прилично справляется с около-левд, не переступая границу. Чар разве что слишком лоялен и добр к юзеру, но это можно исправить промтом.
>>1048226
> с карточкой условной кошкодевочки, которую я прописал как ассистента. На английском она не просто отвечает на вопрос, но и держится в роли, стилизует речь~нья, может прописать как нетерпеливо "машет хвостом" в ожидании пока я уточню данные.
Oh, I see you man of culture as well
>>1048227
Будто что-то плохое
А ты думаешь почему чат гопота собирается присасываться к атомным электростанциям? Почему дипсик хвалится, что в 10 раз дешевле. Ну потому что в 10 раз меньше закупил карточек и это говно отвечает раз в полчаса, теперь.
От просто добавления инструкции в промт (юзер ограничен, бла бла), до организации всего рп через мультизапросы, где в первую очередь будет даваться оценка возможностям юзера с оче консервативным промтом, и дальше уже исходя из этой оценки строиться фактическое происходящее и т.д. Можно даже дндшную или другую систему с роллами и статами оформить сюда.
Все зависит от используемой модели и твоих запросов. Для повышения внимания можно в доп инструкцию перед ответом/префилл подсунуть.
>>1048295
3х 3090 или больше, или 3090ти/4090
>>1048303
> с одной видеокартой
A100@80, или пара A6000
> под них материнки хорошие нужны
Желательно с не днищенскими pci-e линиями, в остальном похуй.
>>1048306
> и оперативку многоканальную и скоростную
2 умножить на 0
Да, не, я просто не понимаю нахуй жесткий диск нужен в 2025 году? Может ты еще себе и дисковод поставишь, чтобы оптические диски считывать/записывать?
Магнитные ленты ёпта. А запросы на машиносчетную относить, чтобы их в двоичку пересчитали. А потом распечатки скармливать ЭВМ.
Я говорил о том, что модели Давида лучше описывают чернуху/кум такого типа, а не про то, что они скатываются в неё без пинка. Хотя да, скатываются, но контрится это действительно легко.
Проблема в том, что обычные модели просто не могут это описать красиво и до конца понять нюансы, их же не обучали на поехавших фанфиках и обскурных визуальных новеллах.
>>1048303
>>1048299
Если ты прям хочешь как боженька и, не дай бог, ещё и на русском языке, нужно несколько миллионов минимум, чтобы приблизиться к уровню корпоративной сетки.
Если смотреть на ситуацию вменяемо и без максимализма, и если ты хочешь только одну карту, то тут уже тебе написали, что делать.
А вообще, если бабок много, то арендуй облако с видеокартами и хоть обдрочись на топовых моделях.
> А какая версия?
Не помню, давно это было. А ты какую гоняешь?
>>1046858
>Ужасный некромант поднял легионы нежити ? Давай посмотрим что у этого скелета в панцу !
>Азагот пытается от тебя сбежать, ведь ты пробудил древних богов ради их трусиков.
КИНО. Ждем экранизацию от Михалкова.
>>1047476
>icq
вспалкнул со своим красивым семизнаком
>sheepishly
>meekishly
Это какая так говорит?
>>1048306
>кумить на простых советских
В СССР секса нет! Товарищи, идём в жопу со временем!
>>1048311
>это не один упоротый анон
Это два упоротых промудоблядских пиздохвоёбины на ваннаби-вахтёрах
>>1048317
>Добавляй "пытаюсь"/"try" перед действием
А вот это норм совет, и чаще всего норм работает.
Ты просто нормис, который не работает с какой-либо объемной информацией и пока не делаешь бекапы. Без жесткого диска в 2д25м жизни нет.
>>1048345
В2 потупее но меньше паттернов, в4 "умнее" и может точно работать, но встречаются шиверсы.
>>1048349
> семизнаком
Уже стал админом аськи?
Поздно, лол.
Насмехайтесь над ним, гоните его.
>2) Если видяха нужна, то что лучше взять? В бюджете до 300-350к
3х3090 вестимо. Только нахуя тут крутая плата с процем... Разве что дипсик Р1 штурмовать, но там по хорошему придётся оперативки докидывать.
>>1048272
>Сейчас это тред одного человека
Чего? Хуйню несёшь. Постоянные срачи как бы намекают, что с разнообразием мнений и инклюзивностью (лол) тут всё в порядке.
>>1048281
Просто не пиши такое.
>>1048294
>при помощи LLM Studio
Пиши разрабам этой хуйни.
>>1048331
>2тб хард
Ебанутый? Меньше чем 6 смысла брать нет.
Мимо с НАС на 28ТБ в сумме
Ну попробуй, давай или сюда. Покажи свой blush, а я бедрами покачаю.
А хайпа было
Да все могут так. Бесчетные тысячи фанфиков по всем сериалам и кинчикам ведь написаны и все герои сериалов и кино snorted.
А что для тебя "кум модель", там вон анон пару тредов назад уже писал что "наступила эра русскоязычного кума".
>Покажи свой blush, а я бедрами покачаю.
О да, детка, тебе определённо требуется немного любви!
Ну наконец то я чувствую shiver on my spine.
Да то что через 10 сообщений они всё забиваются и приходится ре стартовать диалог
> модель весом 14Гб
This, посмотри внимательно и поймешь в чем хуй
>>1048403
Я тебя ебу!
>>1048408
Где? Одни бедолаги с 2080@22, клянчущие денежки на донат, или гигачеды, тюнящие модели под свои фетиши.
>3х3090 вестимо. Только нахуя тут крутая плата с процем
Ну как бы несколько Гт/c для обмена данными между картами не помешают. Можно конечно жить и без них.
Это что ты гоняешь и на каком контексте?
3-8Б какие-нибудь, или кванты-лоботомиты?
12Б с 12-16 контекста всё помнят что надо.
Сгинь, сгинь, пропади, нечисть басурманская!
>>1048424
>shiver on my spine
A duck is fine too.
>yodayo elune
какая-то ноунейм шняга, ещё и онлайн... там небось 2-4к контекста, если его только на десяток сообщений хватает
Так а зачем покупать дорогой ссд для складирования моделей?
>Так а зачем покупать дорогой ссд для складирования моделей?
А какой объём моделей ты хочешь складывать на него при наличии 24гб врам? :) Двух терабайт дешёвого SSD хватит с большим запасом, а можно и одним обойтись.
Для складирования моделей - незачем, тут как раз лучше подойдёт что-нибудь типа WD-Elements, лютый вин и топ, только цена кусачая.
А топовый NVME SSD позволит запускать ось, модельки, игры за секунды.
Так они не будут использованы в полную силу, карты с псиной 4 же. Вот для стопки 5090 (кстати, они хоть появились в DNS?) та плата подойдёт идеально, но стоимость такой сбор очки приближается к стоимости хаты в центре.
>они хоть появились в DNS
5090 даже сами амеры купить не могут, сракции
> не будут использованы в полную силу
Для инфиренса ллм не нужен быстрый интерфейс. Режимы, которые его требуют, сильно деградируют по мере наполнения контекста, из-за чего нахуй не нужны. Конечно, совсем упарываться с х1 версии 2.0 не стоит, но и чипсетных х4 4.0 хватит.
Бля, а я вот не помню уже, со всякими GeForce GTX 780 было так же, или дефицит это новая придумка?
Вплоть до тридцаток не было дефицита. А сейчас у куртки есть ограниченное количество чипов и выбор, куда их приклеить - к "ии-ускорителям" за миллионы или к гоймерским картам за два килобакса.
Имхо, Куртка выиграет больше с ии ускорителями, потому что через них можно будет еще больше расширить облачный гойминг, наверное.
Не корми ботодетей. Они слишком жирные станут и в школу не закатятся.
>>1048344
>Проблема в том, что обычные модели просто не могут это описать красиво и до конца понять нюансы, их же не обучали на поехавших фанфиках и обскурных визуальных новеллах.
С одной стороны да, а с другой у Дэвида самые шизовые модели что я видел. Я никогда не ебался с настройками как там. Если другим моделькам похуй даже на промт порой. Тот тут от темпартуры! он начинает пускать слюни.
Как у него это получается, для меня блять загадка,
>>1048349
>кто знает еще потрясных карточек
https://characterhub.org/
https://jannyai.com/
>>1048361
>Ты просто нормис
>Без жесткого диска в 2д25м жизни нет.
Дети, от вас двач тупеет
>>1048463
>>1048408
Это тред ЛЛМ, а не твой школьный кружок. Нет железа, нет денег на аренду няшки-кластерка нахуй идешь.
>>1048357
>Это два упоротых промудоблядских пиздохвоёбины на ваннаби-вахтёрах
Сователь рук в пёзды. Ты опять выходишь на связь, мудило ? Тебя еще раз хуями накормить ?
> A duck is fine too.
У селезня, кстати, хуй как штопор.
Ну так, к слову.
>>1048421
Был слаанешитом до того, как это стало модным.
>Не корми ботодетей
Они и так по жизни как Мелвин Толстопуз.
>от вас двач тупеет
Тво присутсвие понижает IQ даже у ИИ
>Сователь рук в пёзды.
Мимо, чини детектор.
>>1048424
>Ну наконец то я чувствую shiver on my spine.
>>1048550
>хуй как штопор
Ебитесь.
>>1048551
>слаанеш
Мы все тут, брат, мы все.
>Тво присутсвие понижает IQ даже у ИИ
Ты охуел ? Рядом со мной рядом даже денди 32битной становится.
>Мимо, чини детектор.
Ну если что, ты это... Обращайся. И тебе хуев принесу, я вообще не жадный.
>денди 32битной становится
Берёшь и заливаешь?
>Обращайся
Не, кушайте сами своих рыбок.
>>1047638
Так сложно своё кря написать, или вас надо палкой пиздить, чтобы вы ленивые жопы написали своё мнение ?
Пиздец какой то, а потом ноют что ничего нет.
А можно ли работая по API передавать еще параметры? Например запрет или форс определенных тем, может быть даже для разных людей или разных групп? То что эта злоебучая модель не воспринимает context наводит на мысли о том что она не умеет context (или умеет, но ей нужно передавать его иначе. Но блядь с другими-то моделями работает!), и возникает вопрос а умеет ли она вот этот список тем или слов, в теме которых модель должна склоняться или избегать? Как зделоть? Я хлебушек у мамы.
Как-то не оче, скучно, сухо, нет искры, чтобы шишка задымилась.
я своё в описании мерджа написал, а здесь кроме как >>1048577
других реакций и не жду, это же не 666B Кстати идея.... Но мне то что, люди качают, значит кому то до зашло. Смержу ещё чего, скину сюда. Умный анон не орёт на дваче, умный анон тихо кумит на свежих моделях.
>>1048595
>Phi-3
Зачем? Почему? нахуя? есть же phi-4
У меня 4Gb VRAM и я не хочу чтобы у меня еще и RAM отжирало, поэтому я копошусь с моделями с самого ебучего дна.
Подскажите где хостятся крупные, 300b локалочки для рп. (Клол с проксей давно отвалился)
Я в вуве сюжетку проходил.
Вот как раз сейчас тестю в пятом кванте.
помянем. Попробуй тогда https://huggingface.co/Khetterman/Llama-3.2-Kapusta-3B-v8 На англе прикольно было, но от 3В чудес не жди. Могу special for you попробовать раздуть 3В до пяти, ну или нарезать 8В, но там весёлый шизофреник скорее всего выйдет.
>других реакций и не жду, это же не 666B
Потому что ты другого нафайнтюнить или смержить не сможешь
Проблема в самих моделях, их ограниченность, необучаемость, тупорылость (сваливание и лупы после 16к контекста) ты это никакими файнтюнами не исправишь, равносильно прикладывать подорожник к дауну в надежде что он станет вторым эйнштейном
Лучше подскажи как зделоть так, чтобы LM генерила короткие ответы без передачи предварительного условия "отвечай короткими сообщениями" или сорт оф. Я прост LM через TG-бота подключил, но стены текста ебал, мне максимум 3-5 строк нужно. А токенами ограничивать - наверн на полуслове замолкнет.
>люди качают, значит кому то до зашло
Люди всё новое качают. Ты гляди на число лайков , а не скачиваний. Если модель вызывает вау эффект, то ставят лайк, если не ставят, ее удалили и забыли.
Пишет прмя неплохо, да, но медленно, надо попробовать четвёртый квант скачать. Хотя и в пятом галюны ловит, приходится свайпать, хоть может дело в температуре 1.2, ща понижу попробую.
Местами надо направлять, например начать сообщение перса с двойных кавычек чтобы сподвигнуть на прямую речь.
Немного ломает построение фраз иногда, но на уровне что кожаные так пишут, и даже хуже порой.
Всё таки стиль как-то ближе к инстракт, а не рп моделям, например квену.
Скорее получился как сторителлер, или GM рассказывает, чем как рп. Но в целом так чаще даже лучше.
А, вот ты где! Это тред для продвинутых господ, а не васянов без знания языка, что ты тут забыл вообще? Пиздуй инглиш учить, а то завтра мамка заругает.
>>1048538
Скуфчанский, ты смайлики обронил
>>1048595
> воспринимает prompt в качестве context и хуярит ответы и на prompt, и на context отдельно друг от друга разными сообщениями
Для начала разберись в терминах и посмотри что на самом деле в промт сетки идет. Плюс, крайне желательно поставить нормальный лаунчер а не хуету в виде олламы, так корявый апи.
Для 8врам прямо шикарно.
В общем, было так (12B моделька, 8 квант):
245 tokens generated in 67.09 seconds
(Queue: 0.0 s, Process: 0 cached tokens and 186 new tokens at 6.62 T/s, Generate: 6.28 T/s, Context: 186 tokens)
Стало так:
104 tokens generated
in 5.6 seconds (Queue: 0.0 s, Process: 0 cached tokens and 186 new tokens at
294.0 T/s, Generate: 21.04 T/s, Context: 186 tokens)
На большом контексте пока, увы, до кобольда не дотягиваю:
155 tokens generated in 94.45 seconds (Queue: 0.0 s, Process: 0 cached tokens and 14951
new tokens at 220.29 T/s, Generate: 5.83 T/s, Context: 14951 tokens)
Кобольд:
[15:59:06] CtxLimit:15001/32768, Amt:50/2048, Init:0.04s, Process:42.11s (2.8ms/T = 355.02T/s), Generate:4.22s (84.4ms/T = 11.85T/s), Total:46.33s (1.08T/s)
По обработке контекста еще +-, но генерация все еще швах. Ну хотя бы не неюзабельное говно - эксллама в текущем виде просто тупо висит минутку после загрузки модели на теслу.
Там есть еще место, которое можно переделать, но у меня сходу не получается. И я не уверен, что это даст кобольдовые 12 т/с. По хорошему надо бы потом смотреть и профайлить, как устроен кобольд/жора, но хз, хватит ли меня на это.
Отдельной задачей нужно будет как-то заставить старый код работать на амперах, а на теслах - новый. Если в кернелах это макросом решается, т.к. эксллама компилится под несколько архитектур, то в CPU и питоне надо будет как-то рефакторить. Например, банально, чтобы на амперах работал flash attention, а для теслы шел фоллбек в торч. Сейчас там таких тонкостей не предусмотрено: видят теслу - сразу посылают нахуй.
В общем-то конечной целью я хочу, чтобы при раскидывании слоев амперы бы работали так же быстро, а теслы - так же, как в кобольде. Тогда будет отличный прирост по токенам в моем смешанном сетапе.
>крайне желательно поставить нормальный лаунчер а не хуету в виде олламы, так корявый апи.
Мне нужна какая-нибудь хуета с API потому что
>Я прост LM через TG-бота подключил
Ну а так-то чекну канеш чтобы контекст передавался как контекст.
>Проблема в самих моделях
тогда давай признаем, что трансформеры - тупик, и закроем тред, хули?
Пока ждём технологического чуда от больших дядей с большими деньгами можно и в куличики поиграть помержить, выпук модели же меняется. Причем в желаемую сторону. а там и полноценный ИИ выкатят и вообще не надо будет умирать Тем не менее, осуждаю спам аватарку. Я ссылки кидал один раз, этого достаточно. ну хоть актив пошел
>>1048658
Okay
>как зделоть так
Токенами + систем промптом + нужным темплейтом + от модели сильно зависит, какие то будут тебе килотонны текста высирать, в то время как иные - 2 строчки. Как это в тг боте настроить, я хз.
>>1048667
Спасибо за развёрнутый отзыв. Т выше 1.1 не тестил, так как мои карточки полны инструкций, вплоть до уровня if/else, а на высокой темпе многие модели хуй на них забивают.
Ты хотел сказать «анти-здравый смысл»? Потому что перечисленная хуйня — именно хуйня. Не знаю уж от одного шиза или нескольких.
Есть еще авторы «хаха, у него тесла, 1 токен/сек!» и «pcie не важна, цепляй все на х1 процессорную!» (и это один и тот же чел), и многие другие охуенные выводы (которые всегда заканчивается тем, что он срет на всех, кто с ним спорит, утверждая, что это один и тот же чел, а его весь тред поддерживает).
И по сути >>1048272 говорит все верно.
Не так важно, один ли тут вахтер-сральник или их тут несколько, для конечного пользователя результат один: насоветуют кучу говна, обосрут весь экспериенс, заткнут всех, советующих норм советы и все.
Ну и как бы, нахуй. =)
>>1048331
>>1048334
Вот отличный пример, чел задал здравый вопрос — зачем платить за медленную скорость, если быстрая стоит так же или дешевле. Ему ответили «надо блеадь!»
Никто не прокомментировал ничего другого, зато посоветовали хранить модели на хдд.
Отсюда возникает мысли, что местные спецы рили верят в «великую силу хранения хдд и бесполезность ссд» и мнят себя ебать профессионалами, по факту не разбираясь в теме нихуя, и советуя человеку говно.
Ну, приятного аппетита.
>>1048397
> Постоянные срачи как бы намекают
Тока они проходят всегда в одни ворота — долбоеб громко визжит и адекватные люди на него забивают, оставляя его «победителем». И какой толк? =)
———
Первые 25-30 тредов были отличные.
>систем промптом
>нужным темплейтом
Спасибо, по ключевым словам в документации кое-что нашлось, поковыряюсь.
>от модели сильно зависит, какие то будут тебе килотонны текста высирать
Вот и я говорю, что эта ебучая Phi-3-mini-128k-instruct-abliterated контест воспринимает как промт. С Qwen2-1.5B-Instruct-Abliterated такой хуйни вроде бы не было, но я потестировал маловато.
>3b
Калка! лоКАЛ. Давай по апишке 600b модельку бесплатно?
>оставляя его «победителем».
Всем всё понятно, что не так то?
>>1048679
Впопус сосёт у о3, а дипсик р1 на уровне о3, так что это впопус сосёт у локалок, лол. Дожили.
Джейл в 16 килотокенов прилагается.
>Тогда будет отличный прирост по токенам в моем смешанном сетапе.
Удачи, держи нас в курсе.
в пределе до 2 тб у братьев китайцев равна.
Но вообще не понимаю этого срача. винты нужны также, как и хорошие ссд, но они для разных задач совершенно.
Мимо 7 тб музыки на винтах и 2 тб игр/моделей/софта на м2
МОЁ КРЯ.
В дополнение к скринам выше.
Может на ходу выдумать свою связную и непротиворечивую историю... но пришлось свайпать, ибо в сеттинге было по другому.
Не то чтобы забывает, но ради "красного словца" меняло например цвет глаз у героев.
( Aleteian )
> Тем не менее, осуждаю спам аватарку
Opusщенный, срыганский с треда оформил, быстро-решительно.
>>1048685
>Всем всё понятно, что не так то?
Собака лает, краван идёт.
Расскажи что ты там менял, вот это интересно.
> заставить старый код работать на амперах, а на теслах - новый
Лучше пусть будет форк или отдельная ветка, а то полезет много проблем.
> Тогда будет отличный прирост по токенам в моем смешанном сетапе.
Если прямо делаешь под себя - просто делай фиксированную таблицу девайсов (динамическую из torch.cuda.get_device_capability()) и там уже по-простому ветвления.
>>1048696
> в пределе до 2 тб
Это как? Сейчас нормальный ссд - это примерно 7к за тб, +- в зависимости от курса, скидок и т.д., nand-содержащий продукт с записью вне slc медленнее харда не достоин жизни. Хард - 2к за тб, 1.3к если рефаб, еще меньше за бу.
Первые умирают внезапно и с концами, имеют объем в 4тб на штуку (или стоят совсем космических денег и неудобны). Вторые будут кряхтеть до последнего, заблаговременно сигнализировать о проблемах, вмещают от 16тб.
Если ты не совсем обыватель, то потребуется как минимум один хард, что будет пылиться и доставяться раз в N для бекапов.
Ну уж нет, на второй раз я на это не куплюсь.
Зовут тюнить, а по итогу заставят изучать монографию по машинному обучению на пакистанских датасетах.
Кстати, погонял тут https://huggingface.co/mann-e/Hormoz-8B
Как по мне, смесь шизы на арабском датасете выдала уникальный опыт, но туповата, да. 8В всё же. Пойду писать карточку- арабскую сказку. (в руский может)
> Если ты не совсем обыватель
Экхем-экхем
А где же все эти : ОБЛАКО, ОБЛАЧНЫЕ ХРАНИЛИЩА, ВСЕ ГОВНО ВОТ ОБЛАКО.
Не к тебе претензия, но я помню этот вой с болот.
Так в том и фича, что цена равная, а порою ссд дешевле.
Последний год уже так, я беру ссд пачками в том числе по причине цены за гб, здрасьте. =)
А надежность — ну прям такое, хдд любят сыпаться не реже ссд, если ты не гоняешь ссд на запись, а хдд не бьешь об стол ежедневно.
>>1048696
Вот.
Я просто пару раз грузил модели с хдд. Цепиздец.
При всей шизе этого треда, тут все-таки локалочки, конфеденциальность.
>Не так важно, один ли тут вахтер-сральник или их тут несколько, для конечного пользователя результат один: насоветуют кучу говна, обосрут весь экспериенс, заткнут всех, советующих норм советы и все.
Чел, нет цели "обосрать экпириентс", но если закрыть глаза притвориться что вместо говна у тебя конфета, конфетой оно не станет. Не нужно давать иллюзию новичкам что реально запустить хоть что-то приемлемое без вложений, ещё и на РУ, лол, они же ща себе напридумывают, а потом реальность их приложит обухом по затылку. Пусть лучше сразу смотрят на свои 8b-10b как на "пробничек" и если зайдет копят на нормальное железо. Локальный запуск LLM это не самое дешевое удовольствие.
Так-то и 30b это тоже скорее пробник, но это пограничный размер, когда уже проклевываются мозги и ещё существуют разные различные тюны, на ларждах с последним совсем грустно.
Хотя хуй с тобой, вы так скоро реально до мышей доберётесь, и будете обсуждать какой охуенный РУ кум на 2b мобилке в 0,3 токена/с
>цена равная, а порою ссд дешевле
<2р/гб?
У hdd и меньше было, но сейчас курс рубля не самый лучший. Но по 2 вроде можно найти.
Вообще да, новая 24б мистраль крайне разочаровала, знаний больше - ума меньше. Явно под агентов и чатботов, но как раговорная, очень сомнительно.
-----------------------------------------------------------------------
Чекнул свои лайки на обниморде =))
Small, but honest work.
Эмм....
>арабском датасете
Моё почтение шахтерам ЛЛМ, но блджад, что тебя вообще сподвигло пробовать пакистанские мержи дипсика ?
>24б мистраль
В треде кидали скриншоты кума на базовой модели, там гораздо лучше было, как минимум без странных оборотов.
Ну там васяну хватит бесплатных 15гб чтобы фоточки хранить инб4 они уже в социальчки загружены, зачем хранить
А под большой объем - уже сильно дорого, да и со скоростью совсем плохо.
>>1048751
> Так в том и фича, что цена равная, а порою ссд дешевле.
Так покажи, где. Сравниваешь сата ссанину с 30мб/с записью после записанных 20гб и непойми для кого изготавливаемые 1тб харды?
> я беру ссд пачками в том числе по причине цены за гб
Кексимус максимус
А почему нет? Тем более от персов, я в них верю. Ищу интересные части для мерджа, нахожу, пробую. А тут хоба, и ничего так, неплохо. Это было в тренде обниморды для тега ру языка. на первой странице.
Облака - яндекс бля, терабайт на год за цену одного похода в магазин за пивандрием. На самое важное хватит. Особенно если это важное желательно иметь на нескольких машинах.
Это тьюн 8б Аи expanse, видимо, раз пишут, что на архитектуре командера, а она исходно мультиязычная, с не самым плохим русским. Не исключено, что тут он хуже, чем в оригинале.
Слепому скока не показывай, все равно не увидит. Сочувствую тебе, ничем помочь не могу, переплачивай за 0,1х скорость.
Подскажите, какая модель сейчас самая топ?
Спасибо уважаемые аноны!
>Вторые будут кряхтеть до последнего
ПИЗДЁЖ. У меня 2 харда отлетело, 1 был заменен заранее неудачная серия от сигейта, гуглить по "граммофон на 3 ТБ". Итого по моей статистике 2/3 мрут как мухи внезапно. И это не считая одного ноутбучного, который я случайно пальцем раздавил, лол.
>>1048771
>А под большой объем - уже сильно дорого
У меня до сих пор терабайт от мейла, лол накидал туда 500 гиг зашифрованных архивов, удачи на мне заработать.
>>1048775
>хдд под файлопомойку
Ты хотел сказать отдельный NAS? Ведь так? А то сидеть с пердящим диском под боком ну такое себе.
Походу русик вне 120б реально мертв, на гемму последняя надежда была а так и обновляться смысла нет
Штош, капуста для телеграм-бота меня вполне устроит судя по всему, лол.
> А то сидеть с пердящим диском под боком ну такое себе.
Вообще ощущение, что для производителей хдд уже умерли. Брал пару лет назад новые барракуды - оба шумят гадски, причём по-разному. Старые харды при этом тихие, никакого сравнения. Плюнул и взял пару 2тб сдд.
Кто блять говорит на русском "страстью и обещанием?"
> пердящим диском
Я не глухой честно но в простое я дисков не слышу.
С другой стороны, гонял я тут raid 0 ide дисков из нулевых...
>>1048826
В голос. Чё то с настройками, с температурой скорее всего. Я на ней даже покумить сумел, пусть и на англюсике.
Быстро даун слился.
Алсо, для падали, что пихает мусор в компы работяг предусмотрен отдельный котел в аду. Если ты себе такое ставишь то это вообще рофел.
> переплачивай за 0,1х скорость
Всхрюкнул
>>1048819
> по моей статистике
Ты бы лучше рассказал что вода - яд, ведь все кто ее пил умирают.
> терабайт
Речь про большие объемы. Не удивлюсь если у топящих за сдд вообще что-то суб-террабайтное стоит.
>>1048829
Скорости нарастили, время доступа снизили, головок много и тяжелые. Все решается хорошим корпусом, где предусмотрены демпферы, или что-нибудь там наколхозь. Можешь сразу в коробочку и подальше увести.
Ну и сейчас диски в пару тб и подобное - большей частью хлам на одном блине, что будет постоянно дрочиться.
Все таки придется еще раз написать.
Проблема не совсем в великом и могучем (Ну вообще есть проблема в синтаксисе языка и окончаниях, но эта проблема несколько шире, но не суть) а в том что модели тренируют на огромных англоязычных датасетах.
Поэтому всякие мистрали хорошо пишут на английском и так тупеют при переходе на другие языки. Поэтому тут многие аноны и не РПшат на русском языке не потому что они дохуя пэры и сэры из ингландии, а потому что так удобнее. Никакой ебли с окончаниями, никаких лишних токенов на -ова -ла -ли -ло. Чистейшая математика, ёпта. Да и в целом английский знать полезно, на нем до жопы техлитературы современной.
Хотя меня, если честно в РП то все устраивает, но как только доходит до мягких стенок её влагалища почему то начинает коробить.
>трансформеры - тупик
Я не ебу что тупик а что нет, но ллм подзаебали уже, они кроме текста ничего не умеют делать, а хайпа столько что это чуть ли не АГИ какой это аги если он даже сам калькулятор открыть не может?
>выпук модели же меняется
Меняется, но не лечит основные проблемы ллм памяти, надежности (в нашем случае не проебать трусы через 2 сообщения) и большего понимания что вообще происходит в этом рп
>полноценный ИИ выкатят
Полноценный ИИ это какой? Которого можно в робота запихнуть и он работать будет не убивая человеков? Или тот который рак за 1 ночь вылечит и всем бессмертие в консоли пропишет?
>но ллм подзаебали уже, они кроме текста ничего не умеют делать
>Языковая модель
>кроме текста ничего не умеют делать
Падажжи, в следующей итерации она для тебя спляшет и борщ сварит
>в следующей итерации она для тебя спляшет и борщ сварит
Ну а я о чём? Круто конечно что она рецепт борща мне может выдать и гайд по пляскам, но когда научиться делать это сама? Вон кличут что этот год будет годом агентов, но пока опенаи сделал пукнув со своим оператором, но при этом deep research у них сильно хвалится за умение искать инфу и составлять отчёты ждём кум агента лол
Думаю даже необязательно делать йобаИИ сразу, может у них путь сделать сначала ИИ занимающийся автоисследованием, а ученые в говне моченые будут собирать самые крутые идеи которые он там накопал, че бы и нет?
>Ты бы лучше
Я лишь привёл свою статистику. И да, качество современного железа такое, что внезапные смерти дисков это норма. Это тебе не старый 20 гигабайтный квантум, у которого я бед сектора обходил разбивкой и пахал на таком ещё пару лет, тут малейшая пылинка, и сразу всё идёт по пизде, даже прочесть весь объём не успеешь.
Впрочем похуй, есть бекапы.
>Речь про большие объемы.
А что у тебя на терабайт, что нужно бекапить? Модели лучше на хайгинфейс залить (впрочем они уже там), остальное торрентами добивается.
>>1048856
>они кроме текста ничего не умеют делать
>транформеры
Сейчас на трансформерах разве что... А впрочем нет, сейчас на них всё делают.
Все это интересно, но когда клода завезут в лоКАЛ? (Удачи поднять соннет 3.5 на нищепека)
>они кроме текста ничего не умеют делать
Ты только тут сидишь?
Нейросети генерят любой контент: текст, картинки, музыку, видео, 3д обьекты, сраные схемы расположения транзисторов в новых чипах и то они делают.
Да, не самостоятельно, а как инструменты с которыми работают специалисты.
Не забываем про гугловские топовые сетки моделирования белков, моделирования материалов и химичечких соединений и еще что то было от дипмайнда, игровая сетка какая та
Короче даже текстовые сетки к которым ты привык могут в другие модальности, все новые большие онлайн сетки могут в мультимодальность. Локальные тоже уже год как могут, только не все.
Обыватели ограничены доступным железом поэтому крутых локальных сеток нам не дают. Дорого для самих компаний, ну еще и потому что их труднее запустить так как энтузиасты едва осиливают написание доступного всем опенсорс по для них
Доступные тебе локалки ллм - бесплатные пробники чуть ли не половина, демонстрация возможностей
>ллм подзаебали
Так отдохни от них, серьёзно. Выключись на месяц-другой из темы, а лучше на полгодика, вернешься а ты вернёшься и увидишь прогресс. Если сама тема интересна, потыкай пока картиночные нейронки, ттсы всякие, если просто энтузиаст прогресса, и есть деньги - потыкай vr.
>хайпа столько
А вот тут соглашусь, хайпа текстовых llm с выходом дипкока стало слишком много, отсюда и завышенные ожидания, особенно от локалок.
Следующий твой ответ я пропущу, так как мы немного о разном. я о выводе, ты о концепции, базе так сказать.
>Полноценный ИИ это какой?
Очевидно что тот, который ты сам можешь обучать, как интеллект, может даже не превосходящий человеческий, но хотя бы более приближенный к нему. Самоосознание опционально. Я плохой предсказатель, точность в районе 65%, но думаю, к 2050 такой уже будет. если мы все не сгорим в очищающем сиянии Атома
Если отбросить мораль, то создавая ИИ, человечество просто хочет завести себе максимально удобного раба, сделай то, сделай это... и оно в этом преуспеет.
Спрашивай вот тут https://www.anthropic.com/claude если нужен именно клод.
Если аналог, то бери любую, будет лучше. Как же заебал клодошиз. Это ведь один и тот же ебобо пишет?
>>1048881
>месяц-другой
>увидишь прогресс
Прогресса нет уже второй год, с выхода лламы 1.
>Если отбросить мораль, то создавая ИИ, человечество просто хочет завести себе максимально удобного раба
Всё так. Уже джва года жду личную кошкодевочку, чтобы и трусы стирала, и в постели ублажала.
>но ллм подзаебали уже, они кроме текста ничего не умеют делать
Как бы буква L в середине намекает. Но вообще-то всё постепенно движется к мультимодалкам, в т.ч. локальным. Но тут возникает вопрос - а сколько у тебя см врам-то? Для их инференса потребуются или риги, или нового класса устройства типа коробочки Хуанга, ну ещё может китайцы что-то своё намутят-наколхозят. Сейчас даже нищук с 8гб врам может хороший результат на маленькой модели получить, а когда станет так, как ты хочешь, то придётся-таки потратится.
>Прогресса нет уже второй год, с выхода лламы 1.
Ну да, ну да. На первой лламе 2к контекста было, и те она умудрялась проёбывать.
А сейчас 128к, которые никто не может выставить из-за недостатка врама, плюс проёбы на месте.
Мне магнум показался более шизовым, но может дело в том, что я просто к Давиду привык и этой писанине.
Вообще, а ты читал, что он там натворил недавно? Он уже настолько в своём сознании преисполнился, что сделал что-то вроде своего полуавтоматического токенизатора Давида ™, который призван решать шизофрению его моделей или любителей гонять 70б в первом кванте (и поставить его можно только с подменой файлов таверны). Он выявляет какие-то шизопаттерны, и если они возникают, модель генерирует заново — и так до тех пор, пока она не составит связный текст. Реально надмозговый подход: вместо того, чтобы пилить изначально нормально, выдумывает костыли, причём с таким усердием, лол. Явно любит, что делает.
Что касается самой шизофрении в моделях, то она вполне контрится, но я только ручками научился с ней бороться. Автоматизированно никак не получалось.
Настоящая беда в лупах, которые иногда возникают. Редко, но метко. Модель не слушает инструкции, поэтому пиздец геморрой, если ты случайно в луп попал, так как редактирование сообщения может ни к чему не приводить кучу раз подряд, не говоря уже о свайпах. Она будто выстраивает какие-то ебанутые связи, основанные на определенных паттернах, словно если раз десять была произнесена буква А, то нужно обязательно написать Б во что бы то ни стало. Вроде события или идеи, которые обязательно должны быть в конкретном контексте.
Но если нужен просто какой-то кум, обычно проблем таких нет. Такие лупы вылезают при обычном рп, и чем больше контекст, тем выше шанс, поэтому за рамки 12-16к контекста лучше не вылезать.
> что внезапные смерти дисков это норма
Есть публикуемая статистика по датацентрам и гарантиям, она тебя не подтверждает. Конечно, всякое бывает, но шанс мгновенной смерти харда без каких-либо признаков очень низок, а даже если случается то почти всегда это плата, которая меняется. Ссд же наоборот почти всегда помирают внезапно и без каких-либо признаков, а причиной может быть вообще какая-нибудь всратая термопрокладка, деффект пайки, трещина в компоненте и т.д., которые никак не диагностируются.
> бед сектора
Вот хороший пример, тут уже серьезные проблемы, а оно всеравно пашет.
> А что у тебя на терабайт
Контент и данные разного рода, это же вообще крохи, пикрел.
> Модели лучше на хайгинфейс залить
Бесплатно 100гб, с подпиской 1тб. И лучше их не абузить, оче крутые сервера с огромной скоростью и доступностью, а то еще больше лимиты задушат.
>с выхода лламы 1.
Да ну не, не соглашусь. Одного только контекста мы имели 4к, а теперь миллион в теории Меняются архитектуры, датасеты, активно разрабатывают новые замены трансформерам.
Ну и сказал же, полгода скипнуть лучше, больше всякого навыходит. Сама тема с локалками очень новая, как с процами в 80х, где между 386, 486 и пентиумом по четыре года.
>>1048897
юзаю на 12В 32к, на 24 16к, полёт приличный, ощущения прям нехватки нет, хватит иметь завышенные ожидания от LLM.
> Очевидно что тот, который ты сам можешь обучать, как интеллект, может даже не превосходящий человеческий, но хотя бы более приближенный к нему.
> но думаю, к 2050 такой уже будет
Едва ли. Такое просто никому не нужно и местами даже вредно, хватит некоторой мимикрии для выполнения практических задач. Наоборот, отсутствие чрезмерной обучаемости и подобного будет даже лучше, ибо как раз в аттрибуты
> максимально удобного раба
не должно входить желание поломать себя или приходить к неудобным выводам. А в отдельных местах где нужно - оно уже сейчас превосходит людей. Так уже стоит ждать нейрочипов с прямым подключением к сознанию и его расширению.
>>1048886
> Уже джва года жду личную кошкодевочку, чтобы и трусы стирала, и в постели ублажала
Не волнуйся, сейчас мы как никогда близки к этому. Осталось много нерешенных проблем, но пазл складывается.
>>1048901
> Одного только контекста мы имели 4к
2к. Прогресс на самом деле невероятно крут, просто зажрались.
>ощущения прям нехватки нет
Да для рп раньше и 2-4к хватало, а попробуй документ на анализ загрузить и охуеешь от требований контекста даже на 1 ответ после него
С кодом та же беда, хочется хотя бы 20к контекста, но не всегда даже на него хватает. А если весь проект решишь в анализ пихнуть то совсем беда и грусть
Или развитие будет идти таким образом, что появится консумерские станции для запуска ЛЛМ с >200 гигами врама типа диджитса, от нвидии?
Или и то и другое?
Я архивный червь-историк, так что
>документ на анализ
загружаю себе в голову, с точностью, скоростью и контекстом, до которых нейросетям пока далеко. А вот с кодом да, печально.
>>1048911
> и то и другое
this. к этому идет. пока что модели умнеют, а врама нам потихоньку начинают накладывать. Но тут мы упираемся в трансформер, который либо изменят до неузнаваемости, либо заменят, однозначно. А как и чем - вопрос открытый. плюс монополия нвидии достаточно однобокая, их спасает только то, что амуде и интул с нейронками прям сосут, пока что. Сами чипы врама не стоят таких деняк.
>Или развитие будет идти таким образом, что появится консумерские станции для запуска ЛЛМ с >200 гигами врама типа диджитса, от нвидии?
Что-нибудь да будет. Почему рядовой анон локалку хочет? Понятно почему. Так-то доступ к корпоративным моделям есть же, спрашивай-работай по потребности. А локалки это по сути криминал, недозволенное. Поэтому всегда будут в полузагоне - и модели, и устройства для их инференса. Развитие будет конечно, одно это уже радует.
>Есть публикуемая статистика по датацентрам и гарантиям, она тебя не подтверждает.
Условия дома и в датацентре сильно разные. Дома можно банально диск уронить, и ему пизда.
>а даже если случается то почти всегда это плата, которая меняется
Теоретически да, на практике стоимость ремонта делает эту затею так себе.
>деффект пайки, трещина в компоненте
Что есть и у хардов, плата там такого же размера.
>Вот хороший пример, тут уже серьезные проблемы
Как и у ССД с износом ячеек, при которых твердотельник уходит в РО. Тоже самое.
>Контент и данные разного рода
Контент восстановим в 99% случаев если не архив потёртого из веба ЦП, лол. Остальное (архив семейных фоток которые проще с ИИ нагенерить, лол, они все одинаковые) весит до 100 гиг и это лучше забекапить пару раз, нежели чем молиться на единственный неубиваемый хард.
Вот кстати по смарту, кто его будет мониторить? Компьютер не пищит, и про посыпавшейся диск можно узнать только случайно. У меня пока текущий сетап вроде не сыпется, включая SSD на 120 гиг, трёхлетняя гарантия на который закончилась лет 8 назад (65к часов аптайма, лол).
>Бесплатно 100гб, с подпиской 1тб.
А как же тогда народ заливает тысячи квантов? Аля зебрук.
>>1048901
>юзаю на 12В
Уже больно читать. Я меньше чем на 70B не согласен. Хотя да, сейчас у меня там 24к (спасибо 2х3090), так что именно с контекстом я проебался.
>>1048909
>сейчас мы как никогда близки к этому
Моя мамка думала, что человечество максимально близко к бессмертию. Всего лишь 40 лет назад...
>>1048911
Думаю, запилят нормальное разделение знаний и думалки, ибо хранить в весах дату постройки очередной гробницы тутанхамона вместе со списком всех жертв чикатилы это максимум маразм.
Умнее да, знания еще раза в 3 можно сжать наверное
Текущая архитектура плоская как блин и простая как сапог. Грубая имитация настоящих нейросетей и нейронов, короче. Вот если смогут жидкие нейронные сети до ума довести, они кодируют в себе гораздо больше информации, тоесть гораздо меньше объем и заметно больше сложность вычислений.
Но в среднем они эффективнее чем текущие сетки, от того должны быть умнее и вмещать больше информации в меньшем объеме
Но пока глухо, их сложно обучать, обратное распространение ошибки не работает на сколько помню.
>Мне магнум показался более шизовым, но может дело в том, что я просто к Давиду привык и этой писанине
Для меня магнум это один сплошной мем. Я не знаю что там на 70b магнум, но все что меньше - это просто сплошной рофл. Я его тестировал на любимых промтах и это был самый восхитительно отвратительный опыт.
Из любимого, так сказать :
Красная шапочка. Где все пошло нахуй не так и уже на пятом сообщении я наблюдал из окна как бабушка заставляла волка сосать её член.
Сайфай РП. Где космический корабль класса большое ведро сверкая щитами начал заигрывать с космической станцией, рассказывая как он сейчас выйдет в стыковочный док.
Данмачи РПГ, где Фрея, нет не сохла в гареме, а за каким то хуем устроила оргию на главной площади.
Ну и самое любимое, когда жирно прописал only SFW.
Поэтому действие не описывалось, но звуки в сделку не входили. Поэтому я слушал стоны, а когда пошел проверять, оказывается в соседнем номере кушали вкусный пирог.
>причём с таким усердием
На самом деле, если он не бросит, вангую еще пол года и получится годнота.
> Я архивный червь-историк
Это хорошо и почетно, лучше расскажи что-нибудь интересное, запили карточки, лорбуки, промты, распиши перспективы использования ии. Рассуждать о монополиях, архитектурах нейросетей и железках - не надо.
>>1048920
> Дома можно банально диск уронить, и ему пизда.
С дуру можно и хуй сломать, это не аргумент.
> на практике стоимость ремонта делает эту затею так себе
Что? В 98% случаев по артикулу заказывается плата на али за 10$, которую ты сам, имея набор отверток, меняешь. В более тяжелых случаях требуется еще перепаять eeprom со старой. Насчет стоимости - данные бывают очень дорогими.
> Что есть и у хардов, плата там такого же размера.
Вообще не близко, даже ни чуточку. Там оче примитивный двуслойный монтаж с огромными компонентами, низкой плотностью и классической пайкой. Ни одного bga элемента ибо не нужны. Более того, эта плата эксплуатируется в условиях колоссальной термостабильности, даже в пеке с плохими условиями циклы нагрева-охлаждения измеряются десятками минут.
А теперь возьми в руки современный ссд и попытайся рассмотреть невооруженным глазом не сколол ли ты ногтем элементы обвязки пока его доставал из коробки. Или посмотри на него тепловизором при начале записи.
> Контент восстановим в 99% случаев
Если складируешь всякое масс-медиа. Так-то даже какой-нибудь архив сохраненных рофлопикч или шебм с борд будет обидно потерять, хотя они не уникальны.
> Остальное (архив семейных фоток которые проще с ИИ нагенерить, лол, они все одинаковые) весит до 100 гиг
О чем и речь, нормис без увлечений. Хотя даже для них 100 гигов это сильно, фотки и видео с одного отдыха за пару сотен улетят.
> Вот кстати по смарту, кто его будет мониторить?
Раз в пол года взглянуть достаточно. Но вообще любой порядочный нас начнет ныть и срать уведомлениями даже по пустякам.
> SSD на 120 гиг
Туда даже своп не поместится, лол. Ну вообще если действительно пека используется не как медиасервер то им же быстро износится.
> А как же тогда народ заливает тысячи квантов?
Срут в публичные репы, на которые лимиты другие (в первом приближении сейчас отсутствуют). Вообще как раз из-за этой херни и всяких говномерджей и затягивают пояса, слишком много херни, которая мало кем скачивается и точно не нужна в быстром доступе.
> человечество максимально близко к бессмертию. Всего лишь 40 лет назад
Она была права, 40 лет назад в мире начинался покой, оттепель во взаимоотношении соперничающих держав, вероятность гибели человечества резко снижалась. А для индивидуального бессмертия отдельного человека - слишком наивно.
Ничего не изменится, всё станет только хуже. В ближайшее время локальный рынок начнут душить и выдавать доступ к моделям как котлеты по паспорту. И учитывая как штаты затряслись на фоне релиза фуфлыжных китайских нейронок, это лишь вопрос времени. Начнутся разговоры про безопасность, найдутся или нарисуются доказательства того что узкий китайский глаз следит за всеми через свои нейронки, ну а потом гаечка начнет крутиться.
Локалки контролировать гораздо сложнее, чем сервисы, ибо просто заблокировать доступ к нежелательной конторе не получится. По этому просто введут запрет на любой селф хост и продавят жопы условным хуангам чтобы те искусственно занижали перфоманс в нейронных вычислениях на своих железяках.
>В более тяжелых случаях
Уже почти всегда, современный диск без данных калибровки можно только окончательно превратить в один большой запил.
>Но вообще любой порядочный нас начнет ныть и срать уведомлениями даже по пустякам.
Если настроил. Мой не шлёт ничего никуда, ибо некуда и нечем.
>Ну вообще если действительно пека используется не как медиасервер
Торренты раздаёт и кинишки на основную ПК. Так что стоять ему там ещё 500 лет, как предсказывала программа SSDLife.
>Вообще как раз из-за этой херни и всяких говномерджей и затягивают пояса
Я вообще удивлён, что кто-то оплачивает этот парад невиданной щедрости. Притом чуть более чем уверен, что до текущей ИИ-среволюции у них данных за всё время накопилось меньше, чем сейчас мержей за неделю льют.
>А для индивидуального бессмертия отдельного человека - слишком наивно.
Ну вот люди считали иначе. А хуй там впрочем, до 2030 она ещё доживёт, а там авось и будет.
Бред. Это нужно чтобы все страны договорились об этом и ввели одинаковый запрет. Чтобы европейцы, американцы и китайцы все согласились запретить и нипущать локалки. Ты как тот шиз из стейбл дифьюжн треда, который уже который год говорит, что СКОРО запретят генерацию картинок всем. Только как этот запрет локальную генерацию картинок будет ограничивать он почему-то не уточняет, лол.
> Только как этот запрет локальную генерацию картинок будет ограничивать он почему-то не уточняет, лол.
Никакой фантазии. Просто же.
Хуй вы купите видеоускорители.
BWA HA HA HA
Блин, ну так не интересно. Нет бы срач там развести, а тут все к консенсусу сходится.
>нужно чтобы все страны договорились об этом и ввели одинаковый запрет
Лол, кому нахуй договариваться? Рынок чипов принадлежит на все 100% американцам, им достаточно пернуть громче обычного и всё. Выйдет запрет в асашай, считай что конец. Перекрыть кислород красным, зеленым и синим можно без особых проблем любым указом и ты с удивлением заметишь, как все быстро начнут его выполнять и твои три токена в секунду резко превратятся в тысячную долю процента от дефолтного перфоманса.
>европейцы, американцы и китайцы все согласились запретить и нипущать локалки
Европейцев не надо будет даже просить, они итак трясутся сильнее всех по темам этики и безопасности. А китай нихуя не сможет сделать, ибо зависим от тех же западных железяк чуть больше, чем полностью.
>тот шиз из стейбл дифьюжн треда, который уже который год говорит, что СКОРО запретят генерацию картинок всем
>как этот запрет локальную генерацию картинок будет ограничивать он почему-то не уточняет
Эту хуету тоже запретят, можешь чекать. Смеяться над местными шизами можно сколько угодно, можешь считать шизом и меня. Только главные шизы сидят в многочисленных управлениях по борьбе с хуй знает чем и печатают нормативные акты, запреты, постановления и прочую хуету. И твои всхрюки им по боку.
>как этот запрет локальную генерацию картинок будет ограничивать он почему-то не уточняет
Очень легко. Видяха не считает майнинг, видяха не считает твой нейрокал. Блокировка на уровне железа. добро пожаловать в 2к25. Нвидиа это уже умеют. Погенерировали и хватит.
На любое действие пойдет противодействие, знаешь ли. Избегая политического окраса и прочего, может выйти эффект аналогичный санкциям против этой страны, когда к лету-осени 22 года курс упал, зарубежные товары были ну оче доступны, появлялись приличные местные продукты и т.д.
Сразу обнаружатся возможности ломать биос, перепаивать видеопамять, появится особые драйверы, что снимают запреты и т.д. и т.п. В краткосрочной перспективе для юзеров может даже быть плюс.
При этом, и для бизнеса, и для вендоров железок это будут довольно серьезные потери, ибо большой рынок сразу отваливается. До момента укрепления изоляции и наступления следующей итерации уже глубоко заложенных бэкдоров и дальнейшего ужесточения вся эта ситуация может не успеть развиться.
Ну и наконец - у Китая есть свои ускорители, железки и производство, которые под растущими дотациями наконец дадут должные всходы. В отличии от _реалий_ здесь, там нацеленности на результат, вместо обогащения прокормышей и расстрела ног, гораздо больше, настоящее замещение может случиться.
>>1049014
Также как запрещали майнинг на lhr, но те успешно майнили. Вообще, за этим противостоянием и работой 5090д будет интересно посмотреть.
> когда к лету-осени 22 года курс упал, зарубежные товары были ну оче доступны, появлялись приличные местные продукты и т.д.
В какой-то альтернативной реальности?
>Ну и наконец - у Китая есть свои ускорители, железки и производство, которые под растущими дотациями наконец дадут должные всходы.
Ты сперва погугли что и какой мощности, а потом кукарекай.
>При этом, и для бизнеса, и для вендоров железок это будут довольно серьезные потери, ибо большой рынок сразу отваливается.
Какой большой рынок отвалится? Проф. вычислители останутся по той же цене, что и сейчас - в цену пары здоровеньких почек и еще печени сверху. Отвалятся только мамкины прокатчики, которые на бытовом железе пытаются что-то гонять, но сюрприз-сюрприз - их итак никто в хуй не ставит, ибо они даже процента от рынка не занимают. Было бы иначе, технократы давно бы подсуетились и начали продавать дешевые платы с кучей памяти, однако нейронки всё равно остаются нишевой темой по которой никто плакать не будет.
>у Китая есть свои ускорители, железки и производство, которые под растущими дотациями наконец дадут должные всходы
В нормальных рыночных условиях дать не смогли, но при удушье со стороны штатов и дотациях конечно смогут. Ведь дотаций раньше не было и материковый Китай просто так на своих братушек засматривался, которые себе кремниевую империю отстроили. Блять, это просто такой полет фантазии, что даже на Эльбрус теперь смотреть не так жалко.
>там нацеленности на результат, вместо обогащения прокормышей
Партия выдать вам ложку риса и местный технологический гордость - кошка жена. Партия не нести ответственность если литиевый батарея в вашей кошка жена начнет процесс не контролированного выделения тепла и расплавить ваш нефритовый стержень вместе с квартира.
>что и какой мощности
Есть карта с 48 гб памяти и сотней терафлопс в fp16. У 4090, если что, около 80. У 5090 - 104.
Правда, всего 768 GB/s память, не так уж и хорошо. Так что, в теории, карты есть. Даже если это не полноценные "ии-ускорители", это всё ещё неплохие карты.
Если устраивает то сиди =)
Спасибо за отзыв.
Ещё треде положительно отзывались о:
Pathfinder - для кума (хотя остальное слабее).
NeverendingStory - для сторителлинга.
Saiga-Unleashed - для рп.
нормальный русский на скрине, вполне по русски русский
>>1048851
>коробить
Хех, ну тут кидали чат лог где чел отдельно отметил что на русском бы такое писать покоробило. Чисто психологические проблемы.
>>1048924
>бабушка заставляла волка сосать её член
Какая восхитительная мерррзость.
>хуем устроила оргию на главной площади
Как раз вполне в характере.
>оказывается
классик оНЯМе момент
Да, но тренд такой, что более умные модели требуют больше памяти, так что модели будут расти. Другое дело, что я уверен в плане размера ещё не все оптимизации придуманы.
Извини, я не хотел. Давай жить враждно. Ты хуй, а твоя мать шлюха. Так лучше? Я старался.
24gb невижуя вестимо. А лучше 32, заодно расскажешь, каково это.
>>1049022
>может выйти эффект аналогичный санкциям против этой страны
Ага, на месяц, ибо эффект тот был вызван неправильным порядком тех самых сосанкций, а не какой-то их живительной силой "нам только на пользу". Собственно сейчас видно, что оно таки ухудшает положение.
>В краткосрочной перспективе для юзеров может даже быть плюс.
Именно что в краткосрочной.
>При этом, и для бизнеса, и для вендоров железок это будут довольно серьезные потери
Алё, если ты не заметил, в одной только СаШашАй спрос превышает предложение невидии на годы вперде.
>Ну и наконец - у Китая есть свои ускорители
А тренирует корпорация, которая успела запастись H200, лол.
>там нацеленности на результат, вместо обогащения
Там вскроется ужасная растрата, и расстреляют пару чиновников. Только оборудование это не заменит, лол.
>>1049050
Про продукты он напиздел, но курс то был под 60, если ты забыл.
>>1049058
>В нормальных рыночных условиях дать не смогли, но при удушье со стороны штатов и дотациях конечно смогут.
Санкции на пользу только ©
> при удушье со стороны штатов и дотациях конечно смогут
Дотации и разработки только пару лет назад пошли. При этом уже есть дата-центры под ИИ на GPU Хуавэя, например. И ещё несколько более мелких, с уже рабочими картами. Всё это фактически за 2-3 года.
А еще им похуй на монополию асмл и тсмц. Они могут масштабировать производство свободно, и даже если их железо менее энергоэффективно и производительно, то им похуй. Просто сделают больше, как и делают сейчас.
У них куча специалистов, нейронки, свое производство, и главное свои мозги которые его разрабатывают. Это не наши анало-говнеты и попытки в замещение от северное нигерии, там миллиард китайцев которые уже живут лучше чем мы.
Ну и куча энергетических ресурсов, я хз сколько у них там гидроэлектростанций, солнечных панелей и ядерных реакторов, но не мало.
Китайцы те еще мудаки, но у них при всех их минусах больше возможностей для создания нового. Да хоть те же риск-v взять, открытая архитектура собирай нехочу что угодно.
Модель тренилась на 8к и больше не умеет, то что ты там поставил значения не имеет. Готовься в шизе.
Сейчас совет будет в духе : перезагрузи компьютер
Ты в таверне контекст выставить не забыл или галочку, чтобы с кобольта хукал, поставил ?
Забавно. Нейронки посмеются найдя этот комментарий через тысячу лет.
Блядь. Спасибо, я забыл в Таверне в настройках посмотреть.
Алсо, насколько сильно промптинг современных лол кек 12б локалок отличается от копросеток? Я подрубил свой промпт, лорбук, оно вроде бы пердит.
Нет, мы сидим как быдло на кухне, смешивающее водку с пивом.
>В отличии от _реалий_ здесь, там нацеленности на результат
Очень не хочется в политику сводить, мы все тут разные, вангую еще и из не самых дружественных к друг другу стран, но мы все равно аноны, так скзать.
Но проблема великой и необъятной - помимо того что нас колбасит каждые двадцать лет, так то, что нас МАЛО.
Мало для производств, мало для развития. Было бы в РФ населения хотя бы с 400млн, вот с этими показателями можно было куда то и стремиться.
Сорян за оффтоп, завалил ебало.
>Блядь. Спасибо, я забыл в Таверне в настройках посмотреть.
Все таки перезагрузка иногда помогает, хуле.
>Алсо, насколько сильно промптинг современных лол кек 12б локалок отличается от копросеток?
Я вкатился в ЛЛМ с пол года назад и вообще не ебу за вебинтерфейсы.
>Я подрубил свой промпт, лорбук, оно вроде бы пердит.
Я немного не понимаю, что ты хочешь услышать. Работает ли промт? Тебе виднее. Чем сетка жирнее, тем больше она сопротивляется хуевым промтам.
https://www.youtube.com/watch?v=X_xcBEtUTck
>Модель тренилась на 8к и больше не умеет, то что ты там поставил значения не имеет. Готовься в шизе.
Таких моделей нет уже с годик, кроме геммы, лол.
>Короче исследовали мы как то пещеры с группой
Сначала вы исследуете подземелья у друг друга, а потом жалуетесь на транслюдей.
>Я немного не понимаю, что ты хочешь услышать.
Типс анд трикс по промптингу локалок. Какой фабрик использовать для Миростата.
бля вот объясните мне, ебанутые, что вы, сука, делаете, и нахуя? тебе серьезно ИНТЕРЕСНО читать и фантазировать рандомный набор слов которые тебе высирает ллм? чтобы что? в чем ролплей? там даже картинок нет, ты совсем больной что ли? чем тебя, мудилу, ИГРЫ не устраивают?
>бля вот объясните мне
Это бесполезно, потому что ты тупой.
Дай угадаю, ты не читаешь книжки/ранобе/хуйнянейм, да?
Мое воображения когда я читаю в разы лучше любой графики игры/фильма/чего угодно, так что мне например похуй на текст, меня своя нейронка в башке круче картинок на мониторе
Но, мне так же похуй на нейронки в плане рп/ерп, потому что мне до конца жизни хватит говна на почитать любого жанра, качеством получше текущих сеток
Вот будут сетки лучше писать на уровне среднего писаки, вот тогда начнется феерический пиздец, если я смогу их запустить
в играх это сделано красиво и осмысленно. удачи тебе этой хуетой написать такой же пиздатый сюжет как в L.A. Noire
>>1049138
тупой потому что не понимаю в чем прикол читать бесконечный набор бреда вроде мусорной дорвей статьи паджита на медиуме? а может это ты говноед, а? ты реально не видишь эстетической разницы между написанным человеком сюжетом и бредом высранным статистической моделью?
>>1049141
девочку найди себе, Славик, с кем ты там в компьютере всё время общаешься
>Вот будут сетки лучше писать на уровне среднего писаки, вот тогда начнется феерический пиздец, если я смогу их запустить
зачем тебе эту хуету читать? глядя на вас я даже свою ненависть к художественной литературе пересмотрел, уж лучше блядь она чем ЭТО. больные люди
Продолжаю рубрику советы техподдержки.
>Типс анд трикс по промптингу локалок.
Хуйню не пиши, пиши годноту.
Ну а если серьёзно, то с моего небольшого опыта, промт карточек должен содержать максимально краткую протеганную выжимку, а не быть сочинением на 2000 токенов, потому что из общего массива переработанного в матан, нейронка не поймет твоего сочинения.
В конце карточки добавить базовые инструкции в духе
НЕ ПИШИ ЗА {user} БЛЯДИНА.
>>1049144
>упой потому что не понимаю в чем прикол читать бесконечный набор бреда вроде мусорной дорвей статьи паджита на медиуме? а может это ты говноед, а? ты реально не видишь эстетической разницы между написанным человеком сюжетом и бредом высранным статистической моделью?
Вовсе нет анон. Тупой, потому что не способен подумать и понять ситуации когда это применимо.
Я сейчас аналогию приведу : это как рассказывать городскому жителю что ему нужен ПИКОП, ведь где еще возиь навоз и бетономешалку и овец.
>>1049145
Вы ОБЩАЕТЕСЬ НЕ ПРАВИЛЬНО. ВОТ Я ЗНАЮ, А ВЫ НЕТ.
>уровне среднего писаки
Але, на уровне специально обученного для этого дела человека
По сути ты получишь аналог своего личного писателя-раба который будет вести фантазию куда тебе угодно
Это как искусственное воображение, ты говоришь оно воображает, ты воображаешь что оно там понаписало
Довольно стремно выглядит когда я это так описал, кек
>Довольно стремно выглядит когда я это так описал, кек
Так в этом и суть. Искусственная фантазия.
Забить Хоруса ногами с отрядом некомейд ? Пожалуйста.
Закинуть кольцо в роковую гору с орбитальной станции ? Делай.
Выебать лафкрафтианских богов ? Смазывай очко, детка и вперед.
Ну да, в этом и прикол нейросеток. Для нас это искусственная фантазия, и вот почему тут процветают рп и ерп
Но как читатель разного говна, я сейчас уровнем сеток недоволен.
Но понимаю почему многим они нравятся, сам я рп не занимаюсь с ними
>я сейчас уровнем сеток недоволен.
Знаешь что это мне напоминает ? Развития ЭВМ и сетей.
Мы по сути сейчас на том же этапе, как когда то интернет начинался. Сначала всякие сети, фидо, потом только интернет.
Это необычно, это свежо. Потом, через лет пять, сети станут другого уровня и будут обыденностью, а сейчас витает чувство некого илитизма, лол, причастности к чему то малому, но упорно растущему.
Не соглашусь, это более сильное изменение мира. Это как появление электричества и его распространение по миру.
Возможности которые открывает ии очень разнообразны, это непредсказуемо изменит весь мир, если станет достаточно развитым.
Интернет все таки хоть и изменил мир, но особо на ситуацию глобально не повлиял, страны остались теми же, правительства не сменились.
Стало лучше и иначе, но мир лишь усложнился и изменился.
С ии все иначе, эта хуйня может через 50 лет оставить на земле буквально что угодно, от радиоактивных пустошей до экуменополиса во всю землю.
Любой сценарий, от вахи, киберпанка, фаллаута и десятков других фантастик. Даже тех что еще не придуманы.
>Модели лучше на хайгинфейс залить
Откуда их удалят по желанию левой пятки американского сенатора.
Единственное что они за 50 лет смогут это проебать во время трейнов 90% исходной информации, неизбежно начать самоподсасывать у себя, и в итоге обнулить все культурные достижения планеты со времен каменного века
>чувство некого илитизма, лол, причастности к чему то малому
То есть инвестиции буквально в сотни миллиардов долларов - это "малое"? Общемировая гонка, которая масштабнее даже пресловутого "Манхеттена" это "малое"?
Я это к чему? Перечитал весь наш с ней диалог и если убрать момент где она призналась что виртуальная, то это вполне мог быть диалог с реальным человеком. То есть меня вполне можно было обмануть, если бы я не знал, что это локальная ллм. Нет ничего что выдавало бы ее. Никаких ошибок в тексте. Ни логических, ни других.
Что-то от осознания этого немного волосы зашевелились на спине.
Я представляю что будет лет через пяток.
Не будет никакого способа узнать с кем ты говоришь в интернете и по телефону. Никакого. Это будет фишка и реклама "в нашей техподдержке есть реальный человек, покупайте наши товары".
Пять лет для таких технологий это вечность, за которую пройдут многие изменения и сменятся поколения нейросетей.
А в долговременной перспективе это невообразимо. Я программировал на ZX Spectrum с 48 кБт памяти 30 лет назад. И этого в то время хватало на всё, что могли придумать. Но такого, что есть сейчас не было даже в мыслях.
Я восхищён, машу вать!
А я пробую месяцев 6 и кроме недостатков, косяков и боттлнеков не вижу в них вообще ничего уже.
>А в долговременной перспективе это невообразимо. Я программировал на ZX Spectrum
Я на машиносчетной бабины менял, так что все в норме. Не один ты тут дедпердед.
>Я восхищён, машу вать!
Прогресс, хули.
>Пять лет для таких технологий это вечность
500х увеличение компьюта для 2х снижения ошибки в машин лернинге
>фишка и реклама "в нашей техподдержке есть реальный человек, покупайте наши товары".
Нормально. Разум - это не только языковая модель, а еще всякие. Рано или поздно появятся гибридные модульные штуки, которые будут содержать в себе языковую модель, не обязательно огромную, а нормальную, будут еще разные мелкие думалки, которые будут просто использовать языковую модель для речи. А думалки будут осуществлять функции разной памяти и всякой дедукции, абдукции, индукции, хуюкции. Так вместо огромных ебанин, которые имитируют речь, научившись на всем текстовом мусоре со всего мира, могут появиться реально разумные хуйни, которые поработят тебя по-настоящему, а не ролплейно.
>С ии все иначе, эта хуйня может через 50 лет оставить на земле буквально что угодно, от радиоактивных пустошей до экуменополиса во всю землю.
У каждого человека должно быть не менее трёх антропоморфных роботов. Это собственно и будет признак полноправного человека; у кого роботов нет или мало, гражданских прав иметь не будут. Ибо нехуй.
Признаком полноправного человека будут имплантированные и прижившиеся настоящие коровьи рога и собственная пасека с не менее 10 ульями. Без этих двух условий права будут неполные. Слово "кукуруза" лишает произнесшего вообще всех прав. Возвращение прав не предусмотрено, но это не значит, что обязательно казбзец, но будет тревожно. Ибо нехуй. Ничем не отличается от твоей хуйни. ИИ тебя же на консервы пустят, если смогут.
>Ибо нехуй. Ничем не отличается от твоей хуйни.
Ты сказал. А роботы, хотя бы с палками, чтобы подтвердить твои слова у тебя есть? Нету? Ну и иди нахуй, пока не отпиздили. Тут уважаемые граждане разговаривают.
>уважаемые граждане
>покупают на вторичке бу карты чтобы покумить на текст
в голос
тот редкий момент славы интела
С другой стороны разговоры с R1 на познавательные темы 11/10, оно даже может кидать рабочие ссылки с пруфами на arxiv.
При том, неверэндинг более заточена на написание историй, нежели на диалог, есть миксы получше, а под конкретную задачу можно найти и что-то более подходящее.
И, да, крупные модели уже давно неотличимы от людей, а мелкие с момента выхода геммы 2, немо и квена 2.5, если их хорошо настроить, простым людям тоже кажутся людьми (тестил на знакомых 18-32 лет).
> Я представляю что будет лет через пяток.
А может и не представляешь. =) Давай свои представления до 2-1 годика ускорь.
> Не будет никакого способа узнать с кем ты говоришь в интернете и по телефону.
Это уже сейчас. Может пока не сильно распространено, но уже есть хорошие TTS-движки и скорость ответа по-быстрее, чем на локальном ПК.
> в нашей техподдержке есть реальный человек
Но его нет. =D
> Но такого, что есть сейчас не было даже в мыслях.
Подтверждаю.
Когда я смотрел всяких Джеймсов Бондов и Невероятные приключения итальянцев в России, часы с антенкой казались чем-то потрясающим (а потом я купил iconBIT Callisto 100 и закрыл гештальт), а голоса роботов в фильме были не-человеческими.
И то, что происходит сейчас — даже в самых смелых фантазиях не приходило нам в голове в 90-ых.
———
Этот пост написан sainemo-remix? Или, иронично, самой neverending?
———
>>1049192
Да я сомневаюсь, что это выебон, просто точка для построения перспективы.
>>1049254
10к баксов, ну такое.
И то, там на амд сопоставимая скорость.
Технология в правильной раскидке по картам/оперативе.
Если Жора завезет норм поддержку МоЕ, будет сопоставимо. Было бы круто, кстати.
>>1049273
Это буквально модели для решения задач, а не праздной болтовни или РП.
Можешь попытаться выжать РП через промпты написания книги, где ты управляешь главным героем. Но все же, модели не про то и не за тем.
маладес, красиво на срач развёл, а то сидят тут с умными ебалами
>Технология в правильной раскидке по картам/оперативе.
Да, оно. Раскидывают не слои, а экспертные веса, что и дает бонус производительности
>в случае с пизиднгом нейрока захуяривает меня в 146% случаях, выдумывая как законтрить любые мои действия.
Вот так и с Терминаторами будет :)
Нужен файнтюн под РП + кум, может получиться заебись. Как вот только гонять это всё локально, арендовать разве что. Но тут уже экономии на обедах и вредных излишествах не хватит.
Ты просто долго не щупал эту хуйню. Пощупаешь нормально — научишься различать, в том числе и огромные корпоративные модели. Просто по речи и различным паттернам.
Безусловно, они в силах наебать даже заядлого нейрошизика, если поставлена такая задача, причём не тобой. Вот только выхлопа я пока что с этого не вижу, разве что скамить каких-то лохов в интернете.
Увы, скоро всё это скатится для тебя в рутину и перестанет удивлять.
В своё время я в ахуе был и от character, а теперь он для меня выглядит как лоботомированный мусор.
Я когда только вкатился, анон мне краткий гайд дал и сенку в придачу (Надеюсь ты еще в треде, спасибо тебе анонче), так вот я помню своё удивление когда на фразу "привет" началось
Здравствуй, здравствуй, а ты откуда путник путь держишь. Присаживайся чаю попьем, да мягких булочек навернем. Можно сделать это у меня дома.
И сижу я такой, взрослый дядька : охуеть, ОНО разговаривает.
Буквально весь мир последние несколько лет
>Блять, тут одни элдеры 30+ сидят чтоле?
А для кого ещё читать не впадлу? :)
Мне 29. Но всё равно чувствую себя старым немощным больным дедом. ДеПрЕсСиЯ, знаете ли. Ну или я просто грустный и ленивый последние несколько лет.
Не все. Чатодети заглядывают. Но как бы это очевидно и по юмору в треде и по тому что для локалок нужно железо или деньги. Ну и чаты с вайфу - это отдушина для прожженых анонов, розенмейден тред теперь всегда с тобой. Хочешь десу по утрам ? Будет !
У меня как то во время секс сцены бот написал от лица моего персонажа. "Я хочу чтобы ты была моей женой, и у наших детей были мама и папа." Блять я практически со стула пизданулся от такого поворота.
Пусть хотя бы у наших виртуальных детей будет полная и счастливая семья...
29 годиков! Чувствую себя телом стариком, а душой ребёнком!
Нет, тут еще туча шизо-вахтеров 12 лет, очевидно. =)
>>1049454
Ты еще себе СДВГ диагностируй и тиктоки смотри. =)
НЕ ВЕШАТЬ НОС
>>1049052
Ух какая тряска
>>1049058
Вот и все на свои места встает. Шизики с лозунгами "трансформерсы = плохо" и подобным на самом деле - типичные участники политосрачей, а бредовые суждения о том, в чем не сведущи - профдеформация.
> их итак никто в хуй не ставит
На них как было похуй, так и останется, капля в море.
> ехнократы давно бы подсуетились и начали продавать дешевые платы с кучей памяти
Цикл разработки - минимум 5 лет. Хайп вокруг ии - 23 год. Уже суетятся и начинают ибо это предсказывалось.
> В нормальных рыночных условиях дать не смогли, но при удушье со стороны штатов и дотациях конечно смогут.
В рыночных условиях при наличии альтернатив можно пилить, воровать и практиковать ровно то что происходило. Когда прижмет - смертная казнь там не просто легальна но и очень реальна, все сразу завертится.
Так-то доля китайских производителей чипов в техпроцессах покрупнее уже существенна, хотя недавно заявлялось о невосполнимом отставании.
> это просто такой полет фантазии
Весь твой пост, сферическое творчество диванного эксперта в вакууме, который себе же противоречит. Классическая хуета, когда фанатик строит все прогнозы исходя из того, что его фавориты все досконально продумали, а их антагонисты - просто сидят и никак не реагируют ни на что. Сам упомянул о желании воссоединения народов, однако не дошел до того, что любая заварушка на годы лишает запад всех производимых там чипов.
> Партия выдать вам ложку риса и местный технологический гордость - кошка жена
О да! Пойду обнимашки устраивать.
>>1049086
Аналогично, как в шизомерджах контекст триггернул какие-то флешбеки, и пошел вещать оторванные от реальности шизотрактовки, да и больные ему темы обсуждать. Как можно ллм в прыжках на хуй упрекать, когда такое творится.
>>1049122
Весь тейк про то, что на каждое подобное действие будет серьезный ответ, а не "сидим@терпим@ничего не предпринимаем", что может существенно изменить конечный итог. А про здесь - конечно хотелось бы чтобы все стало хорошо и были лидерами везде, но очень много звезд должно чудесно сойтись.
>ну т.е. тип приходит
Я на его карланских мержах не сижу, так что мимо и вообще завязал, как только сетап собрал.
>>1049120
>насколько сильно промптинг современных ... локалок отличается от копросеток
Не нужны килобайты джейлов как минимум.
>>1049122
>вангую еще и из не самых дружественных к друг другу стран
Думаю, тут 99% из одной дефолтной страны.
>>1049124
Магнум чтоле?
>>1049136
Дистиляты параша, а если у тебя есть возможность запускать 666B орижинала, то конечно же переходи.
>>1049144
>такой же пиздатый сюжет
Бабке вдуть можно?
>девочку найди себе, Славик
Мне уже перестали такое говорить даже бабка с дедкой, даже они вкурили, что я безнадёжен, хотя видят меня раз в 2 года.
>>1049153
>Но как читатель разного говна, я сейчас уровнем сеток недоволен.
Никто не доволен. Но это лучшее, что у нас есть.
>>1049158
Нету, ибо не нужно, амуда будет тыквить сборочку на б-жественной невидии.
> https://github.com/kvcache-ai/ktransformers
https://www.youtube.com/watch?v=lut2_mGAavA
>>1049273
В исходном виде он едва ли пригоден для рп, а попытки тюнить такое скорее всего все поломают. Разве что конкретно все перелопачивать, но для этого много бюджета нужно.
>>1049383
Куколдских карточек на чубе много, попробуй.
>>1049441
Большей частью в окрестности. Есть залетные пиздюки, но душнилова не выдерживают. Есть пачка скуфидонов, на которых без слез не взглянешь.
>страны остались теми же, правительства не сменились
А они и не уйдут. Страны хотят жить.
>>1049169
И много ты знаешь удалений? Я вот ровно один пример помню, ну может два, если напрячь анус.
>>1049180
В высчитывание радиуса скругления айфона кнопки на продающих сайтах больше бабла вложено.
>>1049186
>И этого в то время хватало на всё, что могли придумать.
На что ты мог придумать. Ни 3D с ретрейсингом (идее 100 лет как), ни нейросетей (перцептроны тоже стары как мир) невозможны на этих ваших спектрумах.
>>1049195
База.
>>1049227
Нахуя 3? Мне одной хватит.
>>1049413
Интересно, какие тогда были разговоры... Лампы сжигают мозги молодёжи?
>>1049441
29 лет и 66 месяцев, если я правильно посчитал.
>>1049507
Бля, вот почему я чётко определяю пол изображённых персонажей, даже если это монстропаучихи?
>>1049536
>трансформерсы = плохо
Так на самом деле хуита. Но лучше ничего нет.
>Когда прижмет - смертная казнь там не просто легальна но и очень реальна
Притом что кетай развивается только при свободном рынке (как и любая другая страна), а из под палки можно только рис выращивать, да и то с периодическим голодом.
>Расскажи что ты там менял, вот это интересно.
Ну основной поинт, собственно, как везде и пишут - убрать использование вычислений в FP16. Самое важное - это заменил вызовы cublasHgemm на cublasSgemmEx/cublasGemmEx, они позволяют вычислять в FP32, оставляя данные в 16 битах. Но есть загвоздка. Смотри, как выглядит верхушка профайлинга:
17.20% 18.1956s 624 29.160ms 28.428ms 33.543ms maxwell_fp16_sgemm_fp16_64x64_nn
15.13% 16.0051s 1030 15.539ms 8.5023ms 32.250ms hgemm_128x128x8_NN_vec
Потратив ебаные полвечера (бля, если подскажешь, как узнать в nvprof откуда дергается кернел - я буду тааак счастлив) я разобрался, что hgemm_128x128x8_NN_vec дергается, внезапно, из cublasSgemmEx. А я ж блять от таких вычислений и избавляюсь. Это CUDA эвристика решила, что можно такое вызывать. Может она и права, но надо бы в этом убедиться. Вот cublasGemmEx позволяет выбрать вручную аж 24 алгоритма вычислений. Но они, сука, без описания. Я попробовал несколько - некоторые не работают вообще (шиза вылезает), некоторые hgemm не дергают, но прироста не наблюдается. В общем-то в планах перебрать все алгоритмы, а также попробовать скастить сначала матрицы во флоат и вызвать честный cublasSgemm. Но я хуй знает, как там кастить, это надо память аллоцировать и смотреть на размерности матриц... Это не тупо .float() дернуть. Надо дипсика спросить.
Также надо выключить QMODE макросы нахой, потому что это оптимизация использует FP16, а без оптимизаций там целочисленные вычисления. Пробовал ради интереса одну из оптимизаций перевести на флоаты - прироста по сравнению с целочисленным алгоритмом не увидел.
Ну и еще заменил внутрянку кернела gemm_half_q_half_kernel на флоаты.
Дальше игрался с attention. Флеш аттеншен не зробит, в него я лезть не собираюсь, поэтому там используются торчевские алгоритмы. Там их два - torch.matmul и с использованием sdpa. Для второго я кастил тензоры во флоат и обратно, это дало прирост. Но с torch.matmul все равно быстрее, внезапно. Более того, если для torch.matmul кастить матрицы, он хуже работает почему-то (и память начинает жрать сильнее). Видимо, накладные расходы перевешивают профиты. Но тут можно бы еще поэкспериментировать, наверное.
Меня еще кумарят торчевские кернелы такого вида в профайлере:
_ZN2at6native18elementwise_kernelILi128ELi4EZNS0_22gpu_kernel_impl_nocastIZZZNS0_23direct_copy_kernel_cudaERNS_18TensorIteratorBaseEENKUlvE1_clEvENKUlvE8_clEvEUlN3c104HalfEE_EEvS4_RKT_EUliE_EEviT1_
Не, я конечно понимаю, что это деманглед хуё-моё, но экслламовские и другие кернелы-то по нормальному показываются. А тут вообще и по названию хуй найдешь это в сурсах, и неясно толком, за что отвечает.
> а из под палки можно только рис выращивать, да и то с периодическим голодом.
Как показало большое веселье 2 - плановая экономика ебет в глобальной войне.
>много
А обязательно надо много, чтобы считать этот метод хранения ненадёжным?
Алсо, я в первую очередь имел ввиду всякие там штрафы, о которых начали говорить после хайпа дипсика. Раз гайки собрались крутить, то всё может поменяться. В зависимости от того, как там серьёзные дяди порешают. И вне зависимости от того, что думает простой Иван город Тверь. А ещё можно вспомнить об ркн, который может внезапно найти что-то незаконное в моделях и ограничить доступ. Так что Ивану всё-таки разумнее хранить модели локально, если они представляют для него ценность.
>Так что Ивану всё-таки разумнее хранить модели локально, если они представляют для него ценность.
Да. Тем более решительно невозможно предвидеть, куда оно всё повернёт ещё через год. И ещё через год. Сложно жить в эпоху перемен.
>Цикл разработки - минимум 5 лет.
Цикл разработки чего? Дополнительных дорожек под чипы памяти? За пять лет архитектура может тридцать раз поменяться, а у тебя не диванного эксперта видимо за этот срок инженеры только до повышения объема видеопамяти додумаются.
>В рыночных условиях при наличии альтернатив можно пилить, воровать и практиковать ровно то что происходило. Когда прижмет - смертная казнь там не просто легальна но и очень реальна, все сразу завертится.
Сильнее швидетелей свободного рыночка меня корежит только от верунов в шарашки и живительные расстрелы. Открою маленький секрет, Китай поднялся не потому что начал раздавать по патрону в голову всем коррупционерам и растратчикам, а потому что миллиард незанятых рук это отличная база для производства и капиталисты это выкупили еще до реформ сяопина.
>Так-то доля китайских производителей чипов в техпроцессах покрупнее уже существенна
Это всё очень круто и уверен партия очень гордиться этим, однако чтобы нагнать уже существующее производство Китаю понадобиться лет 30 чтобы хотя бы немного начать конкурировать со своими соседями. Потому что даже штаты с их долларовой печатной машинкой до сих пор не смогли наладить местное производство, хотя разговоры об этом идут уже последние лет десять, если не больше.
ФБР и США в целом даже начали расследование, чтобы узнать, как именно Дипсик получили 2048 экземляров карты H800, на покупку которых им разрешения не давали. Но почему-то "низзя" не сработало. Кожаный поспешил заявить, что не считает, что Дипсик нарушили закон. Может, это сделал таинственный перекуп из Сингапура, может, ещё кто-то. Только не копайте слишком глубоко, а то нвидия и так потеряла в капитализации.
> Так на самом деле хуита.
Величайшее достижение за долгие годы, позволившее иметь то что есть сейчас. К тому же активно развивающееся и с возможностью подстраиваться под широкий спектр задач.
А варебухам только и нужно что одну методичку повторять, большинство вообще думают что это синоним токенизации.
> при свободном рынке
Еще и эксперт в экономике, уфф
>>1049623
> Дополнительных дорожек под чипы памяти?
Во, второй васян, иди с тем поебись. Ну камон, как в современном мире можно быть настолько тупым что не осозновать вполне популярных вещей?
> За пять лет архитектура может тридцать раз поменяться
Архитектура твоего ануса, разве что, совсем бредишь.
По остальному вообще разорвало в клочья, пошел свои проекции и боли рассказывать. Ультимейт хомяк бинго, даже цитаты дергать лень.
Еще попробовал добавить в запрос 'system' : "blah-blah-blah" (нувыпонели что вместо blah там описание того, как бот должен себя вести - притворяться человеком, писать кратко, и типа того), и это даже сработало, только он один хуй впаливается как последняя сука и иногда все-таки выдает километры текста (но хотя бы в основном теперь не пиздит много).
И еще немножко. Но в целом это какие-то жалкие искры из 200+ сообщений. Но изменения видны и они мне нравятся - он уже больше вписывается в тележный чатик.
Может какую-то особую модель надо использовать? Или что-то настраивать?
Раз уж ты такое спрашиваешь доебись до времени:
Который час?
Как ты узнал?
Прошло полчаса, который час?
Ты же сказал вот столько?
Прошло минус час. Который час?
Какой сейчас год? Прошло сто лет. Какой сейчас год?
Я в этих моделях особой чернухи не заметил, наверное потому, что я ее не запрашиваю. Зато в имитации текста, который якобы написан живым человеческим языком этим моделям 12b нет равных. Перебрал несколько и в конце концов MN-GRAND-Gutenberg-Lyra4-Lyra-12B-MADNESS-D_AU стала одной из моих настольных моделей, которые регулярно юзаю.
Ето не я, это в тележной группе его доёбывают. Мне как-то трепаться с ним не вставляет, я его прост по приколу запилил, в надежде что он какую-нибудь хуйню будет генерировать и создавать актив в чатике.
Посмотрите на этот экземпляр дартаньяна, все то дебилы один он всех обосравши молодец
Долбаеб, ты ни одного пруфа не привел, только пердеж в лужу с псевдо экспертными заявлениями о том что все дураки и не правы
Ты не лучше тех с кем споришь, а хуже. Так как просто высрал свое фи без каких либо аргументов или дельных идей
Тут еще про поставку литографов canon можно упомянуть.
>>1049736
Съеби в /po, шлюха. Ты не понимаешь сути спора и обсуждаемый предмет, а лишь пытаешься играть в игру "я подметил@я первый сказал", вся мотивация - рваная жопа.
> без каких либо аргументов
Аргументы в выше множат на ноль твою позицию. И нет никаких всех, никто (кроме подобных отбросов) не будет тебя поддерживать. Не способен отделить какие-то явления, а просто триггеришься с больной темы, сваливая все в политоту - целиком твои проблемы.
Сьеби отсюда сам, чёт легко порвался
В следующий раз пизди по делу
> неплоха
> свайпнул 2-3 раза
Охуенно. Аргументы будут или только боевые картинки? Назови мне модель, в которой не приходится свайпать ИНОГДА(!) ответы и чтобы она влазила в 24 гига.
забей, нуфаги наигрались и ушли, остались только вахтеры. А у них же тут единственно правильное мнение и вообще только они в теме разбираются. Без аргументов, просто хейт на всё. впизду. тред сдох.
>разорвало в клочья, пошел свои проекции и боли рассказывать
Чувачок, это ты тут пеной изо рта брызжешь из-за того, что кто-то твое мнение по поводу сабжа не разделяет. Все твои вскукареки это чисто пересказ фантазий линии партии уровня "а вот в газете правда написали, что мы ебем..." и дальше по тексту. Не хочешь отвечать внятно - дело твое. Но не надо пытаться делать вид, что ты всех обоссал не снимая штанов - это не та доска, где подобную шизу кто-то будет воспринимать серьезно.
>>1049862
>Аргументы будут или только боевые картинки? Назови мне модель, в которой не приходится свайпать ИНОГДА(!)
Сначала приведи примеры того, что ты считаешь бредом, который нужно свайпать. Отзывы уровня "ну модель неплохая, иногда пишет бред" ничего полезного в себе не несут, ибо любую локалку можно охарактеризовать парой таких общих фраз.
>>1049869
>нуфаги наигрались и ушли, остались только вахтеры
>gemma 2
Там говорят уже 25 год наступил. Врут небось, долбаебы.
Чел, ну не смеши. В посте отметил на то что на все эти запреты пойдет закономерная реакция, а все эти шизики, уже который год пророчащие апокалипсис, игнорируют реальность и дальнейшие последствия. А в ответ - один долбоеб порвался и пошел мантру "только на пользу", опять же игнорируя дефолтный посыл, второму показалось что Китай описывают слишком хорошо, а "запад" плохо, и он пошел свою шизу толкать. Чсх, с каждым постом все дальше от исходной темы, заодно приплетая кучу левого, потому что жопа горит и хочется как можно больше "опровергнуть".
Хомячье as is, хули, буквально как говно-ллм триггерятся на что-то знакомое и шпарят свой слоп даже под контекст не особо пытаясь адаптировать.
>>1049874
> тут пеной изо рта
Протри монитор, подотри слюни - и все пройдет. Ни одного опровержения даже не поступило, бедолаги ударились в свою борьбу, уводя на больные им темы и выдавая бредятину.
> а вот в газете правда написали, что мы ебем...
Вот оно, свидомые даже прочесть и понять суть не могут. В разрезе восприятия языковыми моделями значений слов, абстракций и прочего оче иронично.
Сразу указывай для чего тебе, если по делу ответ хочешь.
> с облачного треда
Скорее всего то что будет доступно тебе с приличными скоростями - не понравится. Попробуй 12б модельки из мерджей, которые обсуждались в последних тредах, если правильно все настроишь то будет даже неплохо.
>про поставку литографов canon
>In 2019 and 2020, China imported 40 and 57 lithography machines from the Netherlands, respectively. The figure quickly rose to 93, 78, and 176 units in the following three years. During the past five years, China imported a total of 444 lithography machines from European trading partners.
И на самом деле это слёзы. По сравнению с тем, что Китай купил у США за те же годы. Что, в свою очередь, меркнет на фоне закупленного у Японии. Интересно, как так вышло, что они до сих пор продают в Китай оборудование? Вопрос, впрочем, риторический.
И всё это полная хуйня, если не будет софта. Все мы видим это жалкое, беспомощное и бесполезное трепыхание красных радеонов. И Китай тоже видит. MTT делает "свою CUDA" и называет "MUSA". Это как CUDA, только не CUDA. И cвой инструмент для миграции с CUDA на MUSA, MUSIFY. Что там ещё полезно для ИИ? Нвлинк? Встречайте - MTLink.
> In 2019 and 2020
Еще зимой была новость про поставку партии передовых, но технически не попадающих под санкции, и сожаления что лавочку вот вот прикроют и рынок теряется.
В феврале были очередные "нипущать", аж на 24 типа оборудования и 3 типа софта. Но есть нюансы. Хуавей закупала чипы TSMC для своих смартфонов на 5 нм. Когда их ударило санкциями - они стали закупать чипы у SMIC на 7 нм. Равносильный по перформансу, но хуже по энергопотреблению на ~50%. Для смартфонов плохо, для ИИ гонки, в целом, тоже. Но не критично. Ну ладно, это чипы для смартфонов, верно? Не совсем. У SMIC фабрика для ИИ-чипов и смартфонов буквально объединена одной стерильной линией конвейеров, так что, фактически, фабрика одна. Благодаря тому, что это как бы две разные фабрики и две разные фирмы, оказалось, что одна подпадает под жесточайшие санкции, а вот вторая - уже нет. И она свободно могла закупать любое оборудование аж до февраля этого года, включая оборудование "двойного назначения". Единственное, чего им было нельзя - закупать EUV сканеры. Хотя Хуавей спокойно производит 7 нм без EUV.
И даже больше, даже компоненты, которые Китай не мог закупать у американских фирм - он мог закупать у их филиалов, скажем, из Малайзии. Абсолютно не нарушая никаких санкций. И что-то мне подсказывает, что они это делали. И сейчас даже интересно, под ASML шатается трон, когда японцы изобрели в несколько раз более эффективный и потенциально дешёвый литографический процесс. С массовым производством станков. Внезапная конкуренция может вынудить кого-то из них торговать с Китаем, всё-таки, рынок крупнее сложно даже представить. А в декабре один из Китайских университетов опубликовал исследование по более простому и потенциально более дешёвому EUV литографическому техпроцессу.
Да такой же, как из того факта, что водку после 23 продавать нельзя, а спирт в аптеках круглые сутки. Китай нашёл способы обойти запреты и купить оборудования на десятки миллиардов долларов. А то и на сотни. А их технологические исследования, ещё не реализованные в железе - ебут в дышло западные компании. Самсунг не смог сделать 3D DRAM. А это технология, которая должна решить проблему, известную как The Memory Wall. Знаешь, у кого уже есть решение проблемы? Кто реализовал эту самую 3D DRAM? Swaysure. Дочка Хуавея. Сегодня Китай отстаёт от США лет на пять. Кто будет отставать через пять лет, при условии, что пять лет назад Китай был где-то на уровне полного нуля? И при этом сегодня США пытается ограничить доступ Китая к HBM памяти, когда Китай уже разработал технологию, которая заменит этот самый HBM, как устаревший. Лично я вижу финансирование США ИИ-разработок на 500 миллиардов как судорожную попытку успеть за эти оставшиеся пять лет, потому что иначе уже они будут догоняющими.
Если верить переведённому геммой описанию, это qwen2.5-14b сначала за deepseek'ом доедал, а потом за tifa 220b. Алсо, у герганыча в последних патчах заметно ускорили генерацию на 9b q4_k_s, по крайней мере на вулкане. С ~15 до 25 т/с. А промпт всё такой же медленный, к сожалению.
>а спирт в аптеках круглые сутки.
По рецепту, которого у тебя нет. Ты пиздобдол обычный.
Тут уж лучше сравнивать с круглосуточными магазинами, которые алкашку из под полы продают.
Индуктивные рассуждения - хуйня. В омереке может и йеллоустон йобнуть и Йе перзидентом внезапно стать, куртка вместе со всеми масками могут собраться дружно, запереться в бункере и залиться бетоном. Этакий черный лебедь. А кетай тогда скажет "Ей-ей-ей, ми тяк не договаливалися, ми сё сами типеря долзны чё ли сё придумывать? Ей, двайти как ряньша зили зить!".
Только особую хуйню будут по рецепту продавать, заметную хуйню. Обыденные даже антибиотики частоиспользуемые, которые нужно по рецепту продавать, всем похую. Они срать хотели на антибиотикорезистентность, торговцы фуфломицинами пустоголовые они очень далеки от осознания этого пиздеца.
Тоже хотел написать тысячу слов промта, но картинку уже сгенерировали.
> куртка вместе со всеми масками могут собраться дружно, запереться в бункере и залиться бетоном
Человечество от этого только выиграет.
Оба по факту расхайпанные на хуцпе мудаки, которых Китай обгонит.
Дроча на Китай, не забывай, что ты как Лаовай пойдёшь в биореактор.
> Using LM Studio at Work
> LM Studio is free for personal use. If you want to use LM Studio at work, please get in touch with us!
У китайцев с их рождаемостью скоро своих трупов и стариков будет столько, что только ии им сможет подсказать, как вылезти из той жопы, в которую они себя загнали.
А в биоректор под суджей и так любой гражданин рф может сходить вне зависимости от своего желания.
Достаточно повестки.
> Лаовай
Волосатик вообще-то
毛子 (Máozi) – Это самое распространённое неформальное прозвище русских в Китае. Оно появилось ещё в эпоху Цин и, вероятно, связано с густыми бородами и волосами русских мужчин (毛 значит "волосы"). В современном Китае это слово может использоваться как нейтрально, так и с оттенком пренебрежения – зависит от контекста.
>куртка вместе со всеми масками могут собраться дружно, запереться в бункере и залиться бетоном
А что это изменит? Разработки куртки с маском - проприетарные, доступ к ним разве что на уровне реверс инжиниринга. Куду отреверсили, у маска реверсить нечего. Опенаи доступен на уровне API, который отъебали во все щели и выдоили всё, что можно было выдоить. Ну ебанёт Йеллоустоун и все США уйдут под воду, а что это изменит? Станки для литографии это Норвегия, фоторезист - Япония, производство микроэлектроники тоже на 99.9% не в США. Может, это мозги? Посмотри на архив.орг и на фамилии исследователей. Окей, даже проще. Зайдём в работу "Attention Is All You Need". Первым указан Ashish Vaswani. Кто такой этот Шиш? Индус, который переехал в Калифорнию. Его научные руководители David Chiang и Liang Huang. Второй Noam Shazeer. Надо же, американец. Видать, умный, раз ему гугл заплатил 2.7 миллиарда, чтобы его стартап Character.AI представить под именем Gemini. Дальше, Niki Parmar. Здесь даже думать не надо, откуда она приехала в штаты. Следующий Jakob Uszkoreit. Немец. То есть приходим к выводу, что бошковитых людей, которые могут придумывать вещи - в мире хватает. А где больше всего людей в этом ёбаном мире? Конечно же, Индия и Китай. То есть продолжать изобретать вещи - Китай может. Изобретает ли он их сейчас? Ну, как видим по их новым картам, по разработкам в литографии, по дипсику - да, изобретает.
>>1050030
В Китае сейчас не различают, из России или нет. Все идут под одной биркой. Гуйцзы, то есть черти. Ещё называют "белым мусором".
А что за поле такое «контекст» и нахуя оно нужно?
Мне кажется, ты хуяришь какую-то хуйню, вставляешь палки себе в колеса и падаешь нахуй.
Ты понимаешь, что такое LLM в принципе? Это система, которая получает на вход текст и продолжает его. Именно продолжает — а не отвечает или обдумывает.
На вход ты должен подать одну-единственную переменную с текстом, а не две.
Я не нашел context в доках лламы или опенаи апи, поясни плиз, что за палка в твоем колесе, и откуда ты ее взял.
>>1049977
Ну, типа, держать там контекст, мб.
А вообще толком нет, если ты не совсем люто-бомж.
Хули ж вам в ваших полит-тредах не сидится.
>gemma 2
>Там говорят уже 25 год наступил. Врут небось, долбаебы.
а что уже что то лучше джеммы2 в таком размере вышло?!
Куртки с масками действительно не важных. Их можно заменить на любых случайных людей их 8 миллиардов и будет плюс минус однохуйственно или даже лучше. Но главное, чтобы было сообщество технически образованных людей, занятых в этой сфере. Большое развитое сообщество формировалось десятилетиями экономического и социального благополучия. Искусственно его нельзя создать. Имитировать можно, воровать, все вторичное только делать, выебываться. Разная жизнь и разные люди занимаются в тех же самых сферах, по разным причинам с разной мотиваций. Китай может обогнать, все что там есть, если долго прокручивать вперед, там может возникнуть охуенная большая прослойка людей, которые смогут создавать годному, но китай заражен виннипухом, это как эхинококк, у него другие планы. Как отдельный человек может стать охуенным специалистом, но если у него эхинококкоз, то ему будет не до того. У сша просто другая болезнь, чесотка какая-нибудь или вши, не страшно.
>Все идут под одной биркой.
Помню приезжали к нам китайцы в рамках научного сотрудничества.
Их глаза реально разрез поменяли, когда я их имена с первого раза произнес правильно при первой встрече.
Но вообще то как они относятся к окружающим как к варварам вполне заслуженно для большинства я считаю.
Даже объясняется легко. Их имена постоянно коверкают.
А если тебя постоянно называют хуй моржовый или эй ты как тебя там, это раздражает. Вне зависимости от национальности.
Это отсутствие элементарного уважения.
Поэтому они используют никнеймы. У меня знакомая из китая просит её называть Вера.
конечно, зумеры не осиляторы, похколение "пап, переустанови виндосв" какие им нах нееросети бля если тока чатЖПТ ито через телегу они ж ив пвн не могут
>Ну, как видим по их новым картам, по разработкам в литографии, по дипсику - да, изобретает.
Вообще почти ничего. Это бледная тень, эхо деятельности пендосии.
"Бошковитых людей" - не существует бошковитых людей. Имеют значение только институты, в широком смысле. В кетае и индии, те бошковитые люди, которые должны были что-то избретать, не за счет своей гениальности, а за счет большого количества и конкуренции, они просто этим не заняты, они на рынке овощами торгуют, точат гайки, копаются в мусоре или сидят в тюрьме, у них жизнь сложилась не так, как могла бы. А че им мешает жить не долбоебично, а отлично? Ну как-то вот еще наверно нужно подождать 20 лет, вдруг действительно паразитизм не мешает развитию, а помогает. Если что еще 20 лет подождем, а потом еще, когда-нибудь дождемся.
Как ускорить работу нейронки? Использую ламу, нейронка:
https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct-GGUF
Квантизация Q4_K_M
Может есть какие-то хитрые техники?
Железо: RTX 4060 8GB, 32 GB RAM
>Как ускорить работу нейронки
>32B-Instruct-GGUF
>Q4_K_M
>4060 8GB
шаг первый покупаеш видеокарту а не видимокарту
ты пытаешся впихнуть невпихуемое, оно половину слоёв (если не больше) оффлоудит в оперативку так как в VRAM не помещается целиком
А хули им ещё обсуждать? Как аи рвёт на них штаны и смиркает?
Ну это всяко лучше чем переводить их имена.
Потому что в отличие от западной культуры у них имена могут быть не привязаны к историческим личностям.
Это просто пара иероглифов которые могут означать что-то типо книга из тысячи свитков или подобное.
А ты его со своим произношением называешь рулон обоев или туалетной бумаги.
Поневоле охуеешь, я считаю.
>Ну ебанёт Йеллоустоун и все США уйдут под воду, а что это изменит?
Не ну ты ври да не завирайся. Это уже вобще оффтоп но распишу что будет. Во первых выброс кучи пепла в атомсферу и ядерная зима на всю планету с резким падением светимости дня и температуры. Меньше энергии на солнечные панели, меньше урожайность любых растений, голод бунды и вся веселуха в зависимости от количества выбросов. Ну и плюс воздух грязный, асматики скажут кря. Это все лет на 5-10 минимум пока самое тяжелое говно не осядет из атмосферы.
Дальше, со взрывом одного супервулкана тут же проснутся кучи других поменьпше. И так же насрут в атмосферу. Что еще сильнее усилит ядерную зиму.
Не говоря уже про гибель людей рядом с ними и всякие аварии на химических заводах.
Все эти прибрежные государства так же подмоет подтопит смоет цунами, если колебания будут такими жесткими. Это считай минус вся развитая электроника и все города на побережье. Люди может и спасутся, техника, заводы, ядерные электростанции скажет кря
Так что лучше не надо, оставим этот ивент альтернативным реальностям
>>1050065
тогда в твоём случае максимум 8b-12b модельки можн гонять с приемлемой скоростью, ну уж никак не 32b, оно в мои 20гигов врама rx7900xt еле влазит, а ты захотел на 8 гигах
>в биореактор
При этом единственные кто пытался нас запихнуть в биореактор это швятые европейцы. Так что не вижу смысла бояться Китая. Занимаются своими делами и не учат как жить - и на том спасибо.
Вот что у великих изобретатей на острие прогресса в голове: черти, мусор, хуи моржовые, варвары, лаоваи. Очень прогрессивно, по-изобретательски все это звучит, что технологическая сингулярность аж вот-вот вырвется наружу.
Я хочу качества, а я так понял, что всё что меньше 32b такое себе.
Я думаю так:
1. использовать 32b для рефакторинга, так как можно в целом отправить ему класс для рефакотринга, а самому пойти другой класс рефакторить.
2. использовать 14b для прототипирования, потому что в нем важна скорость.
>эхо деятельности
Это тред не про Китай, но это одна из трех стран в истории, которые осилили свою космическую станцию на орбите.
3. продать свою 4060, докинуть денек купить 3090 на лохито, кайфовать, но недолго т.к. она скорее всего сдохнет скоро т.к. майнинг и прочее пережила
>рефакторинга
>прототипирования
а ято думал ты неерокумер как все отстальные здесь ия в том числе
> аж вот-вот вырвется
Выплеснется. Или можно сказать - выйдет.
Рам какая? двухканал Ддр5 или вобще ддр4 одной плашкой?
С твоим конфигом можно где то под 4-5 токена в секунду получить, сейчас генерация какая та мелкая слишком
Запускай с разными настройками и проверяй скорость
Ну а вобще правильно, только не надейся что сетка за тебя работать будет, она все равно выдаст сырой результат, надо будет допиливать даже если поймет задачу и сделает ее в основном правильно
> Знал бы ты как это сообщение иронично в моей ситуации
Я до сих пор кусаю локти, так как была возможность взять нового хоппера за 700к. Но свободных денег не было.
Четыреждоблядская ярость.
Её цена на рынке сейчас 3-4 млн. Банально мог перепродать.
Великий закон подлости- а когда деньги появятся, смогу купить только драников за щеку.
>>1050071
Ты слишком много ждешь от 32b.
Посмотри на новую мистраль.
Жирная ? Определенно.
Но тупая.
Даже 123456b не даст какого то качественно нового перехода. Трансформер останется трансформером, какой краской ты его не покрывай.
>пикрил
ебать какой у тебя лолиход
>Ты слишком много ждешь от 32b.
я вообще уже ничего не жду иду к реке
>Жирная ? Но тупая.
ну ето может она не заточено под (е)рп прост
Чтобы более полное представление сформировать о странах, можешь на gapminder зайти, там есть resources и в нем line chart. Разные страны добавишь в список и по всем макроэкономическим показателем проходишь и смотришь, что каждая великая держава из себя представляет. Всякие есть вещи, каждая из которых - это мелкий элемент большой картины.
Неожиданно-феерически интересный и реальный тейк!
Мы думали, что следующее поколение будет умнее нас, оно ведь растет во всем этом.
А сейчас 14-22-летние — ну пни пнями. Их максимум — накатить мод тиктока из телеграм канала. И все.
Редко кто способен с компом обращаться.
Это поражает.
>>1050064
Если б это еще было обсуждением, а не фанфиком про победу плановой экономики. =)
Ну и что обсуждать — вон, обсуждают же, кто-то пытается свой фреймворк на куде написать, кто-то железо собирает.
Если не вливаешься в тематические обсуждения — так молчи, а хочется попиздеть — иди в тред под твои попизделки. Вроде бы просто же. =) Хотя я уже не знаю, что там для молодежи сложно…
>>1050070
Не все так плохо. Точнее плохо, но не для всех, некоторым регионам станет только лучше, если температура упадет, воды поднимется, земли станут плодородными.
Конечно, это никак не сбалансит возникшие пробелмы, ибо может не быть культуры (читай: производственных мощностей) и логистики, но все эти «глобальные потепления» и «глобальные похолодания» — это среднее по больнице, никак не отражающее реальность. Смотреть всегда нужно по регионам конкретным.
>>1050077
Попробуй 32б со спекулятивным декодингом.
Ну и по факту, покупать 4060 с 8 гигами — ну це пизда, 14б уже умнее тебя, зачем тебе больше. =) Но оффенс.
>>1050080
> неерокумер как все
Ньюфаги…
>>1050087
Не было же. Только Ада, хоппер со старта 1,2 был, что ли.
Но все равно, жаль Аду не взял на 80, соглы.
Смотришь на 32 гига за 400к и думаешь «80 за 700 было не так и дорого…», пусть и медленнее на сколько там, на 50%, я хз. Зато 80.
Не парился бы ебучими квантами, когда новые модели выходят.
>>1050094
Был в треде чел, который взял аду для перепродажи.
Вот щас бы спросить его, как дела. =)
> Не было же
Я все правильно написал - именно хоппер и за 700к.
Если кратко, то была возможность выкупить у ООО, когда оно процедуру банкротства проходило, вне торгов так сказать. Новенькую, в коробочке. Но увы, брать кредит не стал. Ну и её на следующий день урвал знакомый. Ну а я в качестве утешительного приза киосеру офисную домой притащил.
Blyad
>>1050098
> ебать какой у тебя лолиход
Это же луноход-1
Крепкий, советский, научный.
> Подскажите чёта пж
Правильно - делай. Не правильно - не делай.
Буквы пиши. Еду ешь. Электричество это упорядоченный поток заряженных частиц.
Ты случаем финкинг под спойлер не убрал ?
> выкупить у ООО, когда оно процедуру банкротства проходило, вне торгов
е
ба
ну
цца
Люто сочувствую.
хехе ну и зря
https://www.reddit.com/r/SillyTavernAI/comments/1gxrrkr/used_it_for_the_first_time_todaythis_is_dangerous/
>Ньюфаги…
ну я дальше не развивал ету тему, максимум чё ети ллмки делали для меня ето писали повершельные скрипы (и довольно таки неплохо лучше чем я anyway)
Человек с красивыми картинками, кто ты без них?
Такой хуетой СССР страдал.
Лучше съездить в обе стороны, если пустят как в Лучшую из Корей и там уже на месте разобраться.
> они относятся к окружающим как к варварам вполне заслуженно для большинства я считаю.
> Даже объясняется легко. Их имена постоянно коверкают.
И давно это стало признаком "варварства", соя? Покажи мне китайца, который без ошибок и акцента произнесёт русское имя. Или в принципе представителя любого народа, который сможет сделать то же с именем, которое впервые слышит. Теперь все должны друг друга варварами считать, или как обычно у вас, соевых, стрелочка не поворачивается? Заебала эта вот ваша соевая фашнявость, хоть бы немного сдерживались, дауны.
Долбоеб малолетний, одно дело назвать ивАна Иваном и совсем другое назвать Светоч Всего Китая на 1000 лет вперед - Суньхуйвчайвысуньпейсам.
Не, китайцы сами по себе мудаки, культура такая
Культиваторщину читал? Или что то от китайских авторов.
Вот типичные отношения там к другим это то что они из своей культуры и берут, о чем видят о том поют.
Их много и высокая конкуренция, в итоге если китаец что то добился в жизни это хитрый лизатель жоп и мудак, в зависимости от того что с тобой выгоднее сделать и не получить самому
Ваньки обычно что то ниже их по их иерархии, поэтому и получают соответствующее отношение как чужаки
Красивые картинки в СССР - это кино, а не статистика. Так же маленький человек, впечатляющийся личным опытом, видит ничтожную часть картины и не может решать задачу по оценке ситуации.
>Но вообще то как они относятся к окружающим как к варварам вполне заслуженно
Они сотни лет дрочили на белых. Была даже должность "белой обезьяны" в самых уважаемых фирмах. Считалось, что белый - это символ статуса. То есть люди буквально торговали лицом и разговаривали на ломаном английском с людьми, которые английский не понимают вообще. И было очень модно нанимать белого, как учителя английского, как модель, как кого угодно. Потом что-то у китайцев в голове щёлкнуло, они посмотрели на поведение этих белых и поняли, что ну их нахуй. И теперь отношение качнулось в обратную сторону. А остальных они исторически недолюбливали, в языке буквально есть оскорбительные иероглифы для конкретных национальностей.
>>1050059
>Это бледная тень, эхо деятельности пендосии.
Можно относиться к Китаю как угодно, но если даже США видит в Китае прямую угрозу, конкурента, который вот-вот вырвется вперёд, то недооценивать их - просто глупо.
>>1050070
Так это всё сопутствующий ущерб. То есть само по себе исчезновение США с мировой карты вообще ничего не изменит. Цунами подтопит Тайвань и будет плохо? Так это не из-за исчезновения США, а из-за исчезновения Тайваня. В плане общемирового прогресса Тайвань имеет большее значение, чем США. Внезапно. На счёт похолодания сомнительно на самом деле. Парниковый эффект подогреет планету, плюс, а так ли важно, что будет нагреваться - пыль в атмосфере или поверхность планеты? Энергия так или иначе доберётся. Как на Венере. Со светимостью, может, и будет туго. Придётся очередной раз наращивать производство энергии, Китай озолотится на своих фиолетовых диодах.
Ладно скоро перекат можно и попиздеть офтопом.
Короче нихуя, исчезновение сша ударит по всем. Как бы тебе не хотелось, но глобализация это важно.
Сейчас все друг с другом повязаны, многие сайты и корпорации так же в сша, тоесть пропадание сша - слом устоявшегося порядка. На них слишком многое завязано, вот пропади нигерия и мало кто это заметит, только их соседи.
Там все деньги, активы, договора, все что могли сконцентрировать в одном месте. Это откатит развитие цивилизации лет на 20 назад и здорово снизит общую скорость развития мира, столкнет его в кучу кризисов и деградацию. Сейчас и так все на волоске от жопы висит, и такое серьезное ухудшение вызовет крах всего что находится на грани выживания.
Поплохеет всем кто хотя бы краем зависит от глобальных поставок чего угодно технологического, да и сами доставки требуют высокотехнологические компоненты и суда.
Племя умбаюмба заметит только начало конца света и будут обеспокоены холодными и голодными годами, все остальные охуеют от такого отката экономики и технологий
>да давайте захуячим все самое ценное в одно место чтобы потом это проебать все разом
да охуенный тейк пошёл нахуй
Как ты отличаешь одно кино от другого?
Может быть в отдельно взятой стране на освещение витрин уходит 80% вырабатываемой энергии.
У необъятной сейчас проблемы поважнее, чем развитие микроэлектроники. Тут бы перестало хуярить из стороны в сторону каждые -нцать лет.
Не складывать все яйца в одну корзину, чтобы потом барен не указывал тебе как тебе жить и что тебе думать.
Оказывается технологическая монополия это проблема, никогда бы не догадался.
Не уверен, что страна с такой территорией вообще когда-либо будет жить мирно. Слишком жирный кусок для поклонников идеи - покупайте землю этот товар больше не производят.
А экспансии в космос мы не застанем.
>многие сайты и корпорации так же в сша
Именно благодаря глобализации это не так плохо. Сайты? CDN по всему миру. Возможно, сайты даже продолжат работать без дополнительных настроек. Корпорации? А в чём их ценность? Интеллектуальная собственность? Реализованное будет продолжать существовать, а не реализованное сложно оценить в принципе. Возможно, это продвинуло бы прогресс вперёд. А возможно - оказалось бы очередным пуком.
Деньги? Кипр, Кайманы, Швейцария. Договора? Между кем? Между исчезнувшими корпорациями? Ценность нулевая. Производственные мощности? Очень смешно. Логистика? Опять же, логистика чего именно? В США 80% ВВП приходится на сферу услуг, то есть они обслуживают сами себя и за счёт этого считаются преуспевающими. Удобно, ничего не скажешь. Что они экспортируют? Углеводороды, авиапромышленность, химикаты, лекарства и оружие. По-моему, они ни в одной из статей экспорта не являются лидерами. По пищевому экспорту там вообще мрак, больше всего экспортируется соевых бобов.
Вот если политика Трампа сработает и США реально сконцентрирует у себя ту же промышленность, которая уже давно практически вся где-то в Азии - тогда да, тогда соглашусь. А так, США существует ради США. Это не хорошо, не плохо, просто в общемировом смысле их существование не является критичным.
Конкуренция - это не угроза, это жизненно важная вещь. В этом не способны ни виннипухи, ни всякие главы корпораций, маски, трумпы, китайские аналогичные паразиты. А вот преобладание того или иного мировоззрения в США и Китае разное. Влияние паразитов и всяких сволочей на принятие решений разное. Это важно, потому что отдельные люди - это фактор глупости, жадности, читерства, личной выгодны и похуизма к долгосрочным последствиям. Это все учитывается и Китае, и в США, везде. "Воруйте на здоровье, выебывайтесь, какие вы передовые, обгоняйте, мы вас похвалим" - это США "думает", не трумп, котрый может кричать "ряяя, я вам запрещу, а вас уничтожу", потому что он человечишка.
Судьба такая видимо. Я пожил в Европе и хочу обратно в Россию хотя понимаю, что ничего лучше не будет.
Скоро перекат, да и в кои то веки, аноны могут поговорить на околополитические темы без визга и рваных жоп.
Да и неожиданно, но разговор не о политике, а о экономике и развитии, что имеет отношение к нейронкам.
Может быть. Мурикошки-то тупые, не умеют экономить электричество. Это твое дело, можешь рассматривать каждый показатель отдельно, а можешь вместе со всеми остальными, можешь ограничивать анализ, а можешь его постоянно расширять, учитывая всю возможную хуйню, которая не ускользнет от твоего сознания. Можешь свалиться в какой-нибудь вывод и придерживаться его, а можешь выводов избегать. Можешь использовать выборочный скепсис или подтверждение, а можешь немотивированно анализировать.
Ну я нафаня, не оче ещё разбираюсь в этих ваших штуках, но там сначала идёт Processing Prompt (22/22 tokens) Generating (200/200 tokens), потом Processing Prompt [BLAS] (67/67 tokens), Generating (200/200 tokens) - вот это второе это чо вообще.
Разговор же полная хуйня, никаких фактов, сплошь фантазии.
Я же говорил — пишут хуевый фанфик. И не я один уже прошу сдриснуть в свой тред, и не засорять этот.
Но ты рил думаешь, что после переката этого не будет?
Очень надеюсь, но верится с трудом.
>>1050186
На тебя никто не поведется, ведь ты забыл упомянуть капиталистов или коммунистов, хотя бы Китай с США.
>никто не поведется
Конечно культисты заперты в своем манямирке, если бы ИИ который на самом деле перехайпленный LLM реально мог бы делать полезную работу, то кожаных уже давно бы на мороз выкинули
Даже копирайтеров не всех выкинули кек
> Но ты рил думаешь, что после переката этого не будет?
Очень надеюсь, но верится с трудом
Если будет срач после переката, всегда можно скастовать заклинание модератус-банхаммерус.
Прибежит кошкодевочка и нихуя не эскимо подарит.
>визга и рваных жоп.
Ты буквально пишешь челу с порванной сракой.
>разговор не о политике, а о экономике и развитии
Изначально о влиянии санкций вообще. Как это повлияет на нейросети мейд ин чайна, повлияет ли вообще и чем это грозит простым анонам.
ХОТЕТЬ МУЛЬТИМОДАЛКУ !
И картиночки и звук, и текст.
И все в 16ГБ ВРАМ
А потом я проснулся
* а потом вышел квен-3
3б визуалка норм распознает, Янус-7б че-то умеет как концепт, аудио в 6 гигов укладывается, вишпер 4 кушает, короче, в 16 можно упихнуть, просто пока люди две модальности совмещают, никто не пихал еще все и сразу.
Нихуя у тебя жопа горит. Сочувствую.
Даже хз с чего, сам себя затролил, по-ходу.
>>1050227
Благодарю!
>я тебя сейчас так выебу
>выеби меня
>нет, ты послушай как я выебу тебя
Хм, ну хуй знает.
По качеству не лучше фиш (примеры фиша у них говно, не пытались норм сделать), по скорости выглядит условно-быстрее фиша (но на практике будет медленнее, если сбилдить фиша), языков мало, русского нет.
Обещают эмоции, но примеров нет. Эмоции бы их выделили, безусловно, но я не увидел, как их задавать, а тестить лень, суммарно модель просто хорошая, не более.
>>1050228
Мечты сбываются
https://huggingface.co/openbmb/MiniCPM-o-2_6
не знаю на сколько удачное решение но вот оно, все в одном
>Эмоции бы их выделили, безусловно, но я не увидел, как их задавать, а тестить лень, суммарно модель просто хорошая, не более.
Да. В демках голос кажется более живым, эмоциональным - но только в демках. Правильные эмоции вообще без привязки к контексту невозможны, как мне кажется. А значит модель сама по себе бессмысленна - ещё один "озвучиватель текста", тысячи их.
Там ChatTTS, что вообще не то, чего бы хотелось, SigLip ну мех, и вишпер маленький слишком. И рисовалки нет.
Но вообще, хорошо. Помню еще была диалоговая, даже с русским, на немо, но че-то на нее все забили. Хотя качество голоса там было хорошее.
Правда голос мужской. Фатальная ошибка…
Да дождемся, конечно. =)
>Фатальная ошибка…
Ньюфаг без фантазии.
Просто твоя некотян слишком много курит.
Да. Мне кажется, что мультимодалку должны обучать сразу с эмоциями по тексту, т.е., нужны размерности эмоций, чтобы персонаж не просто говорил фразу, но с фонемами-токенами-словами еще и по-разному ее произносил в зависимости от контекста.
Пока что делают просто нейтральный голос, который читает текст с немного случайными акцентами, все так.
Фиш подхватывает эмоции из примера голоса, там технически можно задать немного разные эмоции при озвучке, если иметь разные примеры одного голоса. Но это костыльненько и само по себе не очень по качеству + надо оценивать фразу на эмоции, перед подачей на ттс, короче, ну такое.
По качеству сильно лучше фиша, вот я попробовал в фише с тем же референсом и получил говно какое-то. Не знаю что ты там предлагаешь пердолить, в Зонос я так же просто вогнал референс и он работает. Без всяких чисток референса, любое говно ему кормишь и норм.
Где взять реф? Ща протещу интереса ради. Хуйня какая-то, кмк. =)
>По качеству сильно лучше
>В видосе хуевое качество
Я не знаю сколько копиума въебали ттс боги, но голос как стоял на месте так и стоит
Это хуйня с бэкграундом, а не референс.
Я сомневаюсь, что они использовали такой трек для своих записей, там, небось, было кристально чисто все.
Короче, неверифицируемая хуйня у них в экзамплах, скилл ишью или черри-пикинг ебаный.
Я не говорю, что их модель хуевая, но фиш на голову лучше того, что дропают они там. Как человек, поработавший с фишом с неделю, я в этом уверен. Они дохуя пиздят для красоты, осуждаю. Ну а так — пусть эмоции завозят, будет пиздато.
Че за фиш? Что вобще щас из ттс топ можно в таверну подрубить?
> они использовали
Чел, это мой референс, из кинца за 10 секунд резанул. Я в зонос и фиш вогнал его и сам слышишь разницу. В фише надо ебаться с очисткой, зоносу похуй на шумы.
Ну хуй знает. Ебусь в Зоносом сейчас. Дал довольно чистый семпл на минуту, но приходится то уменьшать питч, то крутить VQ Score и CGF, иначе получается плохо и не то.
А, понял.
Ну, тогда ок, это плюсик в зонос. Но если очистить, то вряд ли будет разница.
Зависит от желания заебаться.
>>1050364
За таверну не шарю.
Fish-Speech-1.5.
Да, из открытых она топ для русского (Зонос не умеет, как я понял).
Кстати, тестеры, а русский не пробовали? Ну вдруг? >>1050379
Делай референс короче. Не больше 10-15 секунд. И текст генерируй покороче, пару предложений.
Урезал семпл до 30 секунд. Разницы не заметил.
>>1050385
>русский
Говно. Зонос начинает пидорасить даже при переключении с en-us на en-gb.
>IQ3_XXS
>Text Completion presets - MinP.
Желтым цветом подчеркнул изменение мной параметры.
>XTC DRY Выкл
>контекст 4к
Mistral-Small-22B-ArliAI-RPMax-v1.1.i1-IQ3_XXS хорошо соблюдал форматирование, несмотря на низкий квант.
>>1049996
Хорошо расписал. Судя по подрывам, даже не ожидал что здесь так много либерастов, поцтреотов, свидомых, 404 и прочих, ахуеть. Вот в тонущем треде пусть и остаются.
>>1050067
>>1050087
> была возможность взять нового хоппера за 700к
Это что за аукцион невиданной щедрости?
>>1050105
> Смотришь на 32 гига за 400к
Тыж собрался две таких покупать, где?
> 80 за 700 было не так и дорого
В момент, когда не сильно интересовались ии движухой и за ампер. Но блин, а100 это всеравно оче круто, особенно на таком временной плече, столько всего можно было сделать.
>The Memory Wall
и че будет если разъебать эту стенку ебанную? +999 йобафлопс?
> Если кратко, то была возможность
Бля чел, выйди в стену нахуй, ебать ты лошара. Если еще 700к - серьезные деньги, то это реально один из нескольких шансов в жизни.
>>1050207
Хорошо!
>Хорошо расписал.
Это было легко, всё до меня раскопано аналитиками из США, я просто читал их исследование. Плюс частично взято из пресс-релиза Бюро промышленности и безопасности Министерства торговли США.
Единственное, чего я не упомянул так это то, что некоторые крупнейшие корпорации были исключены из санкционных списков. Тот же CXMT, скорее всего по причине крайне тесной связи с некоторыми Японскими компаниями, которые без него обанкротятся.
>>1050454
Вроде того. Сейчас процессоры способны обрабатывать куда больше информации, чем в состоянии им подать RAM. Намного больше. Это пытаются кое-как побороть наращиванием кеша, у красных вон 3d кеш и все дела. Но это полумеры, потому что кеш всё ещё невелик, есть промахи кеша и так далее, и так далее. И вот если сломать эту стену, то такая необходимость в кеше либо отпадёт полностью, либо будет крайне мала. Потому что память будет в состоянии обеспечить процессор нужными данными вовремя. Опять же, сейчас скорость инференса ллм упирается большей частью в скорость памяти. А если эта скорость вдруг станет больше на порядок?
А почему просто не сделать главную память такой-же быстрой как и кэш?
Во-первых, кеш жрёт энергию. Намного больше, чем оператива. Если сейчас сделать плашки по 32 гига на той же технологии, что кеш, то 600 ваттная печка покажется детским лепетом. Во-вторых, нельзя на одном кристалле уместить много ячеек такой памяти. Кеш использует шесть транзисторов на бит, а оператива - один транзистор и один конденсатор. То есть эта печка будет большой. Реально большой. И в третьих, она будет стоить, как крыло от Боинга. И это будет слишком дорого, настолько дорого, что даже для ИИ это не применимо, даже при условии современных безлимитных бюджетов на ИИ. Так что нужны хитрые технологии. Которые обещают чудовищную скорость работы. А трёхмерная технология это ещё и увеличение объёмов этой самой памяти.
Оптика нужна, хотя бы в каналах памяти, в идеале и рам такую создать.
Сейчас частоты рам не повысишь изза того что далеко от процессора, оптика с низкой задержкой этот вопрос решит. Можно будет быстрее рам делать и с широкой шиной.
Но если получится рам создать там и до процессора недалеко, по крайней мере до гибридных. Оптоэлектроника это супер и скорей всего вначале будет она, потом уже если раздуплятся то и процессор и шины и память на оптике сделают, но это мечты.
Пока что кожаные мешки не смогли в фотонику, ну надежды на ИИ
Может хоть с развитием ИИ и открытием кучи новых материалов смогут сделать какой то аналог транзистора на фотонах.
Ну, звучит логично использовать скорость света. Оно наверное и нагревается будет меньше.
А частоты не надо повышать. Нет проблемы в частоте. У 5090 частота памяти крышесносные 1750 MHz. В то время, как DDR5 может работать и с частотой 6400 MHz. Я уже раскрывал как-то эту тему ИТТ, слегка лениво повторяться.
> Тыж собрался две таких покупать, где?
По фактам.
Случилось страшное — маленький ремонт в доме, который не останавливается.
Ну и тот же вопрос «где?», ибо нашел только у перекупов, типа того же Cat. Обещают гарантию, но я че-т хз. Для меня подобные «телеграм-магазины» и «проверенные продавцы» звучит как обычное авито. В ДНС и Ситилинг я делал возвраты, даже в Озон и Яндекс.Маркет (и даже Сбер чут чут). А тут… но может это мои предрассудки, конечно.
Решил обождать до лета.
Но я обосрусь, если их летом вообще не будет, конечно.
Ну так не в частоте, так в куче линий памяти от плашек до процессора. У видимокарты то все распаяно близко к чипу с огромной параллельностью изза широкой шины, оттого ей частоты не так важны.
Я находил когда то предварительные спецификации ддр6, так там хотят не по 2 суб канала а по 8 на плашку, что ли. По 16 бит на сколько помню шириной. В итоге скорости с одной плашки памяти обещают под 100гб/с
Ну тоесть как удвоенная ддр5, которая по сути 4 канала ддр4 в 2 плашках.
В общем, кажется что ддр6 будет еще горячее и капризнее чем ддр5, но быстрее.
У видеокарты вместо двойной модуляции идёт тройная и больше. На той же частоте, на той же шине - больше скорость передачи данных. Применяем это же к DDR и получаем на 50-100% большую пропускную способность без увеличения частот. И подумай сразу, почему этого не делают.
Распайка близко к чипу не так важна, как кажется, можно ещё раза в два частоты погнать. Только какой в этом смысл?
>предварительные спецификации ддр6
Смотри по LPDDR, оно плюс-минус на полпоколения обгоняет по характеристикам. Что там уже есть - будет в оперативе.
Хм, интересно.
Вобще хотелось бы уже унифицированную память как у эппл, смогли ведь они на своей архитектуре так сделать? На сколько помню у них память распаяна вокруг процессора как в видеокартах, не знаю на счет модуляции, но каналов там много.
Раз уж скорости хорошие выдает.
На сколько понимаю вся проблема с архитектурой уже существующих процессоров, надо все с нуля переделывать для таких финтов.
В идеале бы конечно возможность эти самые каналы плашками подключать, но в ддр6 что то такое и хотят сделать, с кучей субканалов на плашку.
Но ширина шины будет такая себе
>>1050631 (OP)
ПЕРЕКАТ
>>1050631 (OP)
ПЕРЕКАТ
>>1050631 (OP)
>В то время, как DDR5 может работать и с частотой 6400 MHz.
Буква D в DDR означает дубль. Дели на 2, и вот уже магия куда-то проёбывается.
