forum.opennet.ru - "Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5" (62)

"Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5"	+/–
Сообщение от opennews (??), 02-Апр-24, 20:07
Компания Databricks объявила об... Подробнее: https://www.opennet.me/opennews/art.shtml?num=60911
Ответить \| Правка \| Cообщить модератору

Оглавление

Вот откуда 133 https omdia tech informa com - media tech omdia marketing pr , Аноним (1), 20:07 , 02-Апр-24, (1) +3
Скрыто модератором, ИмяХ (ok), 21:49 , 02-Апр-24, (4) +3
Что ни новая модель, то на 150 лучше всех остальных А как попросишь ее что-ниб, Аноним (5), 23:48 , 02-Апр-24, (5) +13

а ты задумывался, почему великий ИИ генерит в языках высокого уровня, желательно, mister_0 (?), 00:21 , 03-Апр-24, (7) –3

ИИ не существует, есть нейронные сетки и языковые модели - думаю ответ стал очев, EuPhobos (ok), 12:32 , 03-Апр-24, (34) +6

Он не должен узнать , Пряник (?), 14:46 , 03-Апр-24, (43) +1

Потому что это не сильный ИИ Вы путаете виды искусственного интеллекта Асм мож, kusb (?), 18:33 , 03-Апр-24, (48)

Это ещё что, они однотонное изображение выдать не могут не говоря уж добавить в, Аноним (11), 00:47 , 03-Апр-24, (11)

А ещё можно поробовать чаты гпт просто молчать Чтобы он не отвечал на твои сообщ, anonymmmeer (?), 12:59 , 03-Апр-24, (36) –2

ClosedAI обучили свои модели ВСЕГДА генерировать текст в ответе Всякие Ламы и М, s (?), 00:52 , 11-Апр-24, (69)

Что ты хотел от рандомного мусора из соцсетей, КО (?), 08:55 , 03-Апр-24, (24) +4

Никто не создаёт модель на основе всего подряд, подготовка датасета 8212 важн, Аноним (42), 14:46 , 03-Апр-24, (42)

Цепочка деградации источника знаний учёный 8212 научный журналист 8212 жу, Аноним (47), 17:57 , 03-Апр-24, (47)

Астрологи объявили увеличение времени для подключения живого оператора голосовым, Вы забыли заполнить поле Name (?), 00:19 , 03-Апр-24, (6) +10
Доказать, что другие модели тюнились с помощью этой - невозможно С другой сторо, Аноним (8), 00:22 , 03-Апр-24, (8) –1

Любая лицензия регулируется местным законодательством Например в Китае на нее з, голос из леса (?), 00:36 , 03-Апр-24, (9) +1

Не думаю, что в Китае это используется Ну хотя бы введите в поиске neural netwo, Аноним (27), 09:22 , 03-Апр-24, (27)

С чего это ты решил нельзя доказать , Дмитрий (??), 09:52 , 03-Апр-24, (28)

В Весёлой Башне доказать можно что угодно А для доказательства, что выхлоп сети, Аноним (39), 13:33 , 03-Апр-24, (39)

KYC-маразм в HuggingFace прогрессируетПогуглил - магнет для Gemma не ищется Как, Аноним (8), 00:43 , 03-Апр-24, (10)

Ну ты вот не перезалил же , Аноним (42), 05:15 , 03-Апр-24, (13) +2
ждём https huggingface co TheBloke search_models dbrx, onanim (?), 11:01 , 03-Апр-24, (31)

У кого-то дома есть 320GB ОЗУ , Ананоним (?), 04:11 , 03-Апр-24, (12)

Ну, если во всём доме, то , Roman (??), 06:21 , 03-Апр-24, (14) +6
У кого-то дома есть оптимизированные алгоритмы серьезное усложнение структуры н, Аноним (27), 06:50 , 03-Апр-24, (17)

И кор2дуо , Аноним (42), 08:32 , 03-Апр-24, (23)

Обижаете G530 , Аноним (27), 09:16 , 03-Апр-24, (26)

Не поверишь, но ещё в 2000-х в универе мы писали код для распознавания капчи на , Аноним (64), 03:07 , 05-Апр-24, (64)

Ну, в принципе, 1 планка памяти до 512 сейчас, 256 уже есть Но тут наверно 4 ви, Аноним (11), 08:56 , 03-Апр-24, (25)
пара компов с 128Гб и пара по 32ГбРаньше десктопные больше 128Гб не поддерживал, vitektm (?), 12:38 , 03-Апр-24, (35) +1

AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически ст, Аноним (42), 14:31 , 03-Апр-24, (41)

вы вообще не в теме речь про VRAM ты в эту материну 8 тесл засунешь с 80 ГБ е, pelmaniac (?), 18:40 , 03-Апр-24, (50) –1

Нет, нейросеть запускается на CPU и речь про RAM Про видеопамять ничего на гит, а што не так (?), 10:09 , 04-Апр-24, (58)

Да, вполне работает на CPU Только чем больше модель тем медленнее она будет щев, Аноним (61), 13:53 , 04-Апр-24, (61)

ты не поверишь, но речь про 320ГБ ВИДЕОПАМЯТИ в селектеле такие дедики 3-5 лимо, pelmaniac (?), 18:38 , 03-Апр-24, (49) –3

Взаимозаменяемо с небольшой потерей производительности Так что не в теме тут им, Аноним (54), 20:11 , 03-Апр-24, (54) +2

вот дурачьё-то, покупают арендуют кластеры с GPU, а эксперты опеннета всё на про, pelmaniac (?), 21:46 , 03-Апр-24, (56) –2

Зависит от целей и задач Если на этом деньги зарабатываешь, то и вложиться в ар, Аноним (61), 14:39 , 04-Апр-24, (62)

Только CPU не умеет в float16 считать, нужно приводить к стандартной плавучке од, Аноним (65), 15:16 , 06-Апр-24, (65)

А зачем тебе FP16 Чем INT8 не устраивает , s (?), 00:23 , 11-Апр-24, (66)

И снова газификация луж Объясняю кластеры арендуют либо для бизнес-задач, комм, Аноним (64), 03:00 , 05-Апр-24, (63) +1

Если нужно можно недорого купитьhttps video simplex-software ru w jezYPKBYPWDr, Дмитрий (??), 09:55 , 04-Апр-24, (57)

В современном бизнесе людей больше интересует сколько американских людей и ден, Аноним (15), 06:24 , 03-Апр-24, (15)

Да и добавлю тот факт что Эпл, Майкрософт, Гугл достаточно хорошо узнаваемые кон, Аноним (15), 06:27 , 03-Апр-24, (16) +1
В это В этот пузырь, хотите сказать , Аноним (27), 06:52 , 03-Апр-24, (18) +1
На судьбу Гэри Килдалла намекаете , Аноним (27), 06:53 , 03-Апр-24, (19)

Скрыто модератором, Андрей (??), 08:08 , 03-Апр-24, (21) +1

У меня как раз 100500 терабайт оперативы без дела валяются, ну а где прямая или , Аноним (22), 08:20 , 03-Апр-24, (22)

А зачем загрузка Нужно писать самим Есть такой термин - троянское обучение , Аноним (27), 09:52 , 03-Апр-24, (29)

Толсто На чистом Python только учебные задачи, а прод - на Python c либами на д, economist (?), 10:25 , 03-Апр-24, (30)
Ярчайший пример, это попытки торговать на биржах роботами Сам этой теме почти, Аноним (54), 19:13 , 03-Апр-24, (52) +1

Опять решение математических задач У лжеИИ То есть если мы уберем способ реше, bOOster (ok), 11:26 , 03-Апр-24, (32) +1

у неё нет системы вывода логического, зато есть память на миллиард ячеек поэтому, anonymmmeer (?), 13:07 , 03-Апр-24, (37) +1

Ну и причем тут тогда Интеллект То что ты описал - это алгоритм и не больше это, bOOster (ok), 13:17 , 03-Апр-24, (38)

А кто тебе сказал, что это интеллект Маркетологи - , _oleg_ (ok), 14:50 , 03-Апр-24, (44) +1
Любой современный процессор графический или ещё какой программа это машина Ть, anonymmmeer (?), 15:08 , 03-Апр-24, (45) –1

Интересный вопрос, кстати Возможно, что и да, сформулирует Смотря какой ИИ и н, Alexey V. Pautov (?), 15:14 , 03-Апр-24, (46)

Родни Брукс в интервью высказал мысль что впереди еще одна зима искуственного ин, Аноним (33), 12:05 , 03-Апр-24, (33) +3

Ожидаемо Ибо недостаточны ещё вычислительные ресурсы для следующего скачка Вед, Аноним (54), 19:17 , 03-Апр-24, (53) +1

С тем же успехом вы могли бы сказать, что идея была заложена в 50-х годах XVIII , s (?), 00:31 , 11-Апр-24, (67)

Все эти тесты - средняя температура по больнице По факту, из опенсорсных решени, Аноним (54), 19:08 , 03-Апр-24, (51) +2

Всё зависит от того, какую задачу этим решениям поставить Даже самые маленькие , s (?), 00:37 , 11-Апр-24, (68)

Сообщения [Сортировка по времени | RSS]

1. "Databricks открыл большую языковую модель DBRX, опережающую ..." +3 +/–

Сообщение от Аноним (1), 02-Апр-24, 20:07

>кластер из 3072 GPU NVIDIA H100
Вот откуда +133%
https://omdia.tech.informa.com/-/media/tech/omdia/marketing/...

Ответить | Правка | Наверх | Cообщить модератору

4. Скрыто модератором +3 +/–

Сообщение от ИмяХ (ok), 02-Апр-24, 21:49

Выпустили демона, который уничтожит человечество.

Ответить | Правка | Наверх | Cообщить модератору

5. "Databricks открыл большую языковую модель DBRX, опережающую ..." +13 +/–

Сообщение от Аноним (5), 02-Апр-24, 23:48

Что ни новая модель, то на 150% лучше всех остальных. А как попросишь ее что-нибудь накодить, то получаешь какую-то дичь с синтаксическими ошибками...

Ответить | Правка | Наверх | Cообщить модератору

7. "Databricks открыл большую языковую модель DBRX, опережающую ..." –3 +/–

Сообщение от mister_0 (?), 03-Апр-24, 00:21

а ты задумывался, почему великий ИИ генерит в языках высокого уровня, желательно без типов, а не сразу в машинных кодах. Зачем все эти промежуточные этапы?
а как определить великое произведение от посредственного, есть формальные критерии

Ответить | Правка | Наверх | Cообщить модератору

34. "Databricks открыл большую языковую модель DBRX, опережающую ..." +6 +/–

Сообщение от EuPhobos (ok), 03-Апр-24, 12:32

ИИ не существует, есть нейронные сетки и языковые модели - думаю ответ стал очевиден на твой вопрос?

Ответить | Правка | Наверх | Cообщить модератору

43. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Пряник (?), 03-Апр-24, 14:46

Он не должен узнать!

Ответить | Правка | Наверх | Cообщить модератору

48. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от kusb (?), 03-Апр-24, 18:33

Потому что это не сильный ИИ. Вы путаете виды искусственного интеллекта. Асм может оказаться сложнее и оптимизировать ему труднее, он далёк от полного понимания что он делает и удерживания этого внутри.
У людей частично одинаковые проблемы, поэтому мы придумали языки высокого уровня.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

11. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (11), 03-Апр-24, 00:47

Это ещё что, они однотонное изображение выдать не могут (не говоря уж добавить в него альфа канал)  https://www.reddit.com/r/ChatGPT/comments/17hbx8f/prompt_cha.../

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

36. "Databricks открыл большую языковую модель DBRX, опережающую ..." –2 +/–

Сообщение от anonymmmeer (?), 03-Апр-24, 12:59

А ещё можно поробовать чаты гпт просто молчать.
Чтобы он не отвечал на твои сообщения. у меня не получилось так сделать.

Ответить | Правка | Наверх | Cообщить модератору

69. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от s (?), 11-Апр-24, 00:52

ClosedAI обучили свои модели ВСЕГДА генерировать текст в ответе. Всякие Ламы и Мистрали - нет, и зачастую позволяют такое. Буквально, модель сходу выдает EOS-токен как один из наиболее вероятных (или единственный вероятный, Mixtral и такое умеет), он семплируется, и генерация затыкается. Пользователь же в норме не видит EOS-токен и получает пустой ответ.
А что касатется белого цвета - ну так из шума диффузия идёт! Модели чисто статистически тяжело вытянуть однородную заливку из псевдослучайной каши. Возьмите более светлую опорную картинку, и получите изображение в высоком ключе, и наоборот. А для однородной заливки, уж извините, проще ткнуть мышкой в фотошопе - не вижу тут прикладного смысла.

Ответить | Правка | Наверх | Cообщить модератору

24. "Databricks открыл большую языковую модель DBRX, опережающую ..." +4 +/–

Сообщение от КО (?), 03-Апр-24, 08:55

Что ты хотел от рандомного мусора из соцсетей

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

42. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (42), 03-Апр-24, 14:46

Никто не создаёт модель на основе всего подряд, подготовка датасета — важная часть процесса.

Ответить | Правка | Наверх | Cообщить модератору

47. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (47), 03-Апр-24, 17:57

Цепочка деградации источника знаний: учёный — научный журналист — журналист-новостник — Маша из Инстраграмма — нейросеть, обученная на машах-из-инстаграмма.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

6. "Databricks открыл большую языковую модель DBRX, опережающую ..." +10 +/–

Сообщение от Вы забыли заполнить поле Name (?), 03-Апр-24, 00:19

Астрологи объявили увеличение времени для подключения живого оператора голосовым помощником.

Ответить | Правка | Наверх | Cообщить модератору

8. "Databricks открыл большую языковую модель DBRX, опережающую ..." –1 +/–

Сообщение от Аноним (8), 03-Апр-24, 00:22

>Например, лицензия запрещает использовать DBRX, производные модели и любой вывод на их основе для улучшения других языковых моделей, отличных от DBRX. Лицензия также запрещает использовать модель в областях, нарушающих законы и нормативные акты. Производные модели должны распространяться под той же лицензией. При использовании в продуктах и серивисах, которыми пользуются более 700 млн пользователей в месяц, требуется получение отдельного разрешения.
Доказать, что другие модели тюнились с помощью этой - невозможно. С другой стороны - кто хочет и может натренировать свою модель - тому эта не нужна. Проконтролировать соблюдение этой несвободной лицензии тоже невозможно, а поскольку лицензия несвободная — то и соблюдать её необязательно. Зачем конторе такой самозашквар — не очень понятно.

Ответить | Правка | Наверх | Cообщить модератору

9. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от голос из леса (?), 03-Апр-24, 00:36

>> Доказать, что другие модели тюнились с помощью этой - невозможно
Любая лицензия регулируется местным законодательством. Например в Китае на нее забьют. В Европе - нет.
+ В некоторых юрисдикциях сотрудники предпочитают не покрывать работодателя. А в других никто и не спросит.

Ответить | Правка | Наверх | Cообщить модератору

27. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (27), 03-Апр-24, 09:22

Не думаю, что в Китае это используется. Ну хотя бы введите в поиске neural network differential operator и посмотрите Китайские источники. По имеющейся открытой информации, весьма скудной, кстати, им удалось в сотни тысяч раз (!) увеличить быстродействие и снизить требования к скорости процессорной группировки и дисковой памяти за счет совершенствования структуры нейронной сети и алгоритмов ее обучения. Что подтверждается и нашими выкладками и расчетами.

Ответить | Правка | Наверх | Cообщить модератору

28. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Дмитрий (??), 03-Апр-24, 09:52

С чего это  ты решил нельзя доказать?

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

39. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (39), 03-Апр-24, 13:33

В Весёлой Башне доказать можно что угодно. А для доказательства, что выхлоп сети был использован для тренировки, придётся сначала предоставить входы и дополнения. Входов - огромное множество, и доказывальщикам придётся угадать нужные, и при этом доказать, что с высокой вероятностью совпадение неслучайно. Конечно, можно потребовать от авторов любой конкурирующей сети доказательств, что их сеть не тренирована на основе выхлопа DBRX. Но для этого доказательства придётся перетренировать сеть. Это абсолютно неадекватное требование, дескриминирует всех ответчиков, и если с таким требованием прийти в суд, то любой небасманный суд тавой иса отклонит.

Ответить | Правка | Наверх | Cообщить модератору

10. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (8), 03-Апр-24, 00:43

KYC-маразм в HuggingFace прогрессирует
>You need to share contact information with Databricks to access this model
>The information you provide will be collected, stored, processed, and shared in accordance with Databricks Privacy Notice.
Погуглил - магнет для Gemma не ищется. Как и IPFS-ссылка. Странно. Неужели никто не перезалил до сих пор, лицензия ведь позволяет?

Ответить | Правка | Наверх | Cообщить модератору

13. "Databricks открыл большую языковую модель DBRX, опережающую ..." +2 +/–

Сообщение от Аноним (42), 03-Апр-24, 05:15

Ну ты вот не перезалил же.

Ответить | Правка | Наверх | Cообщить модератору

31. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от onanim (?), 03-Апр-24, 11:01

ждём https://huggingface.co/TheBloke?search_models=dbrx

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

12. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Ананоним (?), 03-Апр-24, 04:11

У кого-то дома есть 320GB ОЗУ?

Ответить | Правка | Наверх | Cообщить модератору

14. "Databricks открыл большую языковую модель DBRX, опережающую ..." +6 +/–

Сообщение от Roman (??), 03-Апр-24, 06:21

> У кого-то дома есть 320GB ОЗУ?
Ну, если во всём доме, то...

Ответить | Правка | Наверх | Cообщить модератору

17. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (27), 03-Апр-24, 06:50

У кого-то дома есть оптимизированные алгоритмы (серьезное усложнение структуры нейронов в узлах), что позволило обойтись 1 Гб ОЗУ.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

23. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (42), 03-Апр-24, 08:32

И кор2дуо!

Ответить | Правка | Наверх | Cообщить модератору

26. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (27), 03-Апр-24, 09:16

Обижаете. G530.

Ответить | Правка | Наверх | Cообщить модератору

64. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (64), 05-Апр-24, 03:07

Не поверишь, но ещё в 2000-х в универе мы писали код для распознавания капчи на основе нейронок. Обойтись можно было парой мегабайт. Так что, твои алгоритмы вряд ли что-то более сложное, чем обыкновенный перцептрон.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

25. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (11), 03-Апр-24, 08:56

Ну, в принципе, 1 планка памяти до 512 сейчас, 256 уже есть. Но тут наверно 4 видеокарты требуется.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

35. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от vitektm (?), 03-Апр-24, 12:38

пара компов с 128Гб и  пара по 32Гб
Раньше десктопные больше 128Гб не поддерживали
ну так что 256/512Гб дома думаю реально, через пару лет. Ну или сейчас но старые процы с али.
Ну и это вообще за недорого.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

41. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (42), 03-Апр-24, 14:31

AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.

Ответить | Правка | Наверх | Cообщить модератору

50. "Databricks открыл большую языковую модель DBRX, опережающую ..." –1 +/–

Сообщение от pelmaniac (?), 03-Апр-24, 18:40

>AMD TRX50 держит терабайт оперативки, и материнки не сказать чтобы космически стоят.
вы вообще не в теме. речь про VRAM. ты в эту материну 8 тесл засунешь с 80 ГБ? если нет, то щвaбоден ;)

Ответить | Правка | Наверх | Cообщить модератору

58. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от а што не так (?), 04-Апр-24, 10:09

Нет, нейросеть запускается на CPU  и речь про RAM. Про видеопамять ничего на гитхабе не сказано.

Ответить | Правка | Наверх | Cообщить модератору

61. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (61), 04-Апр-24, 13:53

> Нет, нейросеть запускается на CPU  и речь про RAM.
Да, вполне работает на CPU. Только чем больше модель тем медленнее она будет щевелится. Уже 70B модель на восьмиядерном процессоре работает как пошаговая стратегия: написал письмо и ждешь ответа.
Сами попробйте покрутить разные модели в LM Studio или Coboldcpp. Во всем наглядно убедитесь. Видеокарта дает хороший буст в скорости (если в нее хотя бы половина слоев модели влезает).

Ответить | Правка | Наверх | Cообщить модератору

49. "Databricks открыл большую языковую модель DBRX, опережающую ..." –3 +/–

Сообщение от pelmaniac (?), 03-Апр-24, 18:38

>У кого-то дома есть 320GB ОЗУ?
ты не поверишь, но речь про 320ГБ ВИДЕОПАМЯТИ! в селектеле такие дедики 3-5 лимонов в месяц стоят.
а 320 ГБ рамы это попса, тыщ 30 и оно твоё.
БЯМ для богатых пацанов...

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

54. "Databricks открыл большую языковую модель DBRX, опережающую ..." +2 +/–

Сообщение от Аноним (54), 03-Апр-24, 20:11

> 320ГБ ВИДЕОПАМЯТИ!
Взаимозаменяемо с небольшой потерей производительности. Так что не в теме тут именно ВЫ.

Ответить | Правка | Наверх | Cообщить модератору

56. "Databricks открыл большую языковую модель DBRX, опережающую ..." –2 +/–

Сообщение от pelmaniac (?), 03-Апр-24, 21:46

>с небольшой потерей производительности
вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке )

Ответить | Правка | Наверх | Cообщить модератору

62. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (61), 04-Апр-24, 14:39

> вот дурачьё-то, покупают/арендуют кластеры с GPU, а эксперты опеннета всё на проце считают и тухлой оперативке )
Зависит от целей и задач. Если на этом деньги зарабатываешь, то и вложиться в аренду мощностей не грех. А чтоб из любопытства палочкой потыкать, то и на тухлом CPU модели крутить можно.

Ответить | Правка | Наверх | Cообщить модератору

65. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (65), 06-Апр-24, 15:16

Только CPU не умеет в float16 считать, нужно приводить к стандартной плавучке одинарной точности. Так что 640 ГБ RAM и расчёты существенно медленнее.

Ответить | Правка | Наверх | Cообщить модератору

66. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от s (?), 11-Апр-24, 00:23

А зачем тебе FP16? Чем INT8 не устраивает?

Ответить | Правка | Наверх | Cообщить модератору

63. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Аноним (64), 05-Апр-24, 03:00

> покупают/арендуют кластеры с GPU
И снова газификация луж. Объясняю: кластеры арендуют либо для бизнес-задач, коммерции, либо для обучения. Ты уж если не в теме, то... кхм, скажу словами классика: "молчать и слушать, молчать и слушать, что вам говорят".

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

57. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Дмитрий (??), 04-Апр-24, 09:55

Если нужно можно недорого купить
https://video.simplex-software.ru/w/jezYPKBYPWDrwDaLqJs1UC

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

15. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (15), 03-Апр-24, 06:24

> По заявлению создателей модели, по своим характеристикам и возможностям DBRX превосходит модели GPT-3.5 от компании OpenAI и Grok-1 от Twitter, и может конкурировать с моделью Gemini 1.0 Pro при тестировании степени понимания языка, возможностей написания кода на языках программирования и решения математических задач.
В современном бизнесе людей больше интересует сколько (американских) людей и денег в это вложилось. От этого и реклама в американских соцсетях будет плясать парадоксально укрепляя узнаваемость продукта. Думаете у Майкрософт в своё время не было конкурентов? Да были аналоги того же офиса, их сервисов получше этой конторки. Только об этом мало кто знал и хотел пользоваться потому что не популярно, ну в итоге эти продукты загнулись а мелкомягкие всё ещё на плаву.

Ответить | Правка | Наверх | Cообщить модератору

16. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Аноним (15), 03-Апр-24, 06:27

Да и добавлю тот факт что Эпл, Майкрософт, Гугл достаточно хорошо узнаваемые конторы, тем не менее не самые богатые и не самые инновационные, но всего-то монополия основанная на узнаваемости их делает технологичными.

Ответить | Правка | Наверх | Cообщить модератору

18. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Аноним (27), 03-Апр-24, 06:52

> В современном бизнесе людей больше интересует сколько (американских) людей и денег в это вложилось.
В это? В этот пузырь, хотите сказать?

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

19. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (27), 03-Апр-24, 06:53

> Думаете у Майкрософт в своё время не было конкурентов?
На судьбу Гэри Килдалла намекаете?

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

21. Скрыто модератором +1 +/–

Сообщение от Андрей (??), 03-Апр-24, 08:08

Во всем виноваты женщины))

Ответить | Правка | Наверх | Cообщить модератору

22. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (22), 03-Апр-24, 08:20

У меня как раз 100500 терабайт оперативы без дела валяются, ну а где прямая или магнет-ссылка на загрузку? Что за регистрация? Уберите новость, никакая это не открытая модель.

Ответить | Правка | Наверх | Cообщить модератору

29. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Аноним (27), 03-Апр-24, 09:52

А зачем загрузка? Нужно писать самим. Есть такой термин - "троянское обучение". Это когда вам подкидывают тему, на самом деле бесперспективную, на которую вы будете тратить все свои технологические ресурсы, но никогда не добьетесь результатов. Как пример, типа искусственного интеллекта из миллиардов персептронов, да еще на языке Python, который при прочих равных условиях медленнее С в 65 тысяч раз. Это мы еще об убогой предлагаемой архитектуре сети не говорили.

Ответить | Правка | Наверх | Cообщить модератору

30. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от economist (?), 03-Апр-24, 10:25

Толсто. На чистом Python только учебные задачи, а прод - на Python c либами на других языках. Дискомофорта DS-ты не испытывают от слова вообще, неважно на чем либа написана, важно что логика в файле *.py (чаще в *.ipynb). Все big-data платформы, внезапно, тоже используют Pytjhon, конвейеры, оркестраторы итд - все на нем кодится, но либы на С++/С/Fortran/Rust и всем таком типа быстром.

Ответить | Правка | Наверх | Cообщить модератору

52. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Аноним (54), 03-Апр-24, 19:13

> Это когда вам подкидывают тему, на самом деле бесперспективную, на которую вы будете тратить все свои технологические ресурсы, но никогда не добьетесь результатов.
Ярчайший пример, это попытки "торговать" на биржах роботами. Сам этой теме почти 6 лет жизни посветил, благо за зарплату. Итог ожидаемо нулевой - хаос нельзя предсказать (:

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

32. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от bOOster (ok), 03-Апр-24, 11:26

Опять решение математических задач? У лжеИИ???
То есть если мы уберем способ решения теоремы Пифагора из обученной системы полностью - и дадим вводные которые были у самого Пифагора - решит эта система задачу? Выведет "теорему Пифагора" самостоятельно?

Ответить | Правка | Наверх | Cообщить модератору

37. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от anonymmmeer (?), 03-Апр-24, 13:07

у неё нет системы вывода логического, зато есть память на миллиард ячеек.
поэтому она может хорошо действовать по паттернам... ну как хорошо, надо хреналиард похожих ситуаций прогонять.
вывести она ничего не может, а попытаться угадать по контексту запросто... угодать, всмысле генерить случайный бред, пока ты, как наблюдатель, не решишь, что это норм ответ.

Ответить | Правка | Наверх | Cообщить модератору

38. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от bOOster (ok), 03-Апр-24, 13:17

Ну и причем тут тогда Интеллект? То что ты описал - это алгоритм и не больше этого.

Ответить | Правка | Наверх | Cообщить модератору

44. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от _oleg_ (ok), 03-Апр-24, 14:50

А кто тебе сказал, что это интеллект? Маркетологи :-)?..

Ответить | Правка | Наверх | Cообщить модератору

45. "Databricks открыл большую языковую модель DBRX, опережающую ..." –1 +/–

Сообщение от anonymmmeer (?), 03-Апр-24, 15:08

Любой современный процессор(графический или ещё какой) + программа это машина Тьюринга по вычислительной мощности (с конечной лентой конечно же).
все эти LLM по вычислительной мощности - машины Тьюринга или просто алгоритм, можно называть и так.
увелечение числа параметров модели = увеличение длины ленты.
Но даже машина Тьюринга с бесконечной лентой не может решить проблему останова.
подумай над этим.

Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

46. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от Alexey V. Pautov (?), 03-Апр-24, 15:14

Интересный вопрос, кстати. Возможно, что и да, сформулирует. Смотря какой ИИ и на чем специализирован. Вообще, сейчас все это пока ни о чем. Лет через 10 будет тема.

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

33. "Databricks открыл большую языковую модель DBRX, опережающую ..." +3 +/–

Сообщение от Аноним (33), 03-Апр-24, 12:05

Родни Брукс в интервью высказал мысль что впереди еще одна зима искуственного интеллекта🤷, а также стагнация всей ИТ отрасли.
"Относительно отрасли ИИ, ученый отметил, что несмотря на беспрецедентный уровень успеха, индустрия "следует заезженным циклом ажиотажа, который мы видели снова и снова на протяжении более чем 60-летней истории ИИ"."
POST: PREDICTIONS SCORECARD, 2024 JANUARY 01

Ответить | Правка | Наверх | Cообщить модератору

53. "Databricks открыл большую языковую модель DBRX, опережающую ..." +1 +/–

Сообщение от Аноним (54), 03-Апр-24, 19:17

> еще одна зима искуственного интеллекта
Ожидаемо. Ибо недостаточны ещё вычислительные ресурсы для следующего скачка. Ведь вся идея нынешних LLM была заложена ВНЕЗАПНО в 50-х годах (а кое что и ранее), и только сейчас благодаря производительности GPU смогли приоткрыть завесу.

Ответить | Правка | Наверх | Cообщить модератору

67. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от s (?), 11-Апр-24, 00:31

С тем же успехом вы могли бы сказать, что идея была заложена в 50-х годах XVIII века. Примерно тогда была заложена база матричных вычислений и дифференциальных уравнений. (а кое что и ранее) ;D

Ответить | Правка | Наверх | Cообщить модератору

51. "Databricks открыл большую языковую модель DBRX, опережающую ..." +2 +/–

Сообщение от Аноним (54), 03-Апр-24, 19:08

Все эти тесты - средняя температура по больнице. По факту, из опенсорсных решений, даже близко никто не приблизился к gpt-3.5. Вообще, кроме claude 3 opus и gpt-4 остальное - игрушки.

Ответить | Правка | Наверх | Cообщить модератору

68. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/–

Сообщение от s (?), 11-Апр-24, 00:37

Всё зависит от того, какую задачу этим решениям поставить. Даже самые маленькие сети начинают демонстрировать очень неплохие результаты, когда применяются по своему прямому назначению - работе с текстом, при условии наличия всех или почти всех необходимых вводных в контексте.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+3 +/–
Сообщение от Аноним (1), 02-Апр-24, 20:07
>кластер из 3072 GPU NVIDIA H100 Вот откуда +133% https://omdia.tech.informa.com/-/media/tech/omdia/marketing/...
Ответить \| Правка \| Наверх \| Cообщить модератору

4. Скрыто модератором	+3 +/–
Сообщение от ИмяХ (ok), 02-Апр-24, 21:49
Выпустили демона, который уничтожит человечество.
Ответить \| Правка \| Наверх \| Cообщить модератору

5. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+13 +/–
Сообщение от Аноним (5), 02-Апр-24, 23:48
Что ни новая модель, то на 150% лучше всех остальных. А как попросишь ее что-нибудь накодить, то получаешь какую-то дичь с синтаксическими ошибками...
Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Databricks открыл большую языковую модель DBRX, опережающую ..."	–3 +/–
	Сообщение от mister_0 (?), 03-Апр-24, 00:21
	а ты задумывался, почему великий ИИ генерит в языках высокого уровня, желательно без типов, а не сразу в машинных кодах. Зачем все эти промежуточные этапы? а как определить великое произведение от посредственного, есть формальные критерии
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+6 +/–
	Сообщение от EuPhobos (ok), 03-Апр-24, 12:32
	ИИ не существует, есть нейронные сетки и языковые модели - думаю ответ стал очевиден на твой вопрос?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+1 +/–
	Сообщение от Пряник (?), 03-Апр-24, 14:46
	Он не должен узнать!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	48. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от kusb (?), 03-Апр-24, 18:33
	Потому что это не сильный ИИ. Вы путаете виды искусственного интеллекта. Асм может оказаться сложнее и оптимизировать ему труднее, он далёк от полного понимания что он делает и удерживания этого внутри. У людей частично одинаковые проблемы, поэтому мы придумали языки высокого уровня.
	Ответить \| Правка \| К родителю #7 \| Наверх \| Cообщить модератору


	11. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (11), 03-Апр-24, 00:47
	Это ещё что, они однотонное изображение выдать не могут (не говоря уж добавить в него альфа канал) https://www.reddit.com/r/ChatGPT/comments/17hbx8f/prompt_cha.../
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	36. "Databricks открыл большую языковую модель DBRX, опережающую ..."	–2 +/–
	Сообщение от anonymmmeer (?), 03-Апр-24, 12:59
	А ещё можно поробовать чаты гпт просто молчать. Чтобы он не отвечал на твои сообщения. у меня не получилось так сделать.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	69. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от s (?), 11-Апр-24, 00:52
	ClosedAI обучили свои модели ВСЕГДА генерировать текст в ответе. Всякие Ламы и Мистрали - нет, и зачастую позволяют такое. Буквально, модель сходу выдает EOS-токен как один из наиболее вероятных (или единственный вероятный, Mixtral и такое умеет), он семплируется, и генерация затыкается. Пользователь же в норме не видит EOS-токен и получает пустой ответ. А что касатется белого цвета - ну так из шума диффузия идёт! Модели чисто статистически тяжело вытянуть однородную заливку из псевдослучайной каши. Возьмите более светлую опорную картинку, и получите изображение в высоком ключе, и наоборот. А для однородной заливки, уж извините, проще ткнуть мышкой в фотошопе - не вижу тут прикладного смысла.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+4 +/–
	Сообщение от КО (?), 03-Апр-24, 08:55
	Что ты хотел от рандомного мусора из соцсетей
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	42. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (42), 03-Апр-24, 14:46
	Никто не создаёт модель на основе всего подряд, подготовка датасета — важная часть процесса.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (47), 03-Апр-24, 17:57
	Цепочка деградации источника знаний: учёный — научный журналист — журналист-новостник — Маша из Инстраграмма — нейросеть, обученная на машах-из-инстаграмма.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору

6. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+10 +/–
Сообщение от Вы забыли заполнить поле Name (?), 03-Апр-24, 00:19
Астрологи объявили увеличение времени для подключения живого оператора голосовым помощником.
Ответить \| Правка \| Наверх \| Cообщить модератору

8. "Databricks открыл большую языковую модель DBRX, опережающую ..."	–1 +/–
Сообщение от Аноним (8), 03-Апр-24, 00:22
>Например, лицензия запрещает использовать DBRX, производные модели и любой вывод на их основе для улучшения других языковых моделей, отличных от DBRX. Лицензия также запрещает использовать модель в областях, нарушающих законы и нормативные акты. Производные модели должны распространяться под той же лицензией. При использовании в продуктах и серивисах, которыми пользуются более 700 млн пользователей в месяц, требуется получение отдельного разрешения. Доказать, что другие модели тюнились с помощью этой - невозможно. С другой стороны - кто хочет и может натренировать свою модель - тому эта не нужна. Проконтролировать соблюдение этой несвободной лицензии тоже невозможно, а поскольку лицензия несвободная — то и соблюдать её необязательно. Зачем конторе такой самозашквар — не очень понятно.
Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+1 +/–
	Сообщение от голос из леса (?), 03-Апр-24, 00:36
	>> Доказать, что другие модели тюнились с помощью этой - невозможно Любая лицензия регулируется местным законодательством. Например в Китае на нее забьют. В Европе - нет. + В некоторых юрисдикциях сотрудники предпочитают не покрывать работодателя. А в других никто и не спросит.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (27), 03-Апр-24, 09:22
	Не думаю, что в Китае это используется. Ну хотя бы введите в поиске neural network differential operator и посмотрите Китайские источники. По имеющейся открытой информации, весьма скудной, кстати, им удалось в сотни тысяч раз (!) увеличить быстродействие и снизить требования к скорости процессорной группировки и дисковой памяти за счет совершенствования структуры нейронной сети и алгоритмов ее обучения. Что подтверждается и нашими выкладками и расчетами.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Дмитрий (??), 03-Апр-24, 09:52
	С чего это ты решил нельзя доказать?
	Ответить \| Правка \| К родителю #8 \| Наверх \| Cообщить модератору


	39. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (39), 03-Апр-24, 13:33
	В Весёлой Башне доказать можно что угодно. А для доказательства, что выхлоп сети был использован для тренировки, придётся сначала предоставить входы и дополнения. Входов - огромное множество, и доказывальщикам придётся угадать нужные, и при этом доказать, что с высокой вероятностью совпадение неслучайно. Конечно, можно потребовать от авторов любой конкурирующей сети доказательств, что их сеть не тренирована на основе выхлопа DBRX. Но для этого доказательства придётся перетренировать сеть. Это абсолютно неадекватное требование, дескриминирует всех ответчиков, и если с таким требованием прийти в суд, то любой небасманный суд тавой иса отклонит.
	Ответить \| Правка \| Наверх \| Cообщить модератору

10. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
Сообщение от Аноним (8), 03-Апр-24, 00:43
KYC-маразм в HuggingFace прогрессирует >You need to share contact information with Databricks to access this model >The information you provide will be collected, stored, processed, and shared in accordance with Databricks Privacy Notice. Погуглил - магнет для Gemma не ищется. Как и IPFS-ссылка. Странно. Неужели никто не перезалил до сих пор, лицензия ведь позволяет?
Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+2 +/–
	Сообщение от Аноним (42), 03-Апр-24, 05:15
	Ну ты вот не перезалил же.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от onanim (?), 03-Апр-24, 11:01
	ждём https://huggingface.co/TheBloke?search_models=dbrx
	Ответить \| Правка \| К родителю #10 \| Наверх \| Cообщить модератору

12. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
Сообщение от Ананоним (?), 03-Апр-24, 04:11
У кого-то дома есть 320GB ОЗУ?
Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+6 +/–
	Сообщение от Roman (??), 03-Апр-24, 06:21
	> У кого-то дома есть 320GB ОЗУ? Ну, если во всём доме, то...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (27), 03-Апр-24, 06:50
	У кого-то дома есть оптимизированные алгоритмы (серьезное усложнение структуры нейронов в узлах), что позволило обойтись 1 Гб ОЗУ.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	23. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (42), 03-Апр-24, 08:32
	И кор2дуо!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	26. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (27), 03-Апр-24, 09:16
	Обижаете. G530.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	64. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (64), 05-Апр-24, 03:07
	Не поверишь, но ещё в 2000-х в универе мы писали код для распознавания капчи на основе нейронок. Обойтись можно было парой мегабайт. Так что, твои алгоритмы вряд ли что-то более сложное, чем обыкновенный перцептрон.
	Ответить \| Правка \| К родителю #17 \| Наверх \| Cообщить модератору


	25. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+/–
	Сообщение от Аноним (11), 03-Апр-24, 08:56
	Ну, в принципе, 1 планка памяти до 512 сейчас, 256 уже есть. Но тут наверно 4 видеокарты требуется.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	35. "Databricks открыл большую языковую модель DBRX, опережающую ..."	+1 +/–
	Сообщение от vitektm (?), 03-Апр-24, 12:38
	пара компов с 128Гб и пара по 32Гб Раньше десктопные больше 128Гб не поддерживали ну так что 256/512Гб дома думаю реально, через пару лет. Ну или сейчас но старые процы с али. Ну и это вообще за недорого.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору