URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 132850
[ Назад ]
Исходное сообщение
"Google открыл код AI-системы Magika для определения типа содержимого файлов"
Отправлено opennews , 16-Фев-24 10:45 
Компания Google объявила об открытии кода проекта Magika, предназначенного для определения типа содержимого на основе анализа имеющихся в файле данных. Magika может точно определять в содержимом используемые языки программирования, методы сжатия, установочные пакеты, исполняемый код, виды разметки, форматы звука, видео, документов и изображений. Связанный с проектом инструментарий и готовая модель машинного обучения опубликованы под лицензией Apache 2.0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=60611

Содержание
Сообщения в этом обсуждении
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 10:45 
Это как раз та область где просто нужна база магических слов (примерно как и MIME) и никакого машинного обучения не нужно.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено test , 16-Фев-24 11:47 
каких еще слов ? Вроде в конце имени файла есть расширение которое ...
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:34 
Которое не всегда есть и не всегда однозначно. Вот, например, .txt - это и просто текстом может быть, и конфигом cmake может оказаться.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено test , 16-Фев-24 15:13 
Как будтто .mc файл это не текст.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено чатжпт , 16-Фев-24 15:05 
Т.е. что конвертнуть pdf-книгу в фильм надо просто переименовать файл в m4v? Ну ок
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено test , 16-Фев-24 15:14 
Это тут причем ? Не давай расширения от балды и все будет нормально.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Другой анон , 16-Фев-24 19:24 
Внезапно, но изменение расширения может сделать зловред или хакер. И что тогда будете делать?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 00:40 
Заранее голову включать.

Но топик новости хороший как упражнение с AI и пример использования с точными размерами базы и т.д. Просто это можно применять для другого: мелкие утилиты для конкретных целей, вместо кросс-континентальных ДЦ.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Sergey , 17-Фев-24 09:46 
И что ? Это в какой нибудь винде и в линухе с каким нибудь ДЕ это может и повлиять, в любом случае это проблема той проги что это запустит.
Отгпдай что означает x в маске файла rwx.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено чатжпт , 16-Фев-24 20:56 
> Это тут причем ? Не давай расширения от балды и все будет нормально.

ты с Дос на Вин3.11 уже обновился или еще нет?

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:17 
А чтобы сделать перевод на иностранный язык - просто заменить буквы. А разве нет?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 22:25 
Бухгалтеры год за годом так и делают =)
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено чатжпт , 16-Фев-24 15:10 
Т.е. что конвертнуть pdf-книгу в фильм надо просто переименовать файл в m4v? Ну ок
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:22 
Всегда было интересно, зачем люди, ничего кроме винды не видевшие, ходят сюда?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Qq , 16-Фев-24 16:38 
Последние версии винды, кстати, точно уже не на одно расширение смотрят, а способны учитывать заголовки внутри содержимого
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Sergey , 16-Фев-24 17:19 
Я понимаю что сегодняшнии мощностей компьютеров девать некуда.
Покажи хоть один дистр где не deb, rpm, .h, .c и еще много чего.
Зачем было делать обложки у книг, проще заглянуть внутрь
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:27 
Заголовок ещё в DOS учитывался. От переименования COM в EXE и наоборот система в ступор не вставала.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 12:15 
Ну почему, для фильтрации писем - самое то.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено anonymos , 16-Фев-24 12:57 
Иногда, лучше жевать - чем говорить!

~ $ echo "Hello woodpecker" > test.txt
~ $ rar a test.rar test.txt
~ $ cat image.jpg test.rar > result.rar # Что получится ?
~ $ mv result.rar result.img # Что получится ?

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено timur.davletshin , 16-Фев-24 13:10 
Иногда лучше начать с изучения пунктуации.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:41 
Архивируешь в Линуксе RAR'ом? Фууу... фиии. Есть же открытый 7zip.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 14:28 
Винрар столь данных с тебя собирает при приобретении разрешения, что чисто из чуйства противоречия все должны использовать консольный )
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено pfg21 , 16-Фев-24 15:48 
если зреть в корень, то в рар5 формате есть поддержка unix атрибутов файлов, неполная чтоль жаль, без спец.файлов, но чтото есть.    
в исходниках 7zip же нет ничего кроме винды :)    
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 16:33 
*.tar.7z
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено pfg21 , 16-Фев-24 17:26 
> *.tar.7z

не смеши мои тапочки :) использования в качестве сериалиазотора файлов утилиты по управлению ленточным накопителем это жуткий костыль. архив без индекса во множестве применений неудобен. если уж думать в сторону универсального функционального архива, то сейчас есть squashfs который по возможностям превышает большинство имеющихся.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено _ , 16-Фев-24 20:12 
Дык ... эта(С) ...  

tar есть на всём что хоть как то проходило рядом с *unix* !

... оно впрочем и под полуоЗЗЪ есть и под форточки, и под голубятню вашу и под ХЗ что ещё!
    ( Не ну а фиг ли ты хотел от софта на "дыряшечке" написанного пенЗионЭрами ;-Р )
... и до сих пор чуть ли не единственный кто аккуратно работает со всей этой помойкой :)
... включая ленты, да!!!!
    ( И они щуко(!) оказывается - ещё есть! Вот в понедельник осчастливили что мы раним тыщЩщу лент и "не желаете ли пошредить к еням"? :) А как? Не прочитав то? Там фин. инфа. У одменов инсульт :) )


Твой же squashfs есть у тебя и ... и ... оппа :)

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено pfg21 , 19-Фев-24 18:44 
>  tar есть на всём что хоть как то проходило рядом с *unix* !

ага, это единственный его плюс, всё остальное - минусы :)

> Твой же squashfs есть у тебя и ... и ... оппа :)

поддержка есть в куче систем, формат потихоньку пробивает себе дорогу.  
как и тар когда-то воевал с другими сериализаторами.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 18-Фев-24 16:49 
7z - это и архиватор, и компрессор. использовать в добавку tar не надо. Или это была шютка юмора?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 18-Фев-24 19:33 
Если хотеть архиватор, сохраняющий больше метаданных, чем 7-zip, то не шутка. Если сторониться победы unix way над здравым смыслом, то есть ещё dar (попытка заменить tar) и wim (кроссплатформенный из-за wimlib).
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 19:40 
> в исходниках 7zip же нет ничего кроме винды :)    

"/* p7zip stores posix attributes in high 16 bits and adds 0x8000 as marker..." - 7zMain.c

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:28 
Пока в 7zip не будет информации для восстановления, рару замены нет.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 19:43 
MultiPar правильно воспринимает par2, прицепленные к архивам (и цеплять умеет).
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 22:27 
Ничуть не сомневался, что какой-нибудь костылинг предложат.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 22:51 
Всегда пожалста.

У par2 есть свои плюсы - открытый формат, множество реализаций, отсутствие привязки к типу архива.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено pfg21 , 19-Фев-24 18:46 
> У par2 есть свои плюсы - открытый формат, множество реализаций, отсутствие привязки
> к типу архива.

и практически нулевая распространенность :) да и с развитием par херово, для использования в винде к примеру пришлось долго его искать.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:52 
> Это как раз та область где просто нужна база магических слов (примерно как и MIME) и никакого машинного обучения не нужно.

В тексте же прямо написано, что магические слова на 50% чаще ошибаются, и что именно машинное обучение нужно: «Задействование методов глубокого машинного обучения позволило на 50% повысить точность определения по сравнению с ранее применявшейся в Google системой на основе вручную заданных правилах».

Но проблемы нет, сделай свою систему на магических словах и утри нос уже этим гоголям. Нарасхват будешь!

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Kuromi , 16-Фев-24 20:26 
Trid это вот и делает. Причем много-много лет как, так что такое вот достижение.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Alladin , 16-Фев-24 10:45 
binwalk отдыхает?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено EuPhobos , 16-Фев-24 11:28 
binwalk хорош тем, что показывает структуру бинарника, с адресами где какие данные начинаются и какой длины.

upd: протестировал, магика даже рядом не стоит с binwalk.

Сдампленный бинарник из микросхемы SPI купленный на алишке:
Магика: - это ISO cd-rom!
Binwalk: - это суп из:
LZMA compressed data,
uImage header, header size: 64 bytes,
Linux kernel ARM boot executable zImage
Squashfs filesystem, little endian, created: 2019-07-18 13:59:01
Zlib compressed data,
Linux, CPU: ARM, image type: OS Kernel Image, compression type: none, image name: "Linux-3.10.90"


С адресами и размерами блоков.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 14:13 
> Сдампленный бинарник из микросхемы SPI купленный на алишке:
> Магика: - это ISO cd-rom!

А классные у вас там на алиэкспрессе сидиромы то :)

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено похнапоха. , 16-Фев-24 15:22 
Неплохой результат. Нейронки вообще крайне полезная вещь, но иногда её пихают не туда куда надо, например в зубную щетку, которая "научилась" выключаться после минуты использования, ибо у меня нет времени и желания утром спеша на работу, тратить больше времени на чистку, но когда мне действительно надо почистить больше минуты, это выключение раздражает, черт побери, мне не лень коснуться пальцем кнопки выключения тогда, когда МНЕ НАДО, а не тогда, когда "умная" счетка считает это нужным, типа "научившись"!
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено fidoman , 17-Фев-24 13:57 
удивительно зачем нейронка там, где нужен только датчик ускорения и таймер... и включаться так же можно.
видимо просто для того, чтобы громко написать буквы ИИ на упаковке и бодро трындеть об этом в рекламе.
та же проблема с телефонами, из которых убрали датчик уха и поставили "ИИ"... и которые теперь либо не выключают экран, либо включают в самый неподходящий момент.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 10:47 
У ibmagic емнип под сотни мс на каждый файл выходило, так что "5-6 мс" не так уж плохо.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:44 
Но это 5-6 мс нейронки. А это не то же самое что 5-6 мс алгоритма.
Тут надо смотреть на качество ответа.
С таким же успехом можно и алгоритм подкрутить в духе "отвечай за 4мс, если не успеваешь отдавай рандомный ответ из непроверенных форматов".
Ну и справедливости ради можно и нейронку подкрутить поставив на выходе вторую нейронку "убедись что ответ с высокой вероятностью правдив" и увеличив время выполнения до бесконечности.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено амоним , 16-Фев-24 19:30 
ананим фантазирует?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено fuggy , 16-Фев-24 23:06 
Нужно сравнение всех инструментов. Сколько сигнатур умеет file? Тут заявлено 161, а на остальных оно отвечает не знаю, тогда о каких 99% точности можно говорить.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 23:21 
Сложно сказать, но вроде не так и много. Многие файлы не распознаёт, опять же (даже на обычном utf-16 обламывается) или распознаёт с ошибками. Зато куча доисторических форматов прямиком из 70х, которые никак не встретишь сегодня, неплохо бы дропнуть их и сравнить производительность.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено pelmaniac , 16-Фев-24 10:48 
Подавляющему большинству не нужно проверять мульёны файлов с сек.
Оно хоть лучше apache tika? Которое умеет не только тип определить, но и text вытащить.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 10:53 
Ну вот открываешь ты файловый менеджер… А, нет, вот открывает подавляющее меньшинство файловый менеджер, и хочет видеть в нём распознавание по типу файла, ну, чтобы не открывались видеофайлы в текстовом редакторе. Вполне типичная задача. Если текущие решения не способны обеспечить надёжное распознавание, самое время их заменить.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Уть , 16-Фев-24 10:59 
Говорят, есть утерянная технология древней цивилизации, называется "расширение", позволяет идентифицировать тип файла, просто взглянув на него, и ваще что-то невероятное - запускать нужную программу для открытия файла автоматически!
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:03 
Так это только в досе было и в некоторой мере в венде, тогда просто не было вариантов. Сегодня уже как-то неактуально. Не вспоминая уж про любителей переименовывать jpg в png и наоборот (а это разные либы).
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:23 
До сих пор такое с завидной регулярностью встречается.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 14:29 
В Линукс?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:32 
Картинки из интернета.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 20:34 
> Сегодня уже как-то неактуально.

Звучит как "назло виндоводам отморожу уши". Ты хочешь прикрутить ИИ для того, чтобы он тебе подсказывал "это tar, сжатый xz". А может проще дописать ".tar.xz"? А с текстовыми форматами-то какое веселье будет - C или C++, заголовочный файл или нет, субтитры или логи, JSON или JSON5...

Расширения файлов продолжают использоваться, потому что полезны людям.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 21:13 
Я очень сомневаюсь, что любой ИИ в принципе справится с этой задачей без извлечения файла неизвестного размера. А так, каждый день я вижу зип-файлы переименованные в рар, рар переименованные в 7з и так далее. Видно, как они полезны людям.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 22:00 
Ну да, полезны. Они хотя бы их не удаляют со словами "сегодня уже как-то неактуально" и ошибаются лишь в пределах ассоциаций с одной программой.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:11 
Сейчас система сама определяет что ты и как открываешь пример тот же мак.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:23 
Отчёт.doc.exe, да, молодость…
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:25 
А теперь представь: десяток тысяч файлов, вытащенных с поломанной файловой системы, с именами вида file0000.chk (или как их восстанавливающий софт назовёт), очень полезно тут расширение, да.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено похнапоха. , 16-Фев-24 15:46 
Для десятков тысяч файлов нужно использовать нормальные ФС, и нормальные стораджа, тогда после проверки условным fsck помятой ФС не будут появлятся подобные файлы...
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:33 
А теперь добро пожаловать в реальную жизнь. А ещё кроме побитых ФС встречаются побитые накопители, и никакая нормальная ФС тут не поможет.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:47 
Добро пожаловать в клуб экстрасенсов, которые предскажут данные по 0% исходных. В остальном все просто - если данные есть (пускай и в соседних блоках или можно исправить по кодам или читается один раз из 100), то их можно восстановить (другое дело что не для каждой ФС есть удобный инструмент).
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 19:32 
Вот для создания удобного инструмента такая библиотека очень и пригодится.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Qq , 16-Фев-24 16:41 
Времена изменились, больше расширению доверять нельзя. Вернее можно, но нельзя чтобы доверие было абсолютным
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 20:31 
А ещё некоторые забывают, что под одним расширением могут скрываться совершенно разные файлы. Вот IMG — это что? Или RAW? Или DAT?
А ещё (игроделы любят) давать свои расширения стандартным файлам.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:27 
Подавляющему большинству оно вообще не нужно. А это для того, кому нужно.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено 12yoexpert , 16-Фев-24 10:57 
а я, старый, file пользуюсь
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:21 
Даже старый ДОСовский FA был лучше, чем file.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:17 
Количество типов файлов несравнимо.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Вован , 16-Фев-24 13:50 
Ха, тут ещё про TrID можно вспомнить.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено garrick , 16-Фев-24 11:00 
А теперь любое ПО можно AI-системой называть?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:10 
Претренированная модель звучит не так красиво, а так ml в различных представлениях много где встречается. Проблема в том, что доверять им нельзя по факту (при этом, поставщик вполне может успешно решать свои задачи, но это его задачи и его модели, тренированные на его датасетах).
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:09 
Очень хорошая вешь, давно хотел сам такую работу сделать. Но у меня ни дейтасетов, ни железа, ни глубокого понимания работы нейросетей нет.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:13 
Ни применения потому что ты итак знаешь что и как открывать, естественным интеллектом.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:23 
Мне для других целей. И по-видимому вообще другое. Подробности плана знают немногие люди, тут светить не буду, а то ещё кто-нибудь вместо меня сделает.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:00 
> кто-нибудь вместо меня сделает

Что значит "вместо меня"? Судя по вашему комментарию, вы это делать не собираетесь, так как у вас ничего нет.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:12 
Ну собираюсь, но когда-нибудь, когда необходимые ресурсы, знание и финансирование будут. Моя идея на порядки круче чем то, что тут сделали.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:19 
Лучше подумай, как сделать дешевле. Круче никому не интересно, надо эффективнее.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:30 
То, что я хочу сделать, для моего применения и есть эффективнее.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:49 
> То, что я хочу сделать, для моего применения и есть эффективнее.

Ну, если только твоего - тогда тебе это и оплачивать, очевидно.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:49 
Заходит изобретатель в бар и говорит:
Знаете, у меня есть гениальная идея, но я вам ее не расскажу...
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:19 
Подсунул бинарь с float-ами, а оно его вообще никак не распознало - размазало по 1 проценту на все типы файлов, лол
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено 12yoexpert , 16-Фев-24 11:20 
ты б ещё бинарь с байтами подсунул
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:26 
А если с битами!
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:51 
Распознал бы как бейсбольные_биты.jpg
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:40 
> Распознал бы как бейсбольные_биты.jpg

У них в ассортименте вроде только пожарные гидранты, школьные автобусы, переходы и велосипеды. Ну вот такой странный мир у гугла - состоит из вот этого вот. Бейсбольных бит в мире гугла не существует.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 18:04 
Ну вообще то ещё светофоры бывают и иногда легковушки. Грузовиков вот тоже не видел ни разу.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:20 
>[tool.poetry]
>name = "assets-generation"

Они там совсем крышей поехали со своими Poetry и  venvами. Впрочем, для гуглага этот идиотизм характерен, те же Bazel (которым собирают почти все проекты гуглага, котгрые надо защитить от грязных рук сообщества, чтобы палки в колёса не ставили) и сборочная система андроида следуют тому же паттерну

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 12:17 
А как ты управляешь virtualenv'ами? Вручную?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 12:32 
Я говно не кушаю. venv использую только для тестирования бутстрапа своего пакетного менеджера с нуля при нуле установленных пакетов.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 13:19 
[quote]для тестирования бутстрапа своего велосипеда[/quote]

я поправил

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:31 
Любой де-факто стандарт был когда-то велосипедом.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:42 
> Они там совсем крышей поехали со своими Poetry и  venvами.

Он художник^W, он поэт, он так видит. Хотя реально за@#$ли господа из гуглы тянущие свой местечковый шитец в котором кроме них никто не рубит. Смысл в опенсорс такое вываливать - около плинтуса.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:19 
poetry - это не поделка гугла. Это хипстерская система пакетирования, используемая поехавшими хипстерами, завязанная на venvы и не следующая стандарту PEP 621.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 19:50 
Не выпендривались бы и сделали на мейкфайлах, чтобы анониму было удобно.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:27 
Вероятно эта штука нужна для того, чтобы гугл сканировал файлы на гугл-дисках пользователей. Например, искать там что-то незаконное или то, что то, что их интересует.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:35 
да, искать незаконное они умеют
http://opennet.ru/opennews/art.shtml?num=56574
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено похъ , 17-Фев-24 20:20 
ну так вот вам и ответ, как они это там нашли.

Причем поскольку жаловаться некуда - этот успех тоже записали в 99% точность определения - ведь file не находил ничего незаконного в единичке - а это-то чудо - вот, нашло!

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:40 
Незаконное их если и волнует, то в последнюю очередь.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:33 
>import dotenv

Ещё один признак поехатости. Какие-то придурки придумали хранить "переменные окружения" в локальной папке в специальном файле вместо использования механизмов ОС и оболочки для переменных окружения. А гугл — заюзал это дерьмо.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:41 
У виндузятников нет механизмов ОС.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:58 
>set A=b

А это что?

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено n00by , 16-Фев-24 12:14 
Читать документацию, похоже, умеют одни виндузятники.

Чтобы программно добавить или изменить системные переменные среды, добавьте их в раздел реестра HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Session Manager\Environment

https://learn.microsoft.com/ru-ru/windows/win32/procthread/e...

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:44 
> добавьте их в раздел реестра
> HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Session Manager\Environment

Виндовс очень дружественная к пользователям система, кули...

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:35 
Рулить переменными окружения через гуй ещё начиная с XP можно.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено n00by , 17-Фев-24 10:17 
>>> У виндузятников нет механизмов ОС.
>> добавьте их в раздел реестра
>> HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Session Manager\Environment
> Виндовс очень дружественная к пользователям система

Значит надо было набросить "монструозный механизм ОС", а не исходную ересь.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 12:18 
Какого ты плохого мнения об авторах Bash. Зачем они хранят переменные окружения в bashrc?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 12:31 
bashrc - ъто стандартный способ, .env - это васяноподелка.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:36 
Очень стандартно, а если у меня оболочка нестандартная? Zsh тоже оттуда читать будет?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:21 
кажется был ещё какой-то файлик, но я добавляю в bashrc. zsh не имеет смысла без oh my zsh — помойки скриптов от кого попало.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:34 
>from magika import magika, prediction_mode

Кто-то либо не умеет в импорт через точку, либо не осилил DRY-принцип.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:36 
>Magika = magika.Magika

Также кто-то не научился правильно пользоваться from ... import

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:43 
>   for path in tqdm(paths, disable=self._disable_progress_bar):

Они там долбанулись в БИБЛИОТЕКЕ для использования в программах использовать TQDM (либу для рисовки прогрессбара в stdout, а также GUI-прогрессбаров).

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 12:20 
Надо было Rich сразу импортировать. У него звёзд в гитхабе больше.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:48 
>def _extract_features_from_path(
>def _extract_features_from_bytes(
>почти одинаковый код

Кто-то не умеет в mmap.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:46 
Питонисты никогда не умели в posix api. Поэтому все эти supervisord, celery и os.path цветут пышным цветом и отравляют жизнь нормальным людям.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:22 
это не posix api, а кроссплатформенное. просто имя совпадает.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:49 
Файлы ресурсов из игр сабж может потрошить? Почти у каждого такого файла своя неповторимая структура.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 11:55 
Нет, не умеет. Извлекаются блоки байтов из начала файла, конца файла и середины. На них обцчается нейронка. По-видимому выдаёт только классы. Просто крайне узкоспециализированный кусок говна.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Анонист , 16-Фев-24 12:03 
Что-то мне сдаётся, что для этой задачи AI - абсолютный оверинжиниринг. Неуж-то бы дожили то того, что теперь вместо фреймворков везде на каждый пук будут пихать AI?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 12:08 
Для моей задачи ИИ никак не оверинжиниринг, а вообще единственный вариант.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:53 
Если бы сейчас не было распространения нейросетей, а ваша задача стояла, то как бы вы поступили? Сразу сдались бы?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:56 
Делал бы как и раньше, и как и сейчас делаю.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:45 
Дедам годилось, и нам сгодится!
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:23 
нет, не сгодится, к сожалению.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Quad Romb , 16-Фев-24 14:00 
Типов файлов очень много - врукопашную умаешься правила на все писать.
И каждый год количество этих типов подрастает.
Так что если такой классификатор ресурсов ест немного, то имеет право на жизнь.

Но, думаю следующим этапом будет автоматизированное создание вот по таким обученными сетям классификаторов на основе быстрых деревьев.
Потому что главная проблема в этих штуках, что их никак не заставишь явно размотать, на основе чего они отнесли объект к тому или иному классу. Да, и корректировать поведение деревянного классификатора гораздо-гораздо легче.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 12:11 
Как всегда в репертуаре гугла — ради нескольких свистоперделок требуется одна из наиболее свежих версий питона.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Пряник , 16-Фев-24 12:22 
Слазь уже со второй версии 😂
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 12:35 
Я никогда не сидел на второй версии и мой софт её никогда не поддерживал.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:33 
Вполне законно, никто не будет писать на доисторической версии по своей воле. Тем более, в случае с питоном, существует только последняя версия. За последние лет 10 проблемы совместимости были практически только с асинхронным кодом и кривыми биндингами, поэтому лично я не вижу ни одной причины поддерживать копролиты.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:54 
Да там и по остальным признакам видно, что авторы халтурят.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 15:17 
Вроде, ничего криминального. Ну poetry с ruff и всё остальное вряд ли, но имеют право.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 18:25 
если выкинуть ненужные свистоперделки, то и на более ранних пойдёт.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 19:01 
Более ранние, чем 3.8? Ты сейчас серьёзно? Это абсолютный минимум во всех проектах, причём, объективно, должно быть хотя бы 3.9. В коде просто тонны легаси из-за этой поддержки доисторических версий.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено n00by , 16-Фев-24 12:30 
Зачем это на VirusTotal? Гугл хочет решать, кто из вендоров получит образец?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 13:14 
Посмотрел список "116 типов данных" по ссылке: какой-то особой экзотики не бросилось в глаза, заметная часть из них однозначно детектится по сигнатуре/заголовку.
Когда-то писал приблуду для проверки типов бинарных файлов, для распространённых форматов зачастую хватало прочитать 8 байт, для некоторых форматов понадобилось побольше, до 16 байт, и только в одном случае 30.
Вот с текстовыми посложнее, это да, хотя и тут есть тот же шебанг, теги XML и HTML.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Вы забыли заполнить поле Name , 16-Фев-24 15:26 
Лучшее расширение для гуглопчты или драйва— это зашифрованный архив tar.gpg.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Вы забыли заполнить поле Name , 16-Фев-24 17:18 
Радует, что новый питонячий код с аннотациями типов пишут.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 17:48 
Что радует, то, что в number теперь можно сунуть string или то, что в питоне процветает карго культ статической типизации?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 16-Фев-24 23:07 
> в number теперь можно сунуть string

Так написал, будто это что-то плохое

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Вы забыли заполнить поле Name , 16-Фев-24 23:32 
> Что радует, то, что в number теперь можно сунуть string или то,
> что в питоне процветает карго культ статической типизации?

Что популярность указания типов в питоне станоавится таким же как в typescript.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 00:44 
> Что радует, то, что в number теперь можно сунуть string или то, что в питоне процветает карго культ статической типизации?

Учитывая, что даже AI иногда чушь порет, типизация - добро всё ещё. Ибо блокирует характерные ошибки, а AI тоже кодер не очень пока ещё.

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 07:43 
Питон испольняется на виртуальной машине. Вопрос, зачем интерпретируемому языку программирования понадобились типы?
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 17-Фев-24 10:59 
Типы облегчают тестирование и сопровождение кода. То есть, они нужны человеку, а не языку программирования.
"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Вы забыли заполнить поле Name , 17-Фев-24 21:51 
> Питон испольняется на виртуальной машине. Вопрос, зачем интерпретируемому языку программирования
> понадобились типы?

1. Эта информация исользуется и доступна в рантайме: dataclasses, pydantic
2. Типы можно проверить до запуска (как в typescript), а в рантайме игнорить. Это разные вещи.
3. В python добавили экспериментальный jit https://github.com/python/cpython/commit/f6d9e5926b6138994ea...

"Google открыл код AI-системы Magika для определения типа сод..."
Отправлено Аноним , 21-Фев-24 20:00 
Языку программирования ничего не нужно, "он же памятник!" (с)
Объяснять зачем нужны типы бессмысленно - программисту это и так понятно, остальные поймут на первом курсе. Или не поймут.