Компания Google анонсировала (http://googleresearch.blogspot.ru/2016/05/announcing-syntaxn...) открытие исходных текстов фреймворка SyntaxNet, предоставляющего модель парсинга, описывающую синтаксис естественного языка. SyntaxNet может применяться для построения систем разбора предложений на естественном языке, в том числе в составе системы машинного обучения TensorFlow (https://www.opennet.me/opennews/art.shtml?num=43285). Более того, для TensorFlow опубликована уже натренированная модель нейронной сети "Parsey McParseface", пригодная для разбора текста на английском языке. Код открыт (https://github.com/tensorflow/models/tree/master/syntaxnet) под лицензией Apache 2.0.Система разработана в рамках проекта, основными задачами которого является придание компьютерным системам возможности читать и понимать человеческий язык. Возможности "Parsey McParseface" и SyntaxNet сравниваются со способностью пятилетнего ребёнка усваивать нюансы языка. Точность работы модели "Parsey McParseface" оценивается Google в 94%. Производительность SyntaxNet позволяет обрабатывать приблизительно 600 слов в секунду на обычном настольном компьютере. В качестве сопутствующих инструментов предоставлены средства для анализа лингвистической структуры предложений или высказываний, показывающие функциональную роль каждого слова.
Например, при разборе фразы "Алиса увидела Боба", Алиса и Боб определяются как объекты (существительные), а "увидела" как определяющее действие ключевое слово (глагол). Возможен разбор и более сложных конструкций, например "Алиса, читавшая про SyntaxNet, вчера увидела Боба в прихожей". "Parsey McParseface" и SyntaxNet дают возможность определить зависимости и связи между частями предложения, и ответить на такие вопросы, как кого увидела Алиса, кто увидел Боба, о чём читала Алиса и кода Алиса увидела Боба.
<center><a href="https://3.bp.blogspot.com/-M-7PIST2hq8/VzTFhESMeuI/AAAAAAAAA... src="https://www.opennet.me/opennews/pics_base/0_1463124403.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://4.bp.blogspot.com/-1Ntx47T1WvU/VzTF2HgbqrI/AAAAAAAAA... src="https://www.opennet.me/opennews/pics_base/0_1463123354.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>URL: http://googleresearch.blogspot.ru/2016/05/announcing-syntaxn...
Новость: http://www.opennet.me/opennews/art.shtml?num=44416
>Алиса, читавшая про SyntaxNet, вчера увидела Боба в прихожейПеревод незаметен. Это какой язык вообще?
А в чём дело? Нормальная фраза.Вот что я не могу понять - так это в чём величие. Подобное делается без всякой супералгоритмики уже многие годы, и скорость явно повыше, чем 600 слов в секунду - к примеру, чем-нибудь вроде http://aot.ru/cgi-bin/synan.py
Наверняка гугловцы что-то покруче сделали, но вот что именно - из статьи непонятно.
Разобрался. Их основное достижение - хорошее понимание всяких неоднозначных конструкций. То есть если предложение можно понять несколькими способами, выбирается тот же вариант, что выбрал бы человек. К примеру, в предложени "Боб зашёл в магазин с сумкой" сумка будет отнесена к Бобу, а не к магазину.
Однако фразу "Алиса зашла в магазин с сумочками" человек поймет совсем иначе.
Во всяком случае, женатый человек ;)
Ну вот поэтому туда нейросеть и приходится совать
Глупцы! Их британские коллеги достоверно доказали что женская логика не моделируется от слова напрочь! :-р
Логика не делится по половому признаку.
Женатый как раз поймёт не как ты :)
Как ты он поймёт фразу "Алиса вышла из магазина с сумочками" :-|
Но как говорил один султан: "Нет такой красавицы, чтобы стоила более половины состояния!" :-)
Вот как женился 14 лет назад - это помню.
А как мы с вами кого-то когда-то пасли - что-то вылетело из памяти...
Да, это просто очередной синтаксический парсер, на несколько процентов обгоняющий в качестве предыдущего чемпиона.
Ничего прямо сверхъестественного тут нет, но всё равно приятно, что Гугл открыл код.
> Ничего прямо сверхъестественного тут нет"Ви слишком много кушать" (С) Ширли-Мырли
Как то потихоньку многое о чём писали в НФ произведениях старого века - входит в жизнь и становится рутиной. У меня СМО тоже всю нетленку через речевой ввод набирает. И как то уже и не удивляешься :-/
Эффективные открытые парсеры существуют уже не менее десятка лет. http://maltparser.org, например.
SyntaxNet обгоняет предыдущие результаты на пару процентов, это прекрасно, но не то чтобы мир перевернулся.
Алиса из Купчино, читавшая за Syntaxnet, вчера контачилась с Бобом за гаражами.
> Алиса из Купчино, читавшая за Syntaxnet, вчера контачилась с Бобом за гаражами.А Аноним подглядывал и д**ч*л вприсядку. Гугель сраму не имёт, упражняйся сколько влезет, тебя всё равно распознают, про-индексируют и подвесят на крючок до нужного времени :-\
Мне показалось, или они сказали SkyNet ?
Тебе показалось. Это тихий мирный синтаксический разбор, просто по возможности корректный в присутствии неоднозначностей.
> Тебе показалось. Это тихий мирный синтаксический разбор, просто по
> возможности корректный в присутствии неоднозначностей.Таки почему ви нам заговариваете зюбы?!
Всё это юзается для анализа содержимого форумов, чата и потока мыла доступного Добро Inc. и уже давно. И не только Боборо, но у других зонты другие.
Сюрприз - это кто угодно может использовать. Открытого софта подобного рода полно, качество ненамного хуже, что при желании решается эвристиками для конкретной предметной области. Беда только в том, что для анализа надо хоть как-то понимать, что именно тебе нужно. А у большинства анонимов-параноиков с этим традиционные проблемы.
Параноики просто не в курсе, что Интернет - это удачный эксперимент по созданию "демона второго рода" Лема.
13.05.2016 10:18 Google открыл код SyntaxNet, системы восприятия естественного языка> Возможен разбор и более сложных конструкций, например "Алиса, читавшая про SyntaxNet,
> вчера увидела Боба в прихожей". "Parsey McParseface" и SyntaxNet дают
> возможность определить зависимости и связи между частями предложения, и ответить на
> такие вопросы, как кого увидела Алиса, кто увидел Боба, о чём
> читала Алиса и кода Алиса увидела Боба.Дежавю. //А у гугля голоса не открывали?
10 мая 2016 Разработчики революционного голосового помощника Viv показали своё детище в действии
"К примеру, Даг Киттлаус (Dag Kittlaus), который является одним из основателей новой компании, задал вопрос следующего содержания: «Будет ли завтра в районе моста Golden Gate теплее 70 градусов после 17:00?» В данном случае, конечно, подразумевались градусы по Фаренгейту (около 21°С). Viv понял вопрос и ответил, что не будет, приведя заодно сводку погоды, соответствующую запрошенному периоду.
Далее Киттлаус показал логические схемы различных запросов. Правда, подробно рассмотреть их на видео нельзя, но можно примерно понять, «логику мышления» Viv." --http://www.ixbt.com/news/2016/05/10/razrabotchiki-revoljucio...
пусть разберёт фразу:
косая с косой косила на косе
ушло слишком рано... так надо:
косая с косой косила на косе косой
Косой косой косил Косой.
Закосяча косячок, с косой косой в косой косе, Косец (косящатый косой косец (косок, косач, косарь) из Косы) косой косой Косого из Косы и Косая (косая косушка (косица) коса с косой косой в косой косе) косенькой косой Косы из Косы косо, косенько касаясь косой косы, наперекосяк от косой косы к косой косе, скосившись с покосившихся косых кос, кося на перекосившихся косуль на косой косе, косно косили некошеную косую косу за косарь, а скосив нескошенное, покосились на косую косу, косея от косяков — перекоса косьбы с косинкой
Хорошо! :)
Ну да, вроде того. Крупные компании играются в Big Data потому что их "немногим отличающиеся" модели строятся автоматом, с минимальным привлечением специалистов в конкретной узкой области. В отличие от тех старых простых систем, на создание которых тратилась масса усилий экспертов.
Почему не получилось? Получилось. Сам же говоришь, что "результат их применения немногим отличается от куда как более простых систем, созданных ещё в 60-е" - только для создания нынешних систем годы работы экспертов не нужны - только гигабайты и гигагерцы, а вычислительные ресурсы всё дешевеют.
> играясь с известными ему словами ("играясь"!!!
Товарищ, из какого зажопинского Мухосранска ты сюда взошёл?
Просто глаголу "играя" умышленно придали пренебрежительный оттенок. Вот и все.
> Просто глаголу "играя" умышленно придалиАга, ага. Пойди это своей бабушке на досуге расскажи.
Дерёвня Загадюкино вылезла из потцыента, натурально так вылезла, масштабно.
Можно не обращать внимания на запятые, на другие ошибки, но "играться" это за всякой гранью добра и зла - таг дажы падонке никагда ни выражалися.
Слово известно, употребляется широко, зафиксировано в словарях: http://dic.academic.ru/dic.nsf/ushakov/818678
А теперь начинай активно прокладывать ассоциации между этим словом и деревней. Заготовлю шаблон: "я жил в деревне, и там все говорили играться, значит употребление этого слова характеризует человека исключительно как деревенщину. Твой словарь - не словарь, ваши доказательства не доказательства, вы все врете, а приведу-ка я какое-нибудь матерное словечко из словаря, запощу ссылочку с многозначительным вопросом 'и че?' надо чекнуть биографию ушакова, может он деревенщина тоже был, где мой гуголь, жил ли ушаков в деревне. Ага-аа! таки жил! ну все, это очевидно деревенщина я же говорил!"
Думаю, со временем фразеологизм "метать бисер перед свиньями" постепенно будет вытеснен неологизмом "метать ссылки перед троллями".
Так или иначе, вы тратите усилия впустую. Пациент либо стебется, либо откровенно глуп - то есть в любом случае не стоит потраченного на него времени.
Из Библии (церковно-славянский текст). В Евангелии от Матфея (гл. 7, ст. 6) приведены слова из Нагорной проповеди Иисуса Христа (рус. пер.): «Не давайте святыни псам и не бросайте жемчуга вашего перед свиньями, чтобы они не попрали его ногами своими и, обратившись, не растерзали вас».
Слово «бисер» (так раньше на Руси назывался жемчуг) вошло з современную русскую речь из церковно-славянского текста Библии.
Часто цитируется по-латыни: Margaritas ante porcos (маргаритас антэ поркос). Перевод: Жемчуг перед свиньями.
Полагаю это вытеснено не будет. Ибо проверено временем и актуально до сих пор. Испытал на себе.
> Слово известно, употребляется широко, зафиксировано в словарях: http://dic.academic.ru/dic.nsf/ushakov/818678
> А теперь начинай активно прокладывать ассоциации между этим словом и деревней. Заготовлю
> шаблон: "я жил в деревне, и там все говорили играться, значит
> употребление этого слова характеризует человека исключительно как деревенщину. Твой словарь
> - не словарь, ваши доказательства не доказательства, вы все врете, а
> приведу-ка я какое-нибудь матерное словечко из словаря, запощу ссылочку с многозначительным
> вопросом 'и че?' надо чекнуть биографию ушакова, может он деревенщина тоже
> был, где мой гуголь, жил ли ушаков в деревне. Ага-аа! таки
> жил! ну все, это очевидно деревенщина я же говорил!"Ты сам-то по своей ссылке ходил?
Там вот чего сообщают:
> 3. обл. вместо играть в 1 знач. Дети играются в саду.
Обрати внимание на сокращение "обл.", это как раз он и есть - Зажопинск, Муухосранского района Закудыкинской области.
Спасибо конечно, за лишнее подтверждение, пруфы лишними не бывают.
Говорят говорить говори говорю.
Управляемое управление управляется с места водителя. (из лекций на военной кафедре)
Совершенно однозначная фраза, кстати, здесь и нейросетка не нужна
Ну военные же! Там так и болжно быть, чтоб "без тени сомнения" ...
ТовариЩЩ боец! Приказываю копать от забора и до обеда! :)
Да плевать на такие примеры. Тут и человек не сразу разберётся, если разберётся воообще. На практике смысла в поддержке извращений - никакого.
Русский поддерживается?
> Русский поддерживается?Если обучить на размеченном русском корпусе, то будет поддерживаться.
Авторы выложили модель только для английского.
И добавить модель русского синтаксиса - нейросеть там только поверх анализатора, для разрешения неоднозначностей.
"Модель русского синтаксиса" нужна только в том смысле, что люди-аннотаторы должны договориться, как им размечать обучающий корпус. И это давно сделано (http://www.ruscorpora.ru/instruction-syntax.html).
Теперь нужно только гугловский алгоритм обучить на этом, и посмотреть будет ли он работать лучше, чем уже существующие парсеры.
Хм, действительно они и парсер на нейросетях сделали... Но зачем? Отдать выбор наиболее вероятного варианта нейросетке - это логично, но парсеры же есть для всех значимых языков на нормальной алгоритмике, и работают с весьма приличной скоростью.
> Хм, действительно они и парсер на нейросетях сделали... Но зачем? Отдать выбор
> наиболее вероятного варианта нейросетке - это логично, но парсеры же есть
> для всех значимых языков на нормальной алгоритмике, и работают с весьма
> приличной скоростью.Весь синтаксический парсинг - это и есть "выбор наиболее вероятного варианта". Rule-based парсеров уже давно не осталось, все работают на машинном обучении. И нейронные сети показывают результат чуть лучше, чем другие алгоритмы. Поэтому их и используют.
> Я забронировал билет в Google" воспринимается как покупка в Google, а не как билет для доступа в GoogleА я вот не знал что в гугл можно совершить покупку и подумал о тракторе. Анализатор какой-то политически ангажированный.
Хех, и гуглтранслейт тоже не знает что в гугле можно купить билет.
Нет, просто ты к той аудитории, на текстах которой оно было обучено, отношения не имеешь.
Эт как бы сунуть в гугл билет бумажный, а вынуть бронированный? Чтобы не мялся наверное?
А куда совать то? ... "Госпрода офицеры - молчать!"
На русском не заработает. :)) Сдохнет на фразе "да нет наверное".
Задорнов, залогиньтесь.
