Нейронные языковые модели осваивают лексическую замену
13 мая 2021 17:40 #102512
от ICT
ICT создал тему: Нейронные языковые модели осваивают лексическую замену
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены. Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении "Пётр Ильич Чайковский – великий русский композитор" слово "великий" можно заменить синонимом "выдающийся". В предложении "Мой брат − профессиональный теннисист" слово "теннисист" можно заменить на гипероним "спортсмен" (т.е. слово с более широким значением), а вместо фразы "Я сегодня на машине" автомобилист вполне может сказать: "Я сегодня на колесах" (слово "колесо" является меронимом, т.е. понятием, обозначающим составную часть целого предмета). Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится "овладевать навыками" индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста. Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ им. М.В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом "среда" в значении "окружающая среда" или "день недели"). По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и т.д.), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены. "Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста", − отмечает Александр Панченко.
Ссылка на источник
Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.
Похожие статьи
Тема | Релевантность | Дата |
---|---|---|
Выстроить нейронные связи бизнеса | 9.58 | Пятница, 19 апреля 2019 |
В ICQ для Android появилась обработка фотографий через нейронные сети | 9.27 | Среда, 24 августа 2016 |
Для чего в маркетинге сервиса "Пакет" от Х5 применяются нейронные сети | 9.27 | Среда, 30 августа 2023 |
«Одноклассники» осваивают денежные переводы | 9.26 | Вторник, 02 февраля 2016 |
Ведомства с удовольствием осваивают ИТ-бюджеты | 9.26 | Среда, 18 ноября 2020 |
Нейронные сети помогут Яндексу строить краткосрочный прогноз осадков | 9.18 | Суббота, 17 декабря 2016 |
Пенсионеры Калмыкии осваивают интернет с «Ростелекомом» | 9.16 | Пятница, 15 июля 2016 |
Заказчики Москвы осваивают электронные способы закупок | 9.06 | Вторник, 07 августа 2018 |
Eset: авторы банковского трояна Dridex осваивают новые рынки | 8.87 | Вторник, 06 февраля 2018 |
В Стэнфорде осваивают перенос эмоций на видео знаменитостей по аналогии с белорусской программой MSQRD | 8.68 | Понедельник, 21 марта 2016 |