Банк Рефератов - Машины, которые говорят и слушают - скачать рефераты, бесплатно рефераты

Рефераты. Машины, которые говорят и слушают

Зак.480

последовательности понятийных дескрипторов, которую человек может произнести, не используя жесткого порядка следования этих дескрипторов. Такое представление совокупности дескрипторов - понятийного поля не только обеспечивает естественность запроса информации из базы данных, но и фактически не увеличивает времени поиска релевантной информации, так как при этом учитываются отношения между понятиями и используется иерархический принцип с ыниыой иерархией, обеспечиваемой перестраиваемой структурой дорического дерева. В связи с этим можно представить общую грамматику 6 формирования понятийного поля, включающего посведо-вательность предложений, которые дают информацию о структуре дег.криптов, в виде иерархически связанных граыиатик верхнего и нижнего уровней. (Процесс формирования свободных от ошибок словесных цепочек, полученных в результате автоматического распознавания слов и устного редактирования, рассматривать здесь не будем .) Грамматика верхнего уровня G" определяет общую структуру понятийного поля, а языки, обусловленные грамматиками нижних уровней б[ , конкретизируют порождение предложений на уровне формирования понятийных фраз. Грамматика G" допускает появление понятий (они выражены запросными фразами S^ ), формирующих смысл запроса, в произвольном чередовании. Иными словами, порождающая грамматика последовательности понятий - есть простей-вая грамматика типа 0 (по Хомскому), в которой нетерминальными символами vh являются обобщенный дескриптор понятийного поля (поисковый образ запроса) и понятийный уровень, а терминальными V - конкретное наименование понятий (названия уровней) ^ . Нетерминальный символ { обобщенный дескриптор понятийного поля j является начальным символом S в грамматике в", а правила вывода р сводятся к допустимости перестановок терминальных символов s.—^s-.такчто для понятий s,,Sg,...,5^ язык, обусловленный этой грамматикой, допускает К ' предложений длины К , в каждом из которых все понятия различны:

S, , S, , . . . , S„ ; ^ , s, , • • • , ^ ; 5,. S,, S, ,. .., 5^ .

Вообще говоря, грамматики типа 0 допускают бесконечное количество словесных цепочек (предложений) различной длины, составленных из терминальных символов. Если считать, что нас интересуют словесные цепочки с неповторяющимися терминальными символами, и представлять обобщенный дескриптор понятийного поля цепочками переменной длины J = f -L К , то число N возможных предложений, используемых для работы и допускаемых языком этой гр^матикм, ^^., ^^

Каждый из терминальных символов грамматики в° в свою очередь является начальным (и нетерминальным) символом порождающей грамматики второго уровня (7, , накладывающей или не нак-

ограничения на формирование предложений в t'-ru понятийного уровня (рис.2.3).

ладывающей ограничения на формирование предложений в рамках каждого t-ru понятийного ур

Рис. 2.3. Порождения тийных полей

Отметим, что в зависимости от особенностей терминального словаря каждого уровня и привычки пользователей к произношению фраз этого уровня на естественном языке порождающая грамматика с начальным (нетерминальным) символом, полученным на предыдущем уровне, может быть нулевого, первого, второго иди третьего типа, определяемого соответствующими правилами вывода.

Далее мы рассмотрим оценку грамматической сложности языка (с точки зрения автоматического распознавания речи) на уровне

формирования предложений с учетом произношения слов, являющихся

Go терминальными символами грамматики , и покажем, что означает

"подстройка под словарь и язык" в неадаптивных системах автоматического распознавания слов. Языки, определяемые грамматиками б", (7/, G',...,(?/,..., G^ (рис. 2.3), будем называть языками системы распознавания речи, подразумевая, что с точки зрения автоматического распознавания слова, являющиеся терминальньгми символами грамматики высшего уровня, также конкурируют между собой и определяют начальный символ сети (графа), которой представляется языком СРР.

2.2.2. Оценка сложности языка с точки зрения автоматичес-кого распознавания пословно произносимых предложений. Синтаксис и семантика языка СРР, определяемых грамматилаки {G^} , накладывают ограничения на порядок следования слов в предложении в характер возможных словосочетаний. Эти ограничения существенно облегчают задачу распознавания речи вследствие сокращения общего поискового пространства признаков.

Для приближенной оценки грамматической сложности языка СРР рассмотрим грамматику автоматического языка как наиболее простого и наиболее поддающегося количественному анализу.Грамматики Нулевого, первого и второго типов, как было указано ранее, также можно использовать для формирования предложений в СРР, однако их количественные характеристики подучить сложнее. и тому же ряд закономерностей, характерных дяя языков, оаисываяицихся грамматиками

большей сложности, можно выявить и на самом простом языке, относящееся к частным случаям языков нулевого, первого и второго типов и наиболее используемом при формировании предложений в современных системах распознавания речи.

Правила подстановки в грамматиках третьего типа (автоматных) имеют вид А = а В или А —- В , где А, В с 1^ и а, Ь (. \'i . Для языка СРР А и В характеризуют названия смысловых групп, а а , Ь - названия слов в смысловых группах - подсдоварях. Грамматика автономного языка определяется множеством внутренних состояний s„3 ,. . .,s^,..., ss и правилом перехода в следующее состояние .

Следовательно, после слова с номером i(n) из группы слов s с S может следовать слово из подсловаря s^, с s . Кроме того, заданы S и S - состояния, которыми соответствен

KG)

но начинаются и кончаются фразы. Например, предложение имеет структуру

l.(G)=S„v, v. ,.

где veS,, v, e S,, . т = /, 2, . . . , I

Оценим синтаксическую сложность автоматного языка средним коэффициентом ветвления К^р , который определяется средним числом возможных слов в каждой точке дерева ветвления:

К,

ср

i м -—Z К,

N l-i

(2.К)

количест-

^десь К^ - коэффициент ветвления в точке i ; N во точек ветвления.

Средний коэффициент ветвления удовлетворительно описывает синтаксическую сложность языка тогда, когда появления слов в предложении равновероятны.

Если средняя длина предложения /^д , то произведениями Z^„ «/<- можно оценивать грамматическую сложность рассматриваемых языков речевого запроса и даже в какой-то мере (очень приближенно) сравнивать точность автоматического распознавания пословно произносимых фраз. Но эта оценка не учитывает фонетических особенностей подсловарей. К тому же в реальных условиях различные слов8 словаря речевого общения имеют разные вероятности при формировании фраа. Для учета этих факторов будут использованы квазифонетическое представление поверхностных форм слов (см.п.2.2.2) и стохастическая порождающая грамматика, у которой задано вероятностное распредеаенме правил образований предложений рц из слов в

»аждой точке ветвления 1= 1,п нкя выполняется условие

При этом для всех точек ветвле-

(2.13)

где К- - количество возможных слов в точке I (коэффициент ветвления). Тогда вероятность получения фразы l(G)6i(G) в результате применения t правил подстановок равно произведению вероятностей примененных при этом выводе правил образования. Отметим, «то число слов, составляющих предложения, может быть различное И зависит от количества правил,примененных при формировании данного предложения.

Определим энтропию Н(/-} языка /(0) .Для этого обозначим через L^ множество всех фраз длины п слов, допускаемых грамматикой G:

через

ЮЛИЯ

р(^)

/ -и1^

^п-\Ч '•••'

f(n)

Лп) '-г '• • •

- вероятность

•s • • • • ' получения

фразы /(0)

)

языка речевого общения

(2.14)

if/)) f(n) •} ^ • • • • • '-г ' • • •)•

Тогда эн-

г(л)

н^-^, ^ ^О^/^О, (2.15) где Т - максимальная длина предложения. Естественно, что

(2.16)

г z pa^)=f.

/,., iyki, г

В случае, когда различные предложения, порождаемые грамматикой G , имеют разные смысловые интерпретации, тогда энтропия Языка характеризует его возможность передавать информации. В соответствии с теорией кодирования информации число возможных фраз языка с энтропией H(Z) будет 2н(t), и это значение определяет размер входного языка.

Для определения сложности (неопределенности) распознавания языка речевого обшения рассмотрим процесс распознавания предложения в виде последовательности распознавания слов из подсловарей данного уровня, размеры которых определяются коэффициентами ветвления К^ . Тогда для оценки сложности распознавания языка необходимо оценить сложность распознавания всех N подсловарей

этого уровня, где <V - число точек ветвления. Ранее, в п. 2.2.3, рассматривали, как можно оценить сложность распознавания словарей по фонетической структуре слов, поэтому здесь на этом вопросе подробно останавливаться не будем, а только отметим, что вероятность появления слова г^

вероятностью P(Vf, } применения'

в подсловаре i- определяется /с.-го правила подстановки в

каждом узле дерева стохастической автоматной грамматики. Имея условные вероятности р. (v^/Шс) ошибочного распознавания слов каждого из подсловарей и рассматривая CPF как канал передачи информации, определяем потери информации /„ду в случае распознавания предложений, произносимых пословно, следующим образом:

к к;

с?

Обычно интересуются, как распределены потери информации по различным понятийным уровням S^ и различным узлам графа, представлякщего автоматную грамматику уровня. Важно знать,в каком узле языка общения "тонкое место" и как его устранить.

Для общей оценки сложности распознавания предложений, которые произносятся пословно в соответствии с заданной грамматикой G , можно пользоваться выражением 2 "" , которое определяет среднее число возможных альтернативных фраз на входе в СРР. В случае, если СРР работает баз ошибок, при пословном произношении фразы на выходе системы всегда одно предложение.

Формула (2.17) оценивает сложность распознавания фраз языка речевого общения СРР. При этом отметим, что эта мера зависит как от фонетической структуры слов словаря, так и от грамматических правил образования предложений. В практических СРР при

распознавании языка необходимо, чтобы /„ была близка к нулю

^пот < ] порог • (РВД11118 ошибки при распознавании слов можно устранить словами устного автоматического редактирования .) Если это условие не удовлетворяется, то возникает проблема изменения языка, которая сводится к изменению словаря системы и/ияи грам-иатики языка с целью увеличения точности распознавания.Для этого можно либо использовать синонимию в подсловарях, имеющих наибольшую неопределенность, либо изменить грамматическую структуру предложения путем изменения грамматики G , которая используется как механизм сокращения области поиска, ограничивающей число приемлемых альтернатив.

г.3.3. Изменение языка в неадаптивных системах автоматического речевого запроса.Описанный во. 2.3.1 в общем видепоня-тийный язык речевого общения "человек - информационная систеыа" допускает его развитие на основе некоторого ядре или создание -не базе общих представлений о структуре языка. Суть развития этого языка ("подстройка под язык") сводится: к замене или увеличению числа терминальных символов грамматики в", определяющей появление, замену или уничтожение целых понятийных уровней, язык которых определяется грамматиками ^ ; к замене, уменьшению или увеличении числа терминальных символов грамматик G^ без изменения числа понятийных уровней.

Понятийный язык речевого запроса информации рассматривается как лингвистический процессор, который представяен комплексом Программ, обеспечивающим автоматический перевод устного текста в заданный момент для того, чтобы информационная система могла воспринимать (понимать) фразы, относящиеся к рассматриваемой пред-иетной области. Тогда задача "подстройки под язык" сводится к модификации (иди вообще построению) этого лингвистического процессора, который допускает только правильные, осмысленные пред-жижения, обусловяенные грамматики 6°, G,', <?,,..., <?/.

В соответствии с п. 2.3.1, задача построения такого лингвистического процессора, если заданы множества слов { у, , г^, . . . .... Уд,} словаря V описания данных информационной системы, формально сводится к построению некоторой функции

/ = <f> (v,, ^ , . . .. 1^ ),

где i v, , Vy , . . . , гГд. } б V , полностью определяющей работу «Ннгвистичесного процессора (семантико-синтаксического анализатора), который допускает только слова, являющиеся грамматически правильными в данном контексте.

Дяя этой цели фразы языка речевого общения представим в виде направленного графа с конечным числом состояний без циклов

(2.18)

Весь словарь (узлы графа) разобьем на I непересекающихся понятийных уровней, т.е.

V П V^ П . .. П V = О

(2.19)

Для указания связи между словами (узлами) понятийного графа строим матрицу смежности 2)= [и';,], которая распадается на

9Ь

D, ,Д,, . . . ,Д„, . . . ,^_, подматриц, где Д„ =(о^ б {О,/}) указывает смежность п-го и п+1 уровней графа 6(1/, Г). Тогда задача подстройки "под язык" заключается в задании

и/или изменении словаря языка речевого общения и матрицы смежности D > указывающей связь между словами понятийного графа.

Иными словами, частичная иди полная замена словари в неадаптивных системах распознавания фраз, составленных из изолированных слов и коротких словосочетаний на основе понятийных языков, описываемых грамматиками { 6°, G\, CJ, . . . , G^ } , приводит к изменению грамматик, к приспособлению понятийного графа к новым требованиям,

Замена терминальных символов {V- ^ грамматик {С/} производится записью в соответствующий массив, где хранятся эталоны старых слов, новых слов и квазифонетических поверхностных форм, представляющих эталоны нового терминального символа. Если используются программы автоматического порождения множества поверхностных форм по базовой форме слов (слова), определяющих новый терминальный символ, то дл.-: замены терминального символа (получения множества эталонов) требуется ввести лишь информацию о последовательности квазифонетических символов; запись новых символов можно производить аналогично описанному. Эталоны названий новых понятийных уровней вводятся так же,потому что они являются терминальными символами грамматики верхнего уровня G"• При введении нового уровня необходимо описать грамматику языка этого уровня и включить эталоны новых терминальных символов. Изменение матрицы смежности производится в зависимости от требований измененного языка, от новых понятий и новых взаимоотношений между словами понятийного графа. Если необходима замена правильных слов словами-синонимами, то никаких изменений матрицы смежности не производится. Оысл введения слов-синонимов сводится лишь в уменьшению 1^, (2.17).

Страницы: 1, 2, 3, 4, 5