Ключевые слова, идентификаторы, лексемы отделяются друг от друга пробелами, от специальных символов разделение не обязательно.
Возможные для использования символы:
буквы: а..я, А..Я, a..z, A..Z;
символ, разрешенный при написании имен: _
элементы разделения: , ; : пробел
разделитель целой и дробной частей в вещественных числах: .
выделение текста: ?
знаки операторов: + - * /
комментарии: { }
расстановка приоритетов: ( )
знаки сравнения: > < = >= <= <>
признак окончания программы: .
Цель создания программы LEXAN состоит в том, чтобы научить студента производить разбор текста программы на составляющие ее лексемы в соответствии с заданной БНФ, при этом правильно заполнив таблицы выбранных терминальных символов, символических имен, литералов и выходных кодов лексем.
Данная среда позволяет сравнить данные, внесенные студентом с данными, полученными программой и сгенерировать сообщения об ошибках, на основе которых студент будет иметь возможность внести соответствующие исправления.
При выполнении дипломного проекта был проведен анализ способов построения лексического анализатора. За основу был принят прямой синтаксический анализатор, так как считывает лексему, находящуюся справа от указателя и лишь потом определяет тип лексемы [3]. Кроме того, отчасти используется непрямой анализ при отделении специальных символов от идентификаторов, ключевых слов и литералов, когда разделительный пробел не обязателен.
Лексический анализатор позволяет работать со следующими таблицами:
таблица выбранных терминальных символов (формируется из таблицы терминальных символов);
таблица символических имен (идентификаторов);
таблица литералов (констант);
таблица выходных кодов лексем.
Далее описываются структуры таблиц.
Внутри программы хранится таблица терминальных символов. Она хранит в себе все терминальные символы, которые могут использоваться в учебном языке (ключевые слова и специальные символы). Они имеют свои названия, описание и каждому ключевому слову соответствует свой уникальный код, по которому происходит идентификация элемента на следующих стадиях компиляции. На данном этапе происходит работа с таблицей выбранных терминальных символов, пример которой показан в таблице 6.
Таблица 6 - Таблица выбранных терминальных символов
№ стр.
Терминальный символ
Комментарий
Код
1
PROGRAM
Объявление переменных
Таблица выбранных терминальных символов содержит следующие поля:
№ стр - номер строки в таблице выбранных терминальных символов;
Терминальный символ - название терминального символа;
Комментарий - описание терминального символа;
Код - код терминального символа, определенный в таблице терминальных символов.
Данная таблица формируется из таблицы терминальных символов, определенной внутри программы (описана в приложении А) путем выбора необходимых терминальных символов в соответствующем окне программы. Она служит (необходима) для проверки, является ли полученная лексема терминальным символом или идентификатором, т.е. производится сравнение со всеми терминальными символами таблицы. Если лексема найдена в таблице, то в таблицу выходных кодов лексем заносится номер таблицы (в программе №1) и код терминального символа.
Некоторые терминальные символы можно изменять - это ключевые слова. Изменение возможно в момент заполнения таблицы выбранных терминальных символов.
Для хранения значений идентификаторов служит таблица символических имен, пример которой приведен в таблице 7.
Таблица 7 - Таблица символических имен
Специф
Идентификатор
Тип
Размер в памяти
Относительный адрес в памяти
а
Таблица символических имен содержит следующие поля:
Специф - спецификатор (номер строки) определяет положение идентификатора в таблице;
Идентификатор - имя идентификатора, найденного в тексте программы;
Тип - тип распознанного идентификатора (заполняется в программе LEXAN), поле остается не заполненным;
Размер в памяти - размер идентификатора, занимаемый в памяти, определяется в зависимости от типа (заполняется в программе LEXAN), поле остается не заполненным;
Относительный адрес в памяти - адрес относительно начала объявления переменных, формируется в зависимости от размера памяти предыдущих идентификаторов (заполняется в программе LEXAN), поле остается не заполненным.
Таблица служит для хранения идентификаторов, найденных в тексте программы. После внесения идентификатора или обнаружения уже имеющегося в таблице, в таблицу выходных кодов лексем заносится номер таблицы (№2) и спецификатор найденного элемента.
Для хранения значений констант используется таблица литералов, пример ее заполнения показан в таблице 8.
Таблица 8 - Таблица литералов
Литерал
10
INTEGER
2
Таблица содержит следующие поля:
Специф - спецификатор, определяет положение идентификатора в таблице;
Литерал - значение литерала, найденного в тексте программы;
Тип - тип распознанного литерала;
Размер в памяти - размер литерала, занимаемый в памяти, определяется в зависимости от типа;
Относительный адрес в памяти - адрес относительно начала объявления переменных, формируется в зависимости от размера памяти занимаемой литералами и идентификаторами.
Таблица служит для хранения литералов, найденных в тексте программы. После внесения литерала в таблицу, в таблицу выходных кодов лексем заносится номер таблицы (№3) и спецификатор найденного элемента.
Работа сканера LEXAN происходит следующим образом. Студент в соответствующее поле пишет (или загружает из файла через меню) текст программы. Далее выбираются терминальные символы, необходимые для разбора текста программы и на основе правил разбора заполняются таблицы символических имен, литералов и выходных кодов лексем. После этого производится проверка правильности заполнения. При этом программа производит анализ текста и заполняет свои внутренние соответствующие таблицы и сравнивает с данными, полученными от студента и, при наличии ошибки, генерирует сообщения в поле сообщений. При необходимости можно получить листинг. Также можно сохранить результаты в файл для передачи данных на следующий этап - синтаксический анализ.
Листинг включает в себя текст программы, все таблицы с заполненными студентом данными и все сообщения об ошибках.
Выходной файл хранит в себе все 4 таблицы, построчно храня каждую ячейку. Это позволяет не ограничивать длину идентификаторов и ключевых слов. Вначале файла также построчно указываются размеры таблиц, сначала выбранных терминальных символов (число столбцов, число строк), затем символических имен, литералов и, наконец, выходных кодов лексем (только число столбцов). Структура промежуточного файла показана в таблице 9.
Таблица 9 - Пример промежуточного файла
№ строки
Содержи-мое
Описание содержимого
5
4 столбца + 1 (четвертый) зарезервирован
7
1 строка - заголовок таблицы, последующие 6 - строки с данными
3
5 столбцов
4
1 строка - заголовок таблицы, последующие 3 - строки с данными
6
1 строка - заголовок таблицы, последующие 2 - строки с данными
16
1 столбец - описания, остальные 15 - с данными
(в таблице три строки)
8
данные из таблицы 1 по ячейкам, следуют слева направо (построчно), сверху вниз.
…
7+5*7=42
43
данные из таблицы 2 по ячейкам, следуют слева направо (построчно), сверху вниз.
42+5*4=62
63
данные из таблицы 3 по ячейкам, следуют слева направо (построчно), сверху вниз.
62+5*3=77
78
данные из таблицы 4 по ячейкам, следуют сверху вниз (по столбцам), слева направо.
77+16*3=125
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15
