Обработка комментариев в Abstract Syntax Tree в Delphi с Parsec

Delphi , Синтаксис , Деревья

При написании парсера кода на Delphi с использованием Parsec, вы можете столкнуться с необходимостью сохранить комментарии в структуре Abstract Syntax Tree (AST). В данной статье мы рассмотрим, как справиться с комментариями в AST, используя пример данных структур, предоставленный в контексте.

Описание проблемы

Вы пишете парсер кода на Delphi с помощью Parsec и уже имеете структуры данных AST, которые выглядят следующим образом:

module Text.DelphiParser.Ast where

data TypeName = TypeName String [String] deriving (Show)
type UnitName = String
data ArgumentKind = Const | Var | Out | Normal deriving (Show)
data Argument = Argument ArgumentKind String TypeName deriving (Show)
data MethodFlag = Overload | Override | Reintroduce | Static | StdCall deriving (Show)
data ClassMember =
      ConstField String TypeName
    | VarField String TypeName
    | Property String TypeName String (Maybe String)
    | ConstructorMethod String [Argument] [MethodFlag]
    | DestructorMethod String [Argument] [MethodFlag]
    | ProcMethod String [Argument] [MethodFlag]
    | FunMethod String [Argument] TypeName [MethodFlag]
    | ClassProcMethod String [Argument] [MethodFlag]
    | ClassFunMethod String [Argument] TypeName [MethodFlag]
     deriving (Show)
data Visibility = Private | Protected | Public | Published deriving (Show)
data ClassSection = ClassSection Visibility [ClassMember] deriving (Show)
data Class = Class String [ClassSection] deriving (Show)
data Type = ClassType Class deriving (Show)
data Interface = Interface [UnitName] [Type] deriving (Show)
data Implementation = Implementation [UnitName]  deriving (Show)
data Unit = Unit String Interface Implementation deriving (Show)

Ваш парсер состоит из лексера и парсера, написанных с помощью Parsec, и вы уже реализовали лексирование токенов комментариев. Однако, типы данных Class и ClassSection не имеют способа прикрепления комментариев. Поскольку комментарии (особенно блоки комментариев) могут появляться практически везде в потоке токенов, вам придется добавить опциональный комментарий ко всем типам данных в AST?

Подход к решению проблемы

Один из разумных подходов к обработке аннотированных данных на AST - это провести дополнительный параметр типа через всю структуру, который может содержать любую.metadata, которую вы хотите. Это позволит не только избирательно включать или исключать комментарии, но и включать другие виды информации с вашим деревом.

Сначала переопределите все типы данных AST с дополнительным параметром:

data TypeName a = TypeName a String [String] deriving (Functor)
{- ... -}
data ClassSection a = ClassSection a Visibility [ClassMember a] deriving (Functor)
{- ... -}

Теперь вы можете создать AST с комментариями, например, Class Comment. Вы также можете использовать этот подход для дополнительной информации, такой как анализ областей видимости, где вы включите текущую область видимости с соответствующей частью AST.

Если вам нужны несколько аннотаций одновременно, простым решением будет использовать запись, хотя это немного неудобно, так как (по крайней мере, на данный момент) мы не можем легко писать код, полимофный по полям записей.

Дополнительным полезным трюком, который вы можете использовать, - это использовать PatternSynonyms (доступно с GHC 7.8), чтобы иметь набор шаблонов, которые работают так же, как ваши текущие не аннотированные типы данных AST, позволяя использовать существующие случаи.

pattern TypeName a as <- TypeName' _ a as

Пример кода на Object Pascal (Delphi)

В качестве примера, вот как можно добавить комментарии к типу данных Class в Object Pascal (Delphi):

type
  TClassComment = record
    Comment: string;
    ClassName: string;
    Sections: TArray<TClassSectionComment>;
  end;

  TClassSectionComment = record
    Visibility: TVisibility;
    Members: TArray<TClassMemberComment>;
  end;

  TClassMemberComment = record
    Comment: string;
    MemberType: TClassMemberType;
    // Дополнительные поля в зависимости от MemberType
  end;

Теперь, когда у вас есть типы данных с комментариями, вы можете включить комментарии в свой AST, как показано в примере выше.

Заключение

В данной статье мы рассмотрели, как справиться с комментариями в AST при использовании Parsec для парсинга кода на Delphi. Мы показали, как добавить комментарии в типы данных AST, используя дополнительный параметр типа, и предложили пример кода на Object Pascal (Delphi). Следуя diesem подходу, вы сможете включать или исключать комментарии в своем AST по вашему выбору и добавлять дополнительную информацию, такую как анализ областей видимости.

Создано по материалам из источника по ссылке.

В статье рассматривается проблема сохранения комментариев в структуре Abstract Syntax Tree (AST) при написании парсера кода на Delphi с использованием Parsec. Автор предлагает добавить дополнительный параметр типа в типы данных AST для включения комментар

Комментарии и вопросы

Получайте свежие новости и обновления по Object Pascal, Delphi и Lazarus прямо в свой смартфон. Подпишитесь на наш Telegram-канал delphi_kansoftware и будьте в курсе последних тенденций в разработке под Linux, Windows, Android и iOS

:: Главная :: Деревья ::