Tokenデータ型で公開されるメンバを以下の表に示します。
| 名前 | 解説 | |
|---|---|---|
 | IsPartial | Token が 1 つの行で複数行トークンの部分であるかどうかを示す値を取得します。 |
| Language | このトークンを生成するために使用された Language を返します (読み取り専用)。 |
| Length | このトークンが表す文字列の長さを返します。 |
| OverallOffset | ドキュメントの先頭からこのトークンの開始までの全体的な文字オフセットを返します (読み取り専用)。 |
| Span | ドキュメント内のトークンの範囲を Retirnms します (読み取り専用)。 |
| TerminalSymbol | このトークンを生成した TerminalSymbol を返します。 |
| Text | このトークンが表すテキストを返します。 |
| 名前 | 解説 | |
|---|---|---|
 | Equals | オーバーロードされます。 指定されたオブジェクトとこのオブジェクトが等しいかを比較します。 |
| GetFullToken | Token がその IsPartial 値を True に設定される場合、すべての複数行トークンを取得します。それ以外の場合、Token を返します。 |
| GetHashCode | オブジェクトのハッシュ コードを返します。 |
| ToString | このオブジェクトの文字列表現を返します。 |
 等価判定演算子 | 2 つの Token 構造の値を比較して一致するかどうか調べます。 |
| 等しくないか判定する演算子 | 2 つの Token 構造の値が等しいか比較します。 |