このクラスのメンバの一覧は、Tokenメンバを参照してください。
| 名前 | 解説 | |
|---|---|---|
 | IsPartial | Token が 1 つの行で複数行トークンの部分であるかどうかを示す値を取得します。 |
| Language | このトークンを生成するために使用された Language を返します (読み取り専用)。 |
| Length | このトークンが表す文字列の長さを返します。 |
| OverallOffset | ドキュメントの先頭からこのトークンの開始までの全体的な文字オフセットを返します (読み取り専用)。 |
| Span | ドキュメント内のトークンの範囲を Retirnms します (読み取り専用)。 |
| TerminalSymbol | このトークンを生成した TerminalSymbol を返します。 |
| Text | このトークンが表すテキストを返します。 |