class Tokenizer
extends java.lang.Object
Constructor and Description |
---|
Tokenizer() |
Modifier and Type | Method and Description |
---|---|
private java.util.List<Token> |
deriveTokensFrom(java.lang.String infixTagExpression,
java.util.List<java.lang.String> trimmedTokens) |
private Token |
extractTokenStartingAt(java.lang.String infixTagExpression,
int startIndex,
java.lang.String trimmedToken) |
(package private) java.util.List<Token> |
tokenize(java.lang.String infixTagExpression) |
private java.util.List<java.lang.String> |
trimmedTokenStringsFrom(java.lang.String infixTagExpression) |
java.util.List<Token> tokenize(java.lang.String infixTagExpression)
private java.util.List<java.lang.String> trimmedTokenStringsFrom(java.lang.String infixTagExpression)
private java.util.List<Token> deriveTokensFrom(java.lang.String infixTagExpression, java.util.List<java.lang.String> trimmedTokens)
private Token extractTokenStartingAt(java.lang.String infixTagExpression, int startIndex, java.lang.String trimmedToken)