Class Tokenizer


  • class Tokenizer
    extends java.lang.Object
    Since:
    1.1
    • Constructor Summary

      Constructors 
      Constructor Description
      Tokenizer()  
    • Method Summary

      All Methods Instance Methods Concrete Methods 
      Modifier and Type Method Description
      private java.util.List<Token> deriveTokensFrom​(java.lang.String infixTagExpression, java.util.List<java.lang.String> trimmedTokens)  
      private Token extractTokenStartingAt​(java.lang.String infixTagExpression, int startIndex, java.lang.String trimmedToken)  
      (package private) java.util.List<Token> tokenize​(java.lang.String infixTagExpression)  
      private java.util.List<java.lang.String> trimmedTokenStringsFrom​(java.lang.String infixTagExpression)  
      • Methods inherited from class java.lang.Object

        clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait
    • Constructor Detail

      • Tokenizer

        Tokenizer()
    • Method Detail

      • tokenize

        java.util.List<Token> tokenize​(java.lang.String infixTagExpression)
      • trimmedTokenStringsFrom

        private java.util.List<java.lang.String> trimmedTokenStringsFrom​(java.lang.String infixTagExpression)
      • deriveTokensFrom

        private java.util.List<Token> deriveTokensFrom​(java.lang.String infixTagExpression,
                                                       java.util.List<java.lang.String> trimmedTokens)
      • extractTokenStartingAt

        private Token extractTokenStartingAt​(java.lang.String infixTagExpression,
                                             int startIndex,
                                             java.lang.String trimmedToken)