Searched refs:_TokenizeJS (Results 1 – 2 of 2) sorted by relevance
29 tokens = list(strip_js_comments._TokenizeJS(''))33 tokens = list(strip_js_comments._TokenizeJS('\n'))37 tokens = list(strip_js_comments._TokenizeJS('A // foo'))41 tokens = list(strip_js_comments._TokenizeJS('A // foo\nbar'))45 tokens = list(strip_js_comments._TokenizeJS('A /* foo */'))49 tokens = list(strip_js_comments._TokenizeJS('A /* foo\n*bar\n*/'))
10 def _TokenizeJS(text): function51 token_stream = _TokenizeJS(text).__iter__()