import func
import func
def tokenizer(lexems, keywords, tokens, id, digit, types):
	for lexem in lexems:
		if lexem in keywords: 
			tokens.append("keyword")
		elif lexem in types:
			tokens.append("type")
		elif lexem == "(":
			tokens.append("par_open")
		elif lexem == ")":
			tokens.append("par_close")
		elif lexem == "{":
			tokens.append("br_open")
		elif lexem == "}":
			tokens.append("br_close")
		elif lexem == "[":
			tokens.append("sq_open")
		elif lexem == "]":
			tokens.append("sq_close")
		elif lexem == ",":
			tokens.append("comma")
		elif lexem == ";":
			tokens.append("semicolon")
		elif lexem == "+":
			tokens.append("add")
		elif lexem == "-":
			tokens.append("sub")
        elif lexem == "++":
            tokens.append("inc")
        elif lexem == "--":
            tokens.append("dec")
        elif lexem == ".=":
            tokens.append("conc")
        elif lexem == "+=":
            tokens.append("add_")
        elif lexem == "-=":
            tokens.append("sub_")
        elif lexem == "*=":
            tokens.append("mul_")
        elif lexem == "*":
			tokens.append("mul")
		elif lexem == "/":
			tokens.append("div")
		elif lexem == "=":
			tokens.append("var_def")
		elif lexem == "==":
			tokens.append("cmp")
		elif lexem == "<=":
			tokens.append("loe")
		elif lexem == ">=":
			tokens.append("gor")
		elif lexem == "!=":
			tokens.append("ne")
		elif lexem == '"' or lexem == "'":
			tokens.append("quote")
		elif lexem == "main":
			tokens.append("main")
		elif lexem == "call":
			tokens.append("call")
		elif func.IsAlpha(lexem[0]):
			id.append(lexem)
			tokens.append("name")
		elif func.IsDigit(lexem[0]):
			digit.append(lexem)
			tokens.append("digit")
		elif lexem[0] == "'" or lexem[0] == '"':
			tokens.append("string")
		else:
			tokens.append("error")

 File "token.py", line 28
    elif lexem == "++":
       ^
SyntaxError: invalid syntax

lex_tok = {
...
'-':'sub',
'+':'add',
...
}

...
tokens.append(lex_tok[lexem])
...