Уведомления

Группа в Telegram: @pythonsu

#1 Окт. 25, 2008 01:43:50

nerezus
От:
Зарегистрирован: 2006-08-01
Сообщения: 178
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

# -*- coding: cp1251 -*-
# HJava Programming Language, 2008 © nerezus


import sys
import ply.lex as lex

# Reserved words
reserved = (
'PUBLIC', 'PRIVATE', 'PROTECTED', 'ABSTRACT', 'FINAL',
'SYNCHRONIZED', 'TRANSIENT', 'NATIVE',
'ASSERT', 'PACKAGE', 'NEW', 'THIS', 'IMPLEMENTS', 'EXTENDS', 'INSTANCEOF',
'IMPORT', 'SUPER','STRICTFP',
'TRY', 'CATCH', 'FINALLY', 'THROWS', 'THROW',

'BREAK', 'CASE', 'CHAR', 'CONST', 'CONTINUE', 'DEFAULT', 'DO', 'DOUBLE',
'ELSE', 'ENUM', 'FLOAT', 'FOR', 'GOTO', 'IF', 'INT', 'LONG',
'RETURN', 'SHORT', 'STATIC', 'SWITCH',
'VOID', 'VOLATILE', 'WHILE',
)

tokens = reserved + (
# Literals (identifier, integer constant, float constant, string constant, char const)
'ID', 'TYPEID', 'ICONST', 'FCONST', 'SCONST', 'CCONST',

# Operators (+,-,*,/,%,|,&,~,^,<<,>>,>>>, ||, &&, !, <, <=, >, >=, ==, !=)
'PLUS', 'MINUS', 'TIMES', 'DIVIDE', 'MOD',
'OR', 'AND', 'NOT', 'XOR', 'LSHIFT', 'RSHIFTRSHIFT','RSHIFT',
'LOR', 'LAND', 'LNOT',
'LT', 'LE', 'GT', 'GE', 'EQ', 'NE',

# Assignment (=, *=, /=, %=, +=, -=, <<=, >>=, >>>=, &=, ^=, |=)
'EQUALS', 'TIMESEQUAL', 'DIVEQUAL', 'MODEQUAL', 'PLUSEQUAL', 'MINUSEQUAL',
'LSHIFTEQUAL', 'RSHIFTRSHIFTEQUAL', 'RSHIFTEQUAL', 'ANDEQUAL', 'XOREQUAL',
'OREQUAL',

# Increment/decrement (++,--)
'PLUSPLUS', 'MINUSMINUS',

# Conditional operator (?)
'CONDOP',

# Delimeters ( ) [ ] { } , . ; :
'LPAREN', 'RPAREN',
'LBRACKET', 'RBRACKET',
'LBRACE', 'RBRACE',
'COMMA', 'PERIOD', 'SEMI', 'COLON'

)

# Completely ignored characters
t_ignore = ' \r\t\x0c'

# Newlines
def t_NEWLINE(t):
r'\n+'
t.lexer.lineno += t.value.count("\n")

# Operators
t_PLUS = r'\+'
t_MINUS = r'-'
t_TIMES = r'\*'
t_DIVIDE = r'/'
t_MOD = r'%'
t_OR = r'\|'
t_AND = r'&'
t_NOT = r'~'
t_XOR = r'\^'
t_LSHIFT = r'<<'
t_RSHIFTRSHIFT = r'>>>'
t_RSHIFT = r'>>'
t_LOR = r'\|\|'
t_LAND = r'&&'
t_LNOT = r'!'
t_LT = r'<'
t_GT = r'>'
t_LE = r'<='
t_GE = r'>='
t_EQ = r'=='
t_NE = r'!='

# Assignment operators

t_EQUALS = r'='
t_TIMESEQUAL = r'\*='
t_DIVEQUAL = r'/='
t_MODEQUAL = r'%='
t_PLUSEQUAL = r'\+='
t_MINUSEQUAL = r'-='
t_LSHIFTEQUAL = r'<<='
t_RSHIFTRSHIFTEQUAL= r'>>>='
t_RSHIFTEQUAL = r'>>='
t_ANDEQUAL = r'&='
t_OREQUAL = r'\|='
t_XOREQUAL = r'^='

# Increment/decrement
t_PLUSPLUS = r'\+\+'
t_MINUSMINUS = r'--'


# ?
t_CONDOP = r'\?'

# Delimeters
t_LPAREN = r'\('
t_RPAREN = r'\)'
t_LBRACKET = r'\['
t_RBRACKET = r'\]'
t_LBRACE = r'\{'
t_RBRACE = r'\}'
t_COMMA = r','
t_PERIOD = r'\.'
t_SEMI = r';'
t_COLON = r':'

# Identifiers and reserved words

reserved_map = { }
for r in reserved:
reserved_map[r.lower()] = r

def t_ID(t):
r'[A-Za-z_][\w_]*'
t.type = reserved_map.get(t.value,"ID")
return t

# Integer literal
t_ICONST = r'\d+([uU]|[lL]|[uU][lL]|[lL][uU])?'

# Floating literal
t_FCONST = r'((\d+)(\.\d+)(e(\+|-)?(\d+))? | (\d+)e(\+|-)?(\d+))([lL]|[fF])?'

# String literal
t_SCONST = r'\"([^\\\n]|(\\.))*?\"'

# Character constant 'c' or L'c'
t_CCONST = r'(L)?\'([^\\\n]|(\\.))*?\''

# Comments
def t_comment(t):
r'/\*(.|\n)*?\*/'
t.lexer.lineno += t.value.count('\n')

# Preprocessor directive (ignored)
def t_preprocessor(t):
r'\#(.)*?\n'
t.lexer.lineno += 1

def t_error(t):
print "Illegal character %s" % repr(t.value[0])
t.lexer.skip(1)

input = """public class Test {

/**
* @param args
*/
public static void main(String[] args) {
int a = -8;
int b = a >>> 1;
System.out.println(b);

}

}"""

lexer = lex.lex(optimize = 1)
lexer.input(input)
while 1:
tok = lexer.token()
if not tok: break
print " " + str(tok)
Почему так?



Офлайн

#2 Окт. 25, 2008 02:02:48

shiza
От:
Зарегистрирован: 2007-07-03
Сообщения: 1073
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

почему что?



Отредактировано (Окт. 25, 2008 02:03:20)

Офлайн

#3 Окт. 25, 2008 02:10:25

nerezus
От:
Зарегистрирован: 2006-08-01
Сообщения: 178
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

>>> читается как >> и >



Офлайн

#4 Окт. 25, 2008 02:14:15

shiza
От:
Зарегистрирован: 2007-07-03
Сообщения: 1073
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

Запустил у себя:
….
LexToken(RSHIFTRSHIFT,'>>>',8,131)
….
Или я опять не понял вопроса =)



Отредактировано (Окт. 25, 2008 02:17:10)

Офлайн

#5 Окт. 25, 2008 07:32:29

nerezus
От:
Зарегистрирован: 2006-08-01
Сообщения: 178
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

LexToken(RSHIFT,'>>',8,131)
LexToken(GT,'>',8,133)

У меня так.
Какая версия библиотеки?



Офлайн

#6 Окт. 25, 2008 14:42:56

shiza
От:
Зарегистрирован: 2007-07-03
Сообщения: 1073
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

WinXP, python 2.5.2, ply 2.5.



Отредактировано (Окт. 25, 2008 14:43:36)

Офлайн

#7 Окт. 25, 2008 18:50:41

nerezus
От:
Зарегистрирован: 2006-08-01
Сообщения: 178
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

аналогично(ток питон 2.5.1)
жесть)

что делать? кто юзал antlr?



Офлайн

#8 Окт. 26, 2008 16:17:37

shiza
От:
Зарегистрирован: 2007-07-03
Сообщения: 1073
Репутация: +  0  -
Профиль   Отправить e-mail  

PLY: >>> читается как >> и >

интересно, а что он у тебя будет делать, если убрать из описания эти токены? (>> и >)



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version