Ты должен все возможные символы, которые могут быть введены, отнести либо к словам, либо к разделителям. Это надо сделать точно, а не приблизительно.