Token vs Lexema

A veces resulta dificil diferenciar lo que es Token de la palabra Lexema, y es q en algunos casos nos los llegan a enseñar como que son sinonimos, pero no lo son.

Token: también llamado componente léxico es una cadena de caracteres que tiene un significado coherente en cierto lenguaje de programación.

Lexema: cadena de caracteres que concuerda con un patron que describe un componente lexico.

Entonces cual es la diferencia ¿¿??

El componente lexico, en nuestro caso token es el patron que deben de seguir los caracteres, luego una vez que la secuencia de caracteres es aceptada a ella la llamamos lexema

Cabe mencionar que un token puede tener tener uno o infinitos lexemas, esto es si el token es palabra reservada o no, si el token es palabra reservada, entonces solo tendra un lexema (ej if, do), pero si no es palabra reservada, tendra muchos lexemas (ej identificador, numero)que puedan cumplir con la secuencia.

Espero ejemplificarles mejor esto con esta tabla:




Exitos!!!