Tabla de contenido:
Definición: ¿Qué significa el análisis léxico?
El análisis léxico es un concepto que se aplica a la informática de una manera muy similar a la lingüística. Esencialmente, el análisis léxico significa agrupar un flujo de letras o sonidos en conjuntos de unidades que representan una sintaxis significativa. En lingüística, se llama análisis, y en informática, se puede llamar análisis o tokenización.
Techopedia explica el análisis léxico
La idea del análisis léxico en informática es que el análisis léxico divide las corrientes en "lexemas", donde un token representa la unidad básica de significado. Los tokens se unen de tal manera que el compilador del lenguaje debe regresar y aislarlos para implementar las instrucciones informáticas correctas. Básicamente, tanto los humanos como las computadoras hacen análisis léxicos, pero las computadoras lo hacen de manera diferente y de una manera mucho más técnica. La forma en que las computadoras hacen el análisis léxico no necesita ser transparente para los humanos, solo tiene que ser programada en el sistema informático. Los programas que realizan análisis léxicos en informática a menudo se denominan lexers, tokenizadores o escáneres.
