Un file sorgente viene inviato come flusso ad un lexer carattereper carattere da una qualche interfaccia di input. Il lavoro dellexer è impacchettare il flusso di caratteri (altrimenti)insignificante in gruppi che, elaborati dal parser, acquistanosignificato. Ogni carattere o gruppo di caratteri raccolto in questomodo viene detto token. I token sono componenti del linguaggio diprogrammazione in questione come parole chiave, identificatori,simboli ed operatori. (Di solito) il lexer rimuove commenti espaziatura dal programma, ed ogni altro contenuto che non ha unvalore semantico per l'interpretazione del programma. Il lexerconverte il flusso di caratteri in un flusso di token che hanno unsignificato individuale stabilito dalle regole del lexer.Analogamente, il vostro cervello sta probabilmente raggruppando intoken (parole, in tal caso, con un valore semantico per voi) isingoli caratteri che compongono questa frase, il vostro lavoro dideterminare dove finisce un token e ne inizia un altro èfacilitato, tuttavia, dal fatto che le parole nella frase sono giàseparate dagli spazi, in tal senso si potrebbe affermare che unafrase in italiano è già tokenizzata, tuttavia si puòassumere che una forma di raggruppamento e di riconoscimento avvengaanche a livello di parole. Il flusso di token generato dal lexerviene ricevuto in ingresso dal parser.
Detto E Fatto Sintassi Pdf Converter
2ff7e9595c
Comments