Reconhecimento de tokens

INTRODUÇAO

No trabalho abordaremos o reconhecimento de tokens que a função dele é o uso de diagramas de transição que são a representação de um autômato finito, antes de entrar totalmente no reconhecimento de tokens aborda a função do analisador léxico. Teoria de Linguagens Formais e Teoria de Máquina são tópicos abrangentes que se inserem-no estudo da Teoria da Computação em geral. A Teoria da Computação é uma ciência que procura organizar o conhecimento formal relativo aos processo de computação, como complexidade de algoritmos, linguagens formais, problemas intratáveis, etc.

Atualmente, o termo “computar” está associado ao conceito de fazer cálculos ou aritmética, usando para isso máquinas computadores. Entretanto, a noção de contabilidade pode ser dissociada da implementação física da máquina. Originalmente, a palavra latina pautar significa “pensar”, mas no caso da teoria da computação o sentido mais adequado seria algo como “manipulação de símbolos”, o que não é, necessariamente, pensamento. Essa manipulação de símbolos envolvendo, principalmente, letras, números e proposições algébricas permitiria às máquinas computadores, segundo Alan Turing (1939) realizar qualquer operação formal de que o ser humano seria capaz

ANALISADOR LÉXICO

A função do analisador léxico é ler uma sequência de caracteres que constitui um programa fonte e coletar, dessa sequência, os tokens (palavras de uma linguagem regular) que consistem o programa. Os tokens ou símbolos léxicos são as unidades básicas do texto do programa. Cada token é representando internamente por três informações:
Classe do token: representa o tipo do token reconhecido (identificadores, constantes, numérico as, cadeias de caracteres, palavras reservadas, operadores e separadores).
Valor do token: o qual depende a classe (o número inteiro representado pela constante, a sequência de caracteres lida no programa fonte que representa o identificador, um apontador para a entrada de uma tabela