Reconhecimento de tokens

Disponível somente no TrabalhosFeitos
  • Páginas : 5 (1070 palavras )
  • Download(s) : 0
  • Publicado : 31 de março de 2012
Ler documento completo
Amostra do texto
INTRODUÇAO

No trabalho abordaremos o reconhecimento de tokens que a função dele é o uso de diagramas de transição que são a representação de um autômato finito, antes de entrar totalmente no reconhecimento de tokens aborda a função do analisador léxico.

Teoria de Linguagens Formais e Teoria de Máquina são tópicos abrangentes que se inserem-no estudo da Teoria da Computação em geral. ATeoria da Computação é uma ciência que procura organizar o conhecimento formal relativo aos processo de computação, como complexidade de algoritmos, linguagens formais, problemas intratáveis, etc.

Atualmente, o termo “computar” está associado ao conceito de fazer cálculos ou aritmética, usando para isso máquinas computadores. Entretanto, a noção de contabilidade pode ser dissociada daimplementação física da máquina. Originalmente, a palavra latina  pautar significa “pensar”, mas no caso da teoria da computação o sentido mais adequado seria algo como “manipulação de símbolos”, o que não é, necessariamente, pensamento. Essa manipulação de símbolos envolvendo, principalmente, letras, números e proposições algébricas permitiria às máquinas computadores, segundo Alan Turing (1939) realizarqualquer operação formal de que o ser humano seria capaz

ANALISADOR LÉXICO

A função do analisador léxico é ler uma sequência de caracteres que constitui um programa fonte e coletar, dessa sequência, os tokens (palavras de uma linguagem regular) que consistem o programa. Os tokens ou símbolos léxicos são as unidades básicas do texto do programa. Cada token é representando internamente portrês informações:
Classe do token: representa o tipo do token reconhecido (identificadores, constantes, numérico as, cadeias de caracteres, palavras reservadas, operadores e separadores).
Valor do token: o qual depende a classe (o número inteiro representado pela constante, a sequência de caracteres lida no programa fonte que representa o identificador, um apontador para a entrada de uma tabela quecontém essa sequência de caracteres).

Posição do token: indica o local do texto fonte (linha e coluna) onde ocorreu o token. Essa informação é utilizada para indicar o local de erros.

Tokens simples: não tem valor associado (palavras reservadas, operadores e delimitadores).
Tokens com argumentos: têm um valor associado (elementos da linguagem definidos pelo programador: identificadores,constantes numéricas, cadeias de caracteres).
A especificação de um analisador léxico descreve o conjunto de tokens que formam a linguagem. Fazem parte dessa especificação sequências de caracteres que podem aparecer entre tokens e devem ser ignoradas tais como espaços em branco e comentários.
As palavras reservadas da linguagem são casos particulares dos identificadores e seguem a mesmanotação (expressões regulares, autômatos finitos e gramáticas regulares) desses. As especificações de analisadores léxicos, usualmente, não expressam, explicitamente, o reconhecimento de palavras reservadas. Essas palavras são armazenadas em uma tabela interna, que é examinada cada vez que um identificador é reconhecido.

RECONHECIMENTO DE TOKENS

Uma das técnicas de reconhecimento de tokens é o usode diagramas de transição que são a representação de um autômato finito. Um diagrama de transição é um grafo orientado em que os nodos representam estados do autômato finito. Dependendo a forma como forem construídos estes diagramas pode corresponder a um autômato finito determinístico ou não determinístico.
Caso haja a necessidade de usar um autômato finito não determinístico, ao implementar, omesmo deve ser transformado em um autômato finito determinístico equivalente.

Letra ou dígitos

*
2 |
3 |
|
1 |

outros |
Inicio letra

No diagrama da Figura 1, os estados são representados por círculos, e o estado final por um círculo duplo. Os caracteres lidos são representados sobre os arcos que identificam as transições do...
tracking img