A segmentação de texto é o processo de dividir texto escrito em unidades significativas, como palavras, frases ou temas. O termo aplica-se tanto aos processos mentais utilizados pelos humanos no momento de ler um texto, como aos processos artificiais implementados em computadores e outros dispositivos. Embora possa parecer uma tarefa trivial, em alguns idiomas utilizam-se indicadores de mudança de palavra ou de frase pouco habituais.
A segmentação de texto também está relacionada com outros tipos de segmentação, como a segmentação por sentimento (análise de sentimento), a obtenção de palavras-chave e subsequente divisão do texto em blocos em torno destas (segmentação de intenções), a deteção e segmentação de temas, ou a separação morfológica (análise morfológica).
Tipos de segmentação de texto Segmentação de frases A segmentação de frases (em inglês Sentence boundary disambiguation, SBD) é o problema no processamento de linguagem natural de decidir onde começa e termina cada frase. Em idiomas como o inglês ou o português, localizar os pontos e identificá-los segundo se trata de uma abreviatura e segundo se a letra seguinte é maiúscula, permite obter um bom resultado na maioria dos casos. Outra abordagem possível é treinar automaticamente um conjunto de regras a partir de um conjunto de documentos onde as quebras de frase foram marcadas previamente, mediante o princípio da máxima entropia.
Segmentação de palavras A segmentação de palavras é a tarefa de dividir uma cadeia de linguagem escrita nas suas palavras componentes. Foram propostos diversos critérios para identificar palavras, mas nenhum é universal. Em português e em muitas outras línguas que utilizam alguma forma do alfabeto latino, a identificação dos espaços tipográficos é uma boa aproximação para fazer a divisão por palavras. No entanto, algumas línguas têm uma escrita que não inclui nenhum carácter separador e, sem ele, a segmentação de palavras torna-se um problema difícil de resolver.
Segmentação de temas Um documento pode conter diversos temas, e a tarefa da segmentação de texto pode ser descobrir estes temas automaticamente e segmentar o texto em conformidade, a fim de procurar palavras-chave, criar resumos automáticos ou fazer uma análise do discurso, entre outras aplicações.
Os limites de cada tema podem ser evidentes a partir dos títulos e parágrafos das secções. Em outros casos, é necessário utilizar técnicas semelhantes às que se utilizam para a Classificação de documentos. Em geral, trata-se de uma tarefa complexa devido à sua ambiguidade ao decidir os limites de cada tema.
Ligações externas
Segmentação do texto de partida WordTools: - Ferramenta utilizada para realizar análise morfológica de textos escritos em língua portuguesa
Categoria:Morfologia linguística Categoria:Linguística computacional