Post on 01-Nov-2018
Segmentação e Reconstrução 3D de Tecidos
Animais em Imagens Histológicas
Trabalhos Práticos
Liliana Sofia Sales Azevedo
Mestrado em Engenharia Biomédica
Porto, Julho de 2012
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas
Liliana Sofia Sales Azevedo
Licenciada em Engenharia Biomédica pela Escola Superior de Estudos Industriais e de Gestão (2011)
Trabalhos práticos
Orientador:
João Manuel R. S. Tavares Professor Associado do Departamento de Engenharia Mecânica
Faculdade de Engenharia da Universidade do Porto
Co-orientador:
Augusto Manuel Robrigues Faustino Professor Associado do Departamento de Patologia e Imunologia Molecular
Instituto de Ciências Biomédicas Abel Salazar
Mestrado em Engenharia Biomédica
Julho de 2011
Agradecimentos
Ao Professor Doutor e Orientador João Manuel Tavares pela paciência, tempo e toda a ajuda
ímpar disponibilizada.
À Ana Carvalho pela simpatia, esforço e dedicação merecidas.
Ao Francisco Oliveira pela disponibilidade, pelos bons conselhos e ajuda crucial.
Aos meus amigos que sempre me aconselharam e ajudaram nos momentos difíceis.
Á minha família, pais e irmão, pela compreensão e carinho demonstrado.
A todos, o meu sincero agradecimento!
Liliana Sofia Sales Azevedo
vii
Resumo
A reconstrução a três dimensões da estrutura dos tecidos a partir de uma série de secções
histológicas é, pelo menos em teoria, uma ferramenta valiosa para expandir a dimensão
‘escondida’ da microscopia. Estudar a estrutura dos tecidos, das células e dos componentes
acelulares, bem como a sua interação pode ser útil para a deteção e diagnóstico de
determinadas patologias. Tal facto faz com que seja cada vez mais interessante encontrar
novas técnicas e soluções que auxiliem neste diagnóstico, como é o caso da reconstrução.
No presente trabalho encontra-se uma primeira metodologia que consiste no processamento
das imagens histológicas, mais concretamente, no seu escalamento. Após esta etapa,
desenvolve-se a segunda metodologia que se baseia no alinhamento das imagens recorrendo a
vários modelos de transformação. Posteriormente, foram comparados os diferentes
alinhamentos recorrendo a parâmetros de qualidade.
Os laboratórios do Instituto de Ciências Biómedicas de Abel Salazar cordialmente ofereceram o
material de estudo. Para a realização destas duas abordagens, incluindo análise de dados
recorreu-se à ferramenta MATLAB.
A implementação das metodologias produziu resultados mais favoráveis do que outros. O
alinhamento de imagens necessita de ser estudado e analisado para criar um algoritmo mais
eficiente.
Em suma, o trabalho realizado deixa em parte boas perspetivas para o futuro. Todos os
aspetos para o melhoramento e aprofundamento do trabalho já analisado são bem recebidos.
Palavras-chave: imagens histológicas, patologias, diagnóstico, alinhamento
viii Liliana Azevedo
Abstract
The reconstruction of three-dimensional structures of tissues from a variety of histological
sections is at least in theory, a valuable tool to expand the ‘hidden’ dimension of microscopy.
Study the structure of tissues, cells and acellular components, and so their interactions can be
useful for the detection and diagnosis of certain pathologies. This fact makes even more
interesting to find new solutions and techniques to assist in diagnosis, as the case of
reconstruction.
In the present work is found a first methodology which consists in the processing of
histological images, more precisely, in its climbing. Following this phase, is developed the
second method which is based on registration of the images using various types of
transformations. Thereafter were compared the different registrations recoursing to quality
parameters.
The laboratories of the Institute of Biomedical Sciences Abel Salazar kindly provided the
material of study. To perform these two approaches, including data analysis was made use of
MATLAB tool.
The implementation of the methodologies produced more favorable results than others. The
image registration needs to be studied and analyzed to create a more efficient algorithm.
In sum, the work leaves good prospects for the future. All aspects for improvement and
further the work already analyzed are well received.
Keywords: histological images, pathology, diagnosis, registration
ix Liliana Azevedo
Índice
I – Introdução ................................................................................................................................ 1
I I – Objetivo .................................................................................................................................. 5
III-Fundamento teórico: alinhamento ........................................................................................... 7
3.1 Introdução ........................................................................................................................... 7
3.2 Classificação das metodologias ........................................................................................... 7
3.3 Técnicas de Alinhamento .................................................................................................. 10
3.4 Metodologias de Alinhamento .......................................................................................... 11
3.4.1 Método baseado em Características .......................................................................... 11
3.4.2 Método baseado em Intensidade .............................................................................. 12
3.5 Modelos de Transformação .............................................................................................. 13
3.6 Avaliação da Precisão do Alinhamento ............................................................................. 15
IV-Métodos .................................................................................................................................. 17
4.1 Materiais e Instrumentos .................................................................................................. 17
4.2 Metodologia ...................................................................................................................... 18
4.2.1 Escalamento de imagem ............................................................................................ 18
4.2.2 Alinhamento e Cálculo do erro .................................................................................. 20
V-Análise de Dados...................................................................................................................... 23
5.1 Dataset .............................................................................................................................. 23
5.2 Escalamento de imagem ................................................................................................... 24
5.3 Alinhamento ...................................................................................................................... 25
VI-Conclusão e Perspetivas Futuras ............................................................................................ 27
VII-Bibliografia ............................................................................................................................. 29
x Liliana Azevedo
xi Liliana Azevedo
Índice de Figuras
Figura 1: Exemplo da combinação estrutural e funcional de vários tecidos no membro superior
Humano: tecido nervoso (terminações nervosas), tecido epitelial (pele), tecido muscular
(músculos), tecido ósseo, tecido cartilagíneo e sangue. (adaptado de PBworks, 2012 ............... 1
Figura 2: Quadro-resumo dos processos laboratoriais de preparação dos tecidos. (adaptado de
He et al, 2009) ............................................................................................................................... 2
Figura 3: Esquema ilustrativo dos processos que vão desde o tecido até à reconstrução 3D e
posterior análise. (adaptado de Cooper, 2009) ............................................................................ 3
Figura 4: Representação de um processo de Alinhamento de imagens. (adaptado de Zitová et
al., 2003) ...................................................................................................................................... 11
Figura 5: Exemplos de várias funções de mapeamento: transformada de similaridade (em cima
à esquerda), trasnformação afim (em cima à direita), projetiva (em baixo à esquerda) e elástica
(em baixo à direita). (adaptado de Zitová et al., 2003) ............................................................... 13
Figura 6: Fragmento de tecido incluído em parafina com os quatro marcadores. ..................... 17
Figura 7: : Imagens histológicas obtidas, incluindo os quatro marcadores. ............................... 17
Figura 8: Criação da região de interesse. .................................................................................... 18
Figura 9: Determinação do centróide (bola azul) e cálculo das distâncias do mesmo às
extremidades (linhas azuis). ........................................................................................................ 19
Figura 10: Comparação das distâncias aos centróides entre duas imagens. Determinação das
distâncias mínimas aos centróides (retas verdes). ..................................................................... 19
Figura 11: Interface gráfica. Do lado esquerdo a imagem por alinhar e a imagem base. .......... 20
Figura 12: Alinhamento de duas imagens utilizando o modelo de similaridade (CP=8). ............ 21
Figura 13: Imagem 48. ................................................................................................................. 23
Figura 14: Imagem 49. ................................................................................................................. 23
Figura 15: Lâmina 50. .................................................................................................................. 23
Figura 16: Imagem 50 recortada (escalamento com duas imagens). ......................................... 24
Figura 17: Imagem 49 recortada (escalamento com duas imagens). ......................................... 24
Figura 18: Imagem 48 (escalamento com três imagens). ........................................................... 24
Figura 19: Imagem 49 (escalamento com três imagens). ........................................................... 25
Figura 20: Imagem 50 (escalamento para três imagens). ........................................................... 25
Figura 21: Escolha dos pontos de controlo. ................................................................................ 25
xii Liliana Azevedo
xiii Liliana Azevedo
Índice de Tabelas
Tabela 1: Classificação das Metodologias de Alinhamento. ......................................................... 8
Tabela 2: Caracterização dos modelos globais de Transformação. (adaptado de Zitová et al.,
2003) ........................................................................................................................................... 14
Tabela 3: Parâmetro de qualidade para transformação de Similaridade, Afim e Projetiva. ...... 26
Tabela 4: Parâmetro de qualidade para transformações polinomiais de ordem 2,3 e 4. .......... 26
xiv Liliana Azevedo
xv Liliana Azevedo
Índice de Equações
Equação 1: Fórmula para o cálculo do erro da diferença dos quadrados. I representa a imagem
base e I’ a imagem alinhada. N corresponde ao número de elementos da imagem. (adaptado
de Huynh-Thu, 2008) ................................................................................................................... 15
Equação 2: Fórmula para o cálculo do PSNR. R corresponde à flutuação máxima. (adaptado de
Huynh-Thu, 2008) ........................................................................................................................ 16
xvi Liliana Azevedo
Índice de Abreviaturas
HE- Hematoxilina e Eosina
2D- Duas dimensões
3D- Três dimensões
NMR - Ressonância Magnética Nuclear
CT-Tomografia Computorizada
MR - Ressonância Magnética
PET- Tomografia por Emissão de Positrões
CP- Control Points ou pontos de controlo
CPE- Erro da diferença dos quadrados nos pontos de controlo
MSE- Mean Square Error
PSNR- Peak Signal-to-Noise Ratio
MAXERR- Desvio absoluto máximo dos quadrados de duas imagens
L2RAT-Razão da Norma dos quadrados de duas imagens
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
1
Liliana Azevedo
I – Introdução
A histologia (do grego hysto=tecido + logos=estudo) é a ciência que se dedica ao estudo da
estrutura e funcionamento dos tecidos orgânicos (animais e plantas). (Infopédia, 2012)
Relativamente ao corpo humano, a histologia é a ciência que estuda os tecidos do corpo e de
como estes tecidos se organizam para constituir órgãos. Existem quatro tipos de tecidos
fundamentais, consoante as suas características fisiológicas e anatómicas: o tecido epitelial, o
tecido conjuntivo, o tecido muscular e o tecido nervoso (Figura 1). (Carneiro et al., 2004)
O conhecimento destes tecidos básicos é fundamental para o estudo da estrutura e do
funcionamento dos diferentes órgãos e dos sistemas que os integram. É importante referir que
é a disposição única destes tecidos que permite o funcionamento de cada órgão, mas também
do organismo como um todo.
Para o estudo de tecidos, o procedimento mais usado é a preparação de cortes histológicos
para a observação no microscópico. Os tecidos e/ou órgãos são fatiados em secções ou cortes
histológicos finos que são colocados em lâminas de vidro antes de serem examinados. Estas
secções obtidas necessitam de passar por uma série de tratamentos prévios para então
poderem ser fatiados por meio de instrumentos de grande precisão chamados de micrótomos
(Figura 2). (Carneiro et al., 2004)
Figura 1: Exemplo da combinação estrutural e funcional de vários tecidos no
membro superior Humano: tecido nervoso (terminações nervosas), tecido
epitelial (pele), tecido muscular (músculos), tecido ósseo, tecido cartilagíneo
e sangue. (adaptado de PBworks, 2012
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
2 Liliana Azevedo
Estes tratamentos prévios incluem a fixação, a inclusão e a coloração. O objetivo do processo
denominado fixação é preservar a estrutura e evitar a digestão dos tecidos por enzimas. Esta
etapa recorre a substâncias químicas como o formol. Segue-se a desidratação e o clareamento
que prepara os tecidos para a inclusão em parafina, de forma a conferir rigidez aos tecidos
para serem seccionados. (Carneiro et al., 2004) (Bioaula, 2007)
Para os cortes histológicos serem estudados no microscópio, estes devem ser corados. A
combinação Hematoxilina e Eosina (HE) é a mais utilizada. A hematoxilina cora em azul ou
violeta o núcleo das células e a eosina cora o citoplasma e o colagénio em cor-de-rosa.
(Carneiro et al., 2004)
Um dos problemas da análise de imagens microscópicas, mais propriamente histológicas, é o
facto de oferecer apenas informação num plano (2D), o que impossibilita a compreensão dos
fenómenos e da relação estrutural que os diferentes constituintes do tecido têm com o
exterior. Originalmente, as secções histológicas eram examinadas visualmente e eram criados
diagramas desenhados à mão. Confiava-se assim na capacidade artista do investigador ou do
biólogo treinado. Posteriormente, técnicas mais recentes removeram o artista e introduziram
um nível mais técnico e preciso na ciência da reconstrução 3D. (Rehorek et al., 2007)
A reconstrução 3D é uma ferramenta poderosa e crucial para obter conhecimento mais preciso
e permitirá analisar de que forma as interações entre os componentes teciduais estão
relacionadas com a presença de anormalidades do ponto de vista fisiológico e anatómico.
Uma abordagem para obter informação 3D é a reconstrução dos tecidos a partir de uma série
de imagens consecutivas. Um determinado fragmento de tecido passa por um conjunto de
processos até obterem-se lâminas com as imagens histológicas. A sequência de imagens é
Figura 2: Quadro-resumo dos processos laboratoriais de preparação dos tecidos. (adaptado de He et al,
2009)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
3 Liliana Azevedo
digitalizada por ordem e seguidamente as imagens são alinhadas para gerar uma dataset
volumétrica do tecido original (Figura 3).
Figura 3: Esquema ilustrativo dos processos que vão desde o
tecido até à reconstrução 3D e posterior análise. (adaptado de
Cooper, 2009)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
4 Liliana Azevedo
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
5 Liliana Azevedo
I I – Objetivo
De acordo com o tema da Tese, “Segmentação e Reconstrução 3D de Tecidos Animais em
Imagens Histológicas”, definiu-se como objetivo principal e primeira abordagem ao tema, o
desenvolvimento de metodologias para o escalamento das imagens histológicas e para o
alinhamento das mesmas, tendo em conta os fundamentos biológicos e teóricos.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
6 Liliana Azevedo
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
7 Liliana Azevedo
III-Fundamento teórico: alinhamento
3.1 Introdução
O alinhamento de imagem (“image registration”) é o processo de sobreposição de duas ou
mais imagens do mesmo cenário retiradas em momentos temporais diferentes, em diferentes
pontos de vista e/ou por diferentes sensores. Geometricamente alinha duas imagens - a
imagem de referência e a imagem sensoriada. Esta diferença entre imagens está associada às
diferentes condições com que elas são obtidas. O objetivo de um sistema de alinhamento de
imagens é estimar os parâmetros do modelo da transformação geométrica que melhor mapeia
uma dada imagem alvo, com vista a obter uma sobreposição perfeita entre as imagens. (Zitová
et al., 2003)
O alinhamento é um passo crucial para todas as tarefas de análise de imagem, nas quais a
informação importante e mais relevante é obtida a partir da combinação de vários dados como
a fusão de imagens, deteção de diferenças e restauração de imagem multicanal. (Zitová et al.,
2003)
Tipicamente é utilizado em sistemas de processamento e análise de imagens como deteção
remota (por exemplo na classificação multiespectral, monitorização ambiental, deteção de
discrepâncias, união de imagens, previsão meteorológica, criação de imagens de alta
resolução), cartografia (na atualização de mapas), visão computacional (para localização de
alvos e controlo de qualidade automática), medicina (a combinação de imagens de CT e NMR é
utilizada para obter informação mais detalhada sobre o paciente, monitorizar o crescimento
de tumores ou comparar dados do paciente com atlas anatómicos) e histologia (com o objetivo
de reconstruir tecidos ou outras estruturas em 3D para investigar estruturas celulares). (Zitová
et al., 2003)
3.2 Classificação das metodologias
Existem vários métodos para o alinhamento de imagens e estes podem ser classificados de
diferentes maneiras. Maintz sugere um diagrama com 9 dimensões que provê uma boa
categorização. Estes critérios são: Dimensionalidade, Bases do alinhamento, Natureza da
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
8 Liliana Azevedo
transformação, Domínio da transformação, Grau da interação, Procedimentos de Otimização,
Modalidades, Sujeito e Objeto (Tabela 1). (Fitzpatrick et al., 2000)
Tabela 1: Classificação das Metodologias de Alinhamento.
Critérios Características
Dimensionalidade Refere-se às dimensões geométricas das
imagens a alinhar (2D/2D, 2D/3D, 3D/3D).
(Fitzpatrick et al., 2000)
Base do alinhamento Corresponde às características dos pontos
utilizados para alinhar duas imagens. Estes
pontos podem ser:
Extrínsecos: exteriores ao objeto a alinhar, por exemplo: marcadores fiduciais, “Stereotactic Frame”, entre outros; (Cifor et al., 2011)
•
Intrínsecos: características anatómicas do objeto, por exemplo, como linhas e curvas. (Cifor et al., 2011)
Natureza da transformação Está ligado ao sistema de coordenadas que
define o espaço. Quanto à natureza dividem-
se em:
• Rígidas;
• Afins;
• Projetivas;
• Curvadas. (Fitzpatrick et al., 2000)
Domínio da transformação Relacionada com a quantidade de informação
utilizada na imagem:
• Local: apenas parte dos voxels da
região de interesse são utilizados;
• Global: São usados todos os voxels da
região de interesse. (Fitzpatrick et al.,
2000)
Grau da interação Em referência ao controlo do algoritmo de
alinhamento pelo operador. Divide-se em:
• Automático;
• Inicialização de parâmetros;
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
9 Liliana Azevedo
• Ajuste de parâmetros ao longo do
método. (Fitzpatrick et al., 2000)
Procedimentos de Otimização Abordagem do algoritmo, no qual a qualidade
do alinhamento é estimada continuamente
durante o processo de alinhamento em
termos de funções entre imagens e
mapeamento entre elas. Assim, podem ser:
• Automáticos;
• Procura iterativa. (Fitzpatrick et al.,
2000)
Modalidades Relacionado com o meio com que são
adquiridas as imagens para alinhar. Desta
forma, têm-se:
• Monomodal: alinhamento com
imagens da mesma modalidade (por
exemplo, MR-MR);
Intermodal: alinhamento com imagens de modalidades diferentes (por exemplo, MR-PET ou MR-imagens histológicas); (Osechinskiy et al., 2011) (Li et al., 2009)
Sujeito Está ligado com o envolvimento do paciente:
• Intrapaciente: do mesmo sujeito;
• Interpaciente: entre sujeitos;
• Atlas: entre sujeito e atlas.
(Fitzpatrick et al., 2000)
Objeto Como o próprio nome indica, refere-se à denominação das regiões para alinhar (por exemplo cérebro, vertebra, tecido). (Gefen et al., 2003)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
10 Liliana Azevedo
3.3 Técnicas de Alinhamento
Devido à diversidade de imagens para alinhamento e aos vários tipos de degradação
existentes, é impossível construir um método universal aplicável a todas as situações. (Zitová
et al., 2003)
Todos os métodos devem ter em conta as características, a quantidade de ruído e a
deformação geométrica das imagens, bem como a nível de precisão do alinhamento
necessária para o problema. Contudo, a maioria dos métodos de alinhamento consiste nos
seguintes quatro passos:
• Deteção de Características: Objetos salientes e distintos (regiões fechadas,
cantos, contornos, interseções de linhas, entre outros) são manualmente ou
automaticamente detetados. Para processamento posterior, estas
características são representadas por pontos, denominados “Control Points”
(CP); (Zitová et al., 2003)
• Correspondência entre Características: É estabelecida a correspondência
entre a imagem de referência e a imagem a alinhar. Vários descritores de
características e medidas de similaridade são usadas para o propósito. (Zitová
et al., 2003)
• Estimação do Modelo de Transformação: O tipo e parâmetros da função de
mapeamento, que alinhará as duas imagens serão estimados. São usadas as
correspondências das características para a estimação destes parâmetros.
(Zitová et al., 2003)
• Transformação e Interpolação: Transformação da imagem de acordo com os
parâmetros estimados no passo anterior. Os valores da imagem em
coordenadas não inteiras são calculados usando técnicas de interpolação
adequadas. (Zitová et al., 2003)
Na Figura 4 estão representados as quatro etapas de um processo de alinhamento. Na
primeira linha, os cantos da imagem são utilizadas como características (Deteção de
Características); na segunda, faz-se a correspondência dos pontos entre as duas imagens,
estando estes numerados (Correspondência de Características) e por fim, na última linha, do
lado esquerdo estimou-se os parâmetros da transformação (Modelo de Transformação) e à
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
11 Liliana Azevedo
direita mostra-se o resultado da transformação e interpolação da imagem (Transformação e
Interpolação). (Zitová et al., 2003)
3.4 Metodologias de Alinhamento
Na generalidade, os métodos de alinhamento de imagens podem ser divididos em dois
grandes grupos: alinhamento baseado em características e alinhamento global, ou seja,
baseado na intensidade. (Zitová et al., 2003)
3.4.1 Método baseado em Características
O alinhamento baseado em características inicia-se com a deteção das mesmas dentro das
imagens. As características são pontos distintos na própria imagem, que podem tomar diversas
formas. De seguida é executado um emparelhamento entre as características das imagens e
posteriormente são estimados os parâmetros da função de mapeamento. (Zitová et al., 2003)
O grande problema destes métodos encontra-se na fase de deteção e emparelhamento das
características. Na deteção de características, não é possível garantir a existência de pontos
Figura 4: Representação de um processo de Alinhamento de
imagens. (adaptado de Zitová et al., 2003)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
12 Liliana Azevedo
característicos em todas as zonas de interesse. Na correspondência entre características,
problemas de ruído, a oclusão de objetos numa imagem por alguns motivos (movimento,
iluminação), pode levar a que as características de uma imagem não tenham correspondência
na outra, ou que haja um emparelhamento incorreto. (Zitová et al., 2003)
• Tipos de Características
As características deste método correspondem a estruturas salientes da imagem. Estas
características podem ser regiões significativas (lagos, campos, órgãos), linhas (contornos,
costas, rios) ou pontos (cantos, intersecção de linhas). Devem ser distintos, estar espalhados
pela imagem e fáceis de detetar em ambas as imagens. (Zitová et al., 2003)
• Correspondência entre Características
Assumindo que as características nas duas imagens já foram detetadas, o objetivo prende-se
agora em encontrar a correspondência entre os pares de características utilizando as suas
relações espaciais ou os vários descritores. Estes métodos são aplicados quando a informação
estrutural local é mais importante que a informação carregada pela intensidade das imagens.
(Zitová et al., 2003)
3.4.2 Método baseado em Intensidade
São métodos preferencialmente usados quando as imagens não possuem detalhes
proeminentes e a informação distinta é provida pelas cores/níveis de cinzento em vez de
estruturas ou formas locais. O alinhamento baseado em intensidades utiliza diretamente os
valores das intensidades presentes nos voxels das imagens para estimar os parâmetros da
função de transformação, recorrendo à minimização de uma função custo entre as duas
imagens. Estes métodos utilizam normalmente o gradiente das imagens. (Zitová et al., 2003)
Neste caso, o passo da deteção de características e correspondência de características faz-se
ao mesmo tempo. Neste caso, as características são os valores da intensidade das imagens.
Estes métodos usam janelas de tamanho pré-definido para efetuar a correspondência. (Zitová
et al., 2003)
A imagem de referência/base e a imagem obtida do sensor, devem ter de algum modo funções
de intensidade similares (onde pode ser usado o método de correlação) ou pelo menos
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
13 Liliana Azevedo
funções estatisticamente dependentes (como acontece no alinhamento multimodal). (Zitová
et al., 2003)
Desta forma, ruído, variação das condições de iluminação ou o uso de diferentes sensores, são
fatores intrínsecos que alteram os valores de intensidade utilizados para a correspondência e,
por consequência, deterioram a precisão do alinhamento. Uma outra desvantagem destes
métodos baseados em intensidade é que eles são pesados computacionalmente. (Zitová et al.,
2003)
3.5 Modelos de Transformação
Após a correspondência de características ter sido estabelecida, a função de mapeamento é
construída. Esta etapa tem como meta encontrar a função e estimar os parâmetros adequados
de forma a transformar a imagem sensoriada de forma a sobrepor-se à imagem de referência.
A Figura 5 mostra exemplos de funções de mapeamento. (Zitová et al., 2003)
O tipo de função de mapeamento aplicada deve corresponder à deformação geométrica
ocorrida na imagem sensoriada, à qualidade do método de aquisição da imagem e à precisão
necessária para o dado alinhamento. (Zitová et al., 2003)
Figura 5: Exemplos de várias funções de mapeamento: transformada de
similaridade (em cima à esquerda), trasnformação afim (em cima à direita),
projetiva (em baixo à esquerda) e elástica (em baixo à direita). (adaptado de
Zitová et al., 2003)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
14 Liliana Azevedo
Os modelos de mapeamento, de acordo com a quantidade de informação que utilizam como
suporte, podem ser divididos em duas grandes categorias: os Modelos Globais e os Modelos
Locais. (Zitová et al., 2003)
Os modelos globais (Tabela 2) utilizam todos os CP’s para estimar um conjunto de parâmetros
válidos para a imagem inteira. Em geral, o número de pontos é normalmente maior que o
número mínimo necessário para a determinação da função de mapeamento. Os parâmetros da
função são estimados pela técnica dos mínimos locais. No entanto, um modelo global não
consegue lidar com imagens deformadas localmente, visto que a técnica dos mínimos
quadrados distribui a distorção geométrica de forma igual, por toda a imagem. (Zitová et al.,
2003)
Tabela 2: Caracterização dos modelos globais de Transformação. (adaptado de Zitová et al., 2003)
Tipo de Transformada Descrição
Similaridade O modelo mais simples. Consiste em apenas rotação, translação e escalamento. Este modelo preserva ângulos e curvaturas e pode ser determinado por apenas dois CP’s. (Zitová et al., 2003)
Afim Mais generalista mas linear como o anterior. Esta transformada efetua rotação, translação e escalamento horizontal, vertical e oblíquo. É definido por três pontos e preserva linhas retas e paralelismo entre linhas retas. Não preserva ângulos e distâncias. (Zitová et al., 2003)
Projetiva Na mesma linha que a transformação afim mas não preserva ângulos, nem distâncias nem paralelismos. É utilizado quando a distância do sensor ao objeto pode variar. Pode ser determinado por quatro pontos. (Zitová et al., 2003)
Polinomial de ordem 2,3,4 Pequenas violações dos pressupostos anteriores. Polinómios de ordem maior não são usualmente utilizados na prática visto que podem deformar a imagem em zonas longe dos pontos de controlo. (Zitová et al., 2003)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
15 Liliana Azevedo
3.6 Avaliação da Precisão do Alinhamento
Independentemente do tipo de imagens utilizadas, do método de alinhamento proposto ou da
área de aplicação, é altamente desejável proporcionar ao utilizador uma estimação de quanto
preciso é o algoritmo de alinhamento utilizado. A avaliação da exatidão não é um problema
trivial visto que os erros podem ser arrastados entre as várias etapas do alinhamento e torna-
se complicado de distinguir os erros entre um alinhamento impreciso e diferenças físicas nos
conteúdos das imagens. (Zitová et al., 2003)
O erro de alinhamento está sempre presente na prática por duas razões:
1. O modelo de mapeamento pode não corresponder à distorção existente entre as
imagens;
2. Os parâmetros da função podem ter sido calculados com baixa precisão.
O primeiro caso resulta da falta de informação à priori sobre a distorção geométrica da
imagem e o ultimo é derivado da utilização de pontos insuficientes e/ou erros de localização.
O método mais simples para medir o erro de alinhamento é o erro da diferença dos quadrados
ou “mean square error” (Equação 1) nos pontos de controlo (CPE). Este parâmetro quantifica o
quão bom é o ajuste das coordenadas CP’s pela função de mapeamento escolhida. (Zitová et
al., 2003)
��� = �� − �′�
�
Equação 1: Fórmula para o cálculo do erro da diferença dos quadrados. I representa a imagem base e I’ a imagem
alinhada. N corresponde ao número de elementos da imagem. (adaptado de Huynh-Thu, 2008)
No entanto, em determinados casos esta medida pode se tornar ineficaz. Para um
determinado número de pontos escolhidos, o CPE pode tomar valor de zero quando a função
de mapeamento selecionado possui graus de liberdade suficientes (este fenómeno é
denominado ‘over-fitting’). Por outro lado, grandes valores de CPE podem ser causados por
erros de localização de pontos e não representar uma má precisão do alinhamento. (Zitová et
al., 2003)
Outros métodos de representativos da aproximação de qualidade são PSNR, MAXERR, L2RAT.
O PSNR ou “peak signal-to-noise ratio” é uma medida de qualidade, em decibéis, entre duas
imagens. Quanto maior o PSNR, melhor é a qualidade (Equação 2). (Huynh-Thu, 2008)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
16 Liliana Azevedo
� �� = �� ����� � ��� ��
Equação 2: Fórmula para o cálculo do PSNR. R corresponde à flutuação máxima. (adaptado de Huynh-Thu, 2008)
Por último, MAXERR corresponde ao desvio absoluto máximo dos quadrados entre as duas
imagens e L2RAT corresponde à razão entre a norma dos quadrados da imagem alinhada, para
imagem base. (Huynh-Thu, 2008)
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
17 Liliana Azevedo
IV-Métodos
4.1 Materiais e Instrumentos
O processo laboratorial para a obtenção de imagens histológicas a partir de um fragmento de
tecido escolhido foi realizado no laboratório de Anatomia Patológica e Citológica do Instituto
de Ciências Biomédicas de Abel Salazar.
Após selecionado um fragmento de tecido, procedeu-se ao seu processamento: fixação em
formol e inclusão em parafina para garantir rigidez do tecido no corte. Foram acrescentados
quatro marcadores de tecido à volta do fragmento para facilitar o alinhamento posterior das
imagens (Figura 6).
Seguidamente, o bloco de tecido e parafina foi seccionado obtendo-se secções muito finas.
Estas fatias (da ordem dos micrómetros) foram depois coradas com HE e colocadas em lâminas
para observação (Figura 7). As lâminas foram numeradas de acordo com a ordem de corte
(lado esquerdo da lâmina).
Figura 6: Fragmento de tecido incluído em
parafina com os quatro marcadores.
Figura 7: : Imagens histológicas obtidas, incluindo os quatro
marcadores.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
18 Liliana Azevedo
Por fim, as imagens foram adquiridas pelo digitalizador VS110Olympus presente no
laboratório. Note-se que o conjunto de imagens utilizadas corresponde às primeiras fatias
secionadas. Neste caso, na maior parte das imagens tratadas apenas aparecem três
marcadores. Fator causado pelos erros de seccionamento e/ou colocação dos marcadores
durante a experiência.
4.2 Metodologia
4.2.1 Escalamento de imagem
Após a obtenção das imagens foi necessário implementar técnicas de pré-processamento,
visto que as imagens histológicas digitalizadas não possuíam todas o mesmo tamanho. A fim
de escalar as imagens para o mesmo tamanho, sem alterar as intensidades, recorreu-se a uma
metodologia que recorre à criação de uma região de interesse (ROI), cujos vértices
correspondem nada mais, nada menos que aos centros dos marcadores (Figura 8).
Obtendo-se as coordenadas dos vértices, calculou-se o centróide do polígono formado pela
região de interesse. Seguidamente calculou-se as distâncias do centróide às extremidades das
imagens (Figura 9).
Figura 8: Criação da região de interesse.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
19 Liliana Azevedo
Para o conjunto de imagens utilizadas, é calculado o respetivo centróide e as distâncias às
extremidades (quatro retas). O passo seguinte consistiu em comparar as distâncias obtidas
para cada imagem (baseada no centróide de cada uma) de forma a encontrar as distâncias
mínimas (Figura 10).
Por último, todas as imagens são recortadas por uma janela cujas medidas correspondem às
distâncias mínimas obtidas no passo anterior, e cujo centro corresponde ao centróide de cada
uma.
Este método além de garantir que as imagens fiquem escaladas para o mesmo tamanho,
garante que todas elas possuam a informação pretendida, isto é, os marcadores e o tecido.
Figura 9: Determinação do centróide (bola
azul) e cálculo das distâncias do mesmo às
extremidades (linhas azuis).
Figura 10: Comparação das distâncias aos centróides entre duas
imagens. Determinação das distâncias mínimas aos centróides
(retas verdes).
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
20 Liliana Azevedo
4.2.2 Alinhamento e Cálculo do erro
Após recolhidas as imagens com o mesmo tamanho, pode-se proceder ao seu alinhamento e
ao respetivo cálculo das medidas de qualidade.
Para efetuar o alinhamento, considera-se uma imagem como referência (imagem base) e as
outras imagens como imagens como input (imagem sensoriada ou por alinhar).
O comando cpselect inicia o “Control Point Selection tool”, uma interface gráfica que permite
selecionar pontos de controlo (CP) nas duas imagens (Figura 11). Estes pontos são
características iguais ou similares que se podem encontrar em ambas as imagens.
Depois de escolhidos os pontos, a opção <<Export Points to Workspace>> permite exportar as
coordenadas dos pontos para o workspace do Matlab.
A função cp2tform especifica o tipo de transformação geométrica desejada (projetiva, afim,
entre outros) tendo como parâmetros de entrada, os pontos de controlo da imagem base e da
imagem por alinhar.
A etapa final do alinhamento consiste em aplicar à imagem por alinhar, a transformação
geométrica criada no passo anterior. Para isso utiliza-se a operação imtransform. Como
resultado, as duas imagens ficam alinhadas uma com a outra (Figura 12). De forma a distinguir
as imagens, nesta figura a imagem base está mais transparente que a imagem alinhada.
Figura 11: Interface gráfica. Do lado esquerdo a imagem por alinhar e a imagem base.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
21 Liliana Azevedo
O número de pontos escolhidos têm em conta o número mínimo de pontos necessários para
aplicar uma dada transformação geométrica. Para proceder a uma transformação por
similaridade são necessários no mínimo dois pontos, para a transformação afim são três
pontos, para a projetiva é necessário quatro pontos e para a transformação polinomial de
ordem 2,3 e 4 são precisos no mínimo seis, dez e quinze pontos respetivamente.
Para comparar os diferentes alinhamentos, a fim de encontrar a melhor transformação para as
imagens histológicas foi calculado o MSE (mean square error) e mas também o PSNR, MAXERR
e L2RAT. Desta forma estabeleceu-se duas comparações: a primeira comparando os erros de
alinhamento das diferentes transformadas para o mesmo número de pontos; a segunda
comparação será para verificar se o aumento de número de pontos de controlo (CP) para a
mesma transformada pode diminuir o erro de alinhamento numa mesma transformação
geométrica.
Figura 12: Alinhamento de duas imagens utilizando o modelo de
similaridade (CP=8).
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
22 Liliana Azevedo
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
23 Liliana Azevedo
V-Análise de Dados
5.1 Dataset
De um conjunto de amostras histológicas produzidas nas instalações laboratoriais foram
selecionadas três perfeitas imagens histológicas para testar quer o algoritmo para escalamento
das imagens, como o algoritmo para o alinhamento. Apesar da quantidade de imagens
possíveis de utilizar, a utilização de três imagens é desde já satisfatória para comprovar a
eficácia dos algoritmos.
Note-se que esta sequência foi escolhida visto que as imagens encontram-se em boas
condições, apresentam os marcadores intactos, e correspondem a uma sequência, isto é, são
três seções consecutivas do tecido que foi laminado: lâminas número 48 (Figura 13), 49 (Figura
14) e 50 (Figura 15).
Figura 13: Imagem 48.
Figura 14: Imagem 49.
Figura 15: Lâmina 50.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
24 Liliana Azevedo
5.2 Escalamento de imagem
O algoritmo descrito na metodologia foi implementado primeiramente para duas imagens
(amostras número 49 e 50) e seguidamente para três imagens (amostras número 48, 49 e 50).
Para o primeiro caso, obteve-se uma janela retangular de 628x875. As imagens foram
recortadas por esta janela centrada no centróide de cada uma, obtendo-se as Figuras 16 e 17.
Para testar o algoritmo para mais de duas imagens foi adicionada a imagem da amostra 48.
Calculou-se o valor do novo centróide e as distâncias mínimas às extremidades para a nova
imagem. Estes valores foram submetidos com os anteriores, obtendo-se uma janela de
dimensões 578x875. As três imagens foram novamente recortadas por esta janela centrada no
centróide de cada uma. (Figuras 18, 19 e 20). Como é possível notar, a utilização de 3 imagens
reduziu a janela retangular de recorte, no entanto a informação importante continua presente
nas imagens. Este resultado deve-se ao facto desta metodologia basear-se a partir dos
centróides da região de interesse.
Figura 17: Imagem 49 recortada (escalamento com duas
imagens).
Figura 16: Imagem 50 recortada (escalamento com duas
imagens).
Figura 18: Imagem 48 (escalamento com três imagens).
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
25 Liliana Azevedo
5.3 Alinhamento
Em primeiro lugar, para comparar os diferentes alinhamentos, mais propriamente, encontrar
melhor transformada para as imagens histológicas foi calculado o erro da diferença dos
quadrados (MSE), bem como o PSNR, MAXERR e L2RAT. O passo seguinte consistiu em variar o
número de pontos de controlo para a mesma transformada. Estipulou-se uma comparação
para quatro pontos, oito pontos, doze pontos e dezasseis pontos (Figura 21).
Figura 19: Imagem 49 (escalamento com três
imagens).
Figura 20: Imagem 50 (escalamento para três imagens).
Figura 21: Escolha dos pontos de controlo.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
26 Liliana Azevedo
Além disso, teve-se em conta o número mínimo de pontos para efetuar cada transformada. Os
dados obtidos foram resumidos em tabelas (Tabela 3 e Tabela 4).
Tabela 3: Parâmetro de qualidade para transformação de Similaridade, Afim e Projetiva.
Tabela 4: Parâmetro de qualidade para transformações polinomiais de ordem 2,3 e 4.
Considerando como mais importantes os valores obtidos pelo MSE e o PSNR, concluiu-se que
os melhores resultados foram obtidos para a transformada Polinomial de ordem 3 com
dezasseis pontos de controlo (CP=16). Na generalidade, os piores resultados foram obtidos a
partir da aplicação dos modelos Polinomiais (principalmente, para o polinómio 4ªordem).
Ao contrário do que seria de esperar, para a transformada Similaridade, os resultados têm pior
comportamento para CP=16 do que quando utilizados quatro, oito e até doze pontos de
controlo. A escolha dos últimos quatro pontos de controlo não beneficiou os resultados da
transformada que preserva ângulos e curvaturas. Em relação à transformada Afim, os
resultados para dezasseis pontos é relativamente pior do que quando utilizados doze pontos
de controlo. Pela mesma razão, a escolha manual dos últimos quatro pontos de controlo, não
ajudou a minimizar o erro. Deve-se ter em conta que esta transformada preserva paralelismos
entre linhas retas.
Um ponto importante a ter em conta reside no facto de as imagens histológicas sofrerem
distorções internas pequenas (dilatação) resultantes dos processos de preparação dos tecidos
(fixação, inclusão entre outros). Este facto poderá estar na origem de resultados mais
favoráveis para o polinómio de 3ª ordem. No entanto, o polinómio de 4ºa ordem resultou na
distorção completa da imagem, que por sua vez produziu resultados desfavoráveis.
Sem
alinhamento
MSE: 567,12 PSNR: 20,59 MAXERR: 179
L2RAT: 1,05
Similaridade (mínimo 2 pontos)
Afim (mínimo 3 pontos)
Projetiva (mínimo 4 pontos)
CP MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT
4 429.88 21.80 181 1.04 416.58 21.93 180 1.04 489.35 21.28 165 1.03 8 429.10 21.81 182 1.04 415.46 21.95 179 1.04 421.97 21.88 180 1.04
12 427.63 21.82 181 1.04 409.91 22.00 178 1.04 411.84 21.98 180 1.04 16 430.53 21.79 183 1.04 415.29 21.95 178 1.04 408.14 22.02 176 1.04
Polinomial Ordem2
(mínimo 6 pontos)
Polinomial Ordem3
(mínimo 10 pontos)
Polinomial Ordem4
(mínimo 15 pontos)
CP MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT MSE PSNR MAXERR L2RAT
4 8 427.28 21.82 180 1.03
12 411.77 21.98 208 1.03 428,79 21,81 219 1,07 16 373.69 22.41 175 1.04 335,61 22,87 219 1,05 590.45 20.42 198 1.02
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
27 Liliana Azevedo
VI-Conclusão e Perspetivas Futuras
De um conjunto de amostras histológicas, foram selecionadas três imagens tendo em conta a
sua condição e o facto de serem secções consecutivas de um tecido. Este pensamento não
restringe a utilização do algoritmo para mais de três imagens, no entanto as imagens aplicadas
permitem comprovar a eficácia das metodologias e dos algoritmos construídos.
As metodologias utilizadas produziram resultados mais satisfatórios como resultados mais
desfavoráveis. A implementação do escalamento às imagens produziu resultados favoráveis.
Permitiu reduzir as imagens histológicas para o mesmo tamanho tendo em conta a
metodologia baseada nos centróides e nas distâncias mínimas às extremidades de cada
imagem. Pode-se notar que as imagens finais obtidas mantêm a região de interesse como
pretendido.
Pelo contrário, os resultados provenientes do alinhamento produziram dados menos
satisfatórios. Não se verifica uma melhora significativa da aplicação dos diferentes modelos
globais na utilização de mais pontos de controlo. Uma possível explicação poderá residir numa
escolha de pontos pouco favorável. Além disso, o facto da escolha dos pontos ser feita
manualmente pelo utilizador, possivelmente poderá ter influenciado a exatidão das
transformadas. No futuro, recorrer a combinação de transformadas poderá ser uma boa
perspetiva. Por outro lado, testar as imagens histológicas com transformadas não do domínio
global, mas sim do domínio local poderá ser frutífero. Por outro lado, o alinhamento efetuado
é demoroso visto que são alinhadas as imagens duas a duas. Um método mais eficiente e
rápido seria um bom ponto de partida.
Em suma, o trabalho realizado deixa em parte boas perspetivas para o futuro. Existem também
aspetos que necessitam de ser melhorados, revistos e profundamente estudados numa
próxima etapa.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
28 Liliana Azevedo
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
29 Liliana Azevedo
VII-Bibliografia
Bioaula. (2007) Histologia básica [consultado em 16-04-2012]. Disponível em:
http://www.bioaulas.com.br/aulas/2006/histologia/apostilas/apostila_histologia_ba
sica/apostila_histologia_basica_demo.pdf
Carneiro, J., & Junqueira, L. C. (2004). G. K. S.A. (Ed.), Histologia Básica 10th ed., pp. 1-22.
Cifor, A., Bai, L., & Pitiot, A. (2011). Smoothness-guided 3-D reconstruction of 2-D histological
images. NeuroImage, 56 (1), pp. 197-211. Elsevier Inc.
Cooper, L. (2009). High Performance Image Analysis for Large Histological Datasets. Ohio State
University , pp. 1-7.
Fitzpatrick, J. M., Hill, D. L. G., & Maurer, C. R. (2000). Image Registration. Handbook of Medical
Imaging, pp. 447-514.
Gefen, S., Tretiak, O., & Nissanov, J. (2003). Elastic 3-D alignment of rat brain histological
images. IEEE transactions on medical imaging, 22(11), pp. 1480-1489.
He, L., Long, L. R., Antani, S., & Thoma, G. R. (2009). Computer Assisted Diagnosis in
Histopathology Vol. 3, pp. 272-287.
Huynh-Thu, Q.Scope of validity of PSNR in image/video quality assessment, Electronics Letters,
44, 2008, pp. 800-801.
Infopédia. (2012) Histologia [consultado em 14-05-2012]. Disponível em:
http://www.infopedia.pt/$histologia
Li, X., Yankeelov, T. E., Rosen, G. D., Gore, J. C., & Dawant, B. M. (2009). Enhancement of
histological volumes through averaging and their use for the analysis of magnetic
resonance images. Magnetic resonance imaging, 27 (3), pp. 401-416. Elsevier Inc.
Osechinskiy, S., & Kruggel, F. (2011). Slice-to-Volume Nonrigid Registration of Histological
Sections to MR Images of the Human Brain. Anatomy Research International, pp. 1-
17.
PBworks. (2012). Histologia [consultado em 14-05-2012] Disponível em:
http://ruisoares65.pbworks.com/w/page/7476019/FrontPage
Rehorek, S. J., & Smith, T. D. (2007). Concurrent 3-D Visualization of Multiple Microscopic
Structures. Modern Research and Educational Topics in Microscopy, pp. 917-923.
Zitová, B., & Flusser, J. (2003). Image registration methods: a survey. Image and Vision
Computing, 21 (11), pp. 977-1000.
Segmentação e Reconstrução 3D de Tecidos Animais em Imagens Histológicas MEB
30 Liliana Azevedo