[IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat,...

4
Colposcopic image registration using opponentSIFT descriptor Abstract This work presents a colposcopic image registration system able to help physicians for cervical cancer diagnosis. The goal is to make registration between the cervical tissue throughout the whole temporal sequence. Recent digital images processing works, suggested using feature points to compute the tissue displacement. These methods achieve good results, because they are fast and do not need any segmentation, but to date, all methods based on feature points are sensitive to light change and reflections which are frequently current in colposcopic images. To solve this problem, we propose to apply the opponentSIFT descriptor which describes features point in the opponent color space. Experimental results show the robustness of this descriptor in colposcopic images registration in comparison with other descriptors. Key-words Colposcopy; Computer-Aided Diagnosis; OpponentSIFT; Registration. Step1: Detecting interest points

Transcript of [IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat,...

Page 1: [IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat, Morocco (2010.09.30-2010.10.2)] 2010 5th International Symposium On I/V Communications

� �

Colposcopic image registration using opponentSIFT descriptor

�������������������� ������������������������������������

� �������������������� !���"���#�!���!"���!� "��������$"������������!�������%!�&����'��������������������������������������� �������

��������!�&&����������������������������������������

�$��$����("����)�!�

Abstract* This work presents a colposcopic image registration system able to help physicians for cervical cancer�diagnosis. The goal is to make registration between the cervical tissue throughout the whole temporal sequence. Recent digital images processing works, suggested using feature points to compute the tissue displacement. These methods achieve good results, because they are fast and do not need any segmentation, but to date, all methods based on feature points are sensitive to light change and reflections which are frequently current in colposcopic images. To solve this problem, we propose to apply the opponentSIFT descriptor which describes features point in the opponent color space. Experimental results show the robustness of this descriptor in colposcopic images registration in comparison with other descriptors.

Key-words — Colposcopy; Computer-Aided Diagnosis; OpponentSIFT; Registration.

�) �+�,���-���+�����!���&! �&�$�&��&!��������&���������&������&��&!����.����.� !$�.���� .�����/ /!�0����$"�122 �222�� .�&��������� !�342�222���� ��� !"�"�!�5�6)����������� �&����!$"�����&�� � #�&�!��&� �/$�$"�53 6)�- �$/��&�/"������ .$$����#$������� �'�����&�� ������ �� ��&��& ��&!����� ��� /!7&��&!������������!��'�� �� ��$�0����������������&! �0�536)���!��'���&$��� &�$�0�� ��89 719�����&��& ��&���� �$�������� ��//$����� ��� �&! �0��!�)�/ ���$������ ����/ /�!�� '!���$"���!��$�# �����!� ��.�������!� �&��&��&�� ��// $�&��������� &�$$���&��.����/���$��� )�-�$/��& �/����� �$ �������&�$�!����������"����� ���&��.����! '���� ������#$� ����� �� !��"����/����#$�$�����)�� �"�&� �� &�$�!�&� ��'���� !��'���� $�.���'����&��������&!��&�/�:&�$/��&�/;���� ��������!����'����'���!/�!�����!�������'�����������&���!"��!&��������#��/�"����&����!��������'�����)��<&�������/������ ���� ������� � �������=��������" �������$">�� ��'��.��� ����/! �����!' ���!������ ����� �!����'����'����������� ��!� �)� !�$�������� �� � #��/!�/����� �� /!��!��� ����! '���!�����)�? )�)��!&���� ����$ �5 86�/!�/������$ �����!�7#���� ������� ��& ��/���&�$ /�&�/�&����'��� ��!��������� � �!�!��� ��&� � �!' ���!�����)� �������������������� ����$�'���� ���!�$&������&���'�������&��=�������� ����&&� ����&� $�!� ����!������)���� ��!��//!� �&��/!�/����#"��)����'������$�5@6��������!�$&���&���������

�����/���A�!���&���-��/��!� &��&��/�!�����

��� !���B������&�������&�����-������

�����/��)��!���&��(����&���)&�����$��!�&�&��� ��!���������� �� ��&��&� $/��&�/�&��� �'������!�!�� ���&&��/$����!'���!��� ��)������� ����� /!� ���� '����!��$���#� ������!� ��!�����/ &���&��� ��!�����&�$$� ��"/! /&�!�$����'�����&����'��')���������&�!!���/�/!�/!�/������!�#����������.��&�������������&&�����& �$�!�����!� ������ ���� ����=�� �����"�� /&���&�����!����)���������������#��������//���� ������&!�/��!�.��&��� ��$ ���������'�� ��# ����/ /!��&���� �� ��&!�#�$ �&�$�����!������������ ����')��� �����&!�/��!����/ !�&�$"����/������&� $/��&�/�&����'�C� ��� ��� �!�����#$"��� �!������� �&���'�������$$� ������������ �'�� �����!� ���������&�$�� '����� ����$ $�&���'���� � �./�����51 6)��� ���� �&!�/��!� .�$$�# ����� ��� !�&�$/��&�/�&����'�!'���!� ������� ��&� �/�!��� ������ �!����.����&!�/��!�)��������� /�/!�� ���! '���>����� ��$$�.�C� &� ���� 3� ��&!�#��� ���//���� ������& !�/��!)� &����� 8�/ !������ ��! '���!���������$������ ���$ �'��&�$ /��&�/�&����'�)� &�����@�/ !� ����0/!�����$�!��$ ���� #������.� ���� �� /!�/����� //!��&�)�����$$"���&�����1�&��&$�������/�/!)��

��) <,���� -,�%���+�����%%�++� ������ -,�%��,���-�����$"����!�� !��.�� ��������'�����0� !�&����� �!���!���������'C������!������'�!���!����&���'����!���/�������������� �'���������& ���� ����� �$ �������&!�#��&����&���/����)��������/!�&��!����0�!�&���//���� ������&!�/��!�&������������.���������/�C����Step1: Detecting interest points �����������.�!���.�&���� ��!!��7��/$�&���&��!����������"�����!� /�����)��������&��!� &��#�����������$� 3�� ��!!���&�!�!���&� �!�5D6�.���� ����� ������� �&�$7�/�&�!/!��������� 546)��� ����$$�.�� &!����'��� ��&!�/��!��� �!�������� �!����������!����������$$���������������&�$��'�5E6)�%������$����!���/� ����� �!����������#"�#� �$���'������ ������/"!���������$ �����'��� !�$� &�$� /�����&�$$� �� "/��������� ����! ���� ������!�&7��7��������� :���;��� �'��5F6 )� A"/������&����������!��� ������������ �$�&�$�0�!� ��: ��������!�

F4E7�7@3@@71FFE7EG�2GH3D)22�I32�2����

Page 2: [IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat, Morocco (2010.09.30-2010.10.2)] 2010 5th International Symposium On I/V Communications

� �

��0���;��������&!�����&�$�)��� &��"/������&����������!������������$�!� ����//$��������������������$"����#$�������!�$�&�$�>��/�������!�!�����)���

Step2 : Keypoints description�����//���� ���������&�$�!���&!�/��!�#������� ����: &�$7�� �!�������� �!�� !�����!�;���&!� /��!)� ���� �!�'���$$"�/!�/���� #"�5F6 �� ���� ��$"�� ������"�:' !�"�&�$;�&�� ��$�����!������������ ����')����������!����������!/!�����#"����������" /������. �!��& ���" /������ ����&!� #�� .������ &��!�.�����3E�$����)������ ���!�$�.�"��� �0 ����� ����� �&!�/��!������ ��� &$����� ��//�����& �$�!��/�&)� ��&�� ��� �//�����&�$ �!�� /�&��� ��/�!�����������!�&����$��(O1, O2, O3)�5�26�#"�����'�,�<�&�$�!��/�&C���

3

8

33

D

8

R GO

R G BO

R G BO

�� �� � � �� � � �� � � �� �� � � � �� � � �� � � �� �� � � �

�������������������:�;�

�-����$�� O1,����� O2 ��&!�#��� �&� $�!��� ��!��������� ��� ����'�.��$����&����$�O3 &������������������"�����!������)�������& !�#�� "/������� �&�� &����$� ���� �&!�#��#" �� ���'� ������ &!�/��!� 516)�� ����� �&!�/��!�� ��&� $$��OppenentSIFT descriptor. ���J� �/��� ������ //��� ���� ��&!�/��!� ��!�&�$ /��&�/�&����'�!' ���!������ ��!�� .�� �����!����� �)���!��$"�����#��!���&!�#�&�$�!� ����!������)� &���$"���� ������� ����'��!���������!����'�/!�/!��������������&!�/��!�C��� �����&!�/��!������ �!�����������'��&�$��!�#�������&���'������$$������������������$$�&���'� �� �� � ./�����516 �� � �$ ��'�� ��&�$ /��&�/�&����'����&!�/������� �!�������������!�����!�������)���������"/�������!���&!�#��.�����//��� ������&!�/��!������0����/����������&����������!�!�����&�� �!'���!�����)�

���) ,�� �,����+�������Matching descriptors :�������� ���!�� ���/ ���/ /���� ����/� ������!� ���&���# "�&��/����'��� �>!��� �����!��$�>��&!��� �&�!!$�������& �!�:ZNCC;�������#"�5��6C�

: ;):: � ;

)ii j

i jii j

u u u uZNNC u u

u u u u

� ��

� �

;j

j

������������:3;�

�.�!C��

7 ui ����uj������!�/&�� $"�����//���� ����/��������������!�����������&�������'K�

7 iu � ���� ju � ����� !�/&�� $"�� ��� !�'� �$����� &��!���ui ����uj.

������& ����� �/�& ��������� ��!�� � ��$�����&���#" �& !���� !���&������� ����)�� ��!� &��/$���'� !�� ��'���$ �����&����&� !!&�� ���&���'� /�������� ��� ����' ���!�� ����� �&��/����/ /!�/!����� !�����!�������� ���$ �'��� ��&�$ /��&�/�&����'�)�����������/�/!��.�&�����affine transformation����!'���!���������$�����$�'��&�$/��&�/�&����'�)������&���&���� L��������#"������&����������!� ���������� &�$/��&�/�&����'���!����� !"���/�!����)�������������!�����!�������.�$$�#���&!�#������0����#7�&����)��Affine transformation ���������� ��� !�����!�������#� .��� .�� &��!�� (x, y)� ���������(z, w)����&�$&�$���������$$�.�C����

� 3

8 @

0a az xa aw y

��

� �� � � � � �� �� �� � � � � �

��������������:8;�

�.�!�a1, a2, a3, a4, � �������!�����������!�����!� ������/�!���!�)������� �����.�!��� (x, y)��!����&��!������� ����� ��//���� ������&!�/��!�/� ��������� ��� ����$�� ��'��� �� (z, w)�� ��� ���&���'�/������������&�������')���������:8;�&���#��$���.!�������C����

3

8

@

2 2 � 20

2 2 2 �

aa

z x y aw x y a

��

� �� �� �� �� � � �

� � �� � � � � �

� �� �� �

������:@;�

����!��������������:@;��������/�!���!��a1, a2, a3, a4, � ����� �!��� ������#" �����'�� �!�/�� !��� �����&���/�����)���� �������������$$�.���� ��'��$$�/�0$���������&�������'������������!��)��

�M) N%,��+����, ��� �����������&�����'� ������0/!������!��$����� ��$$���!������/!��!���&������ �� /!�/���������)�� �!�� ����0/ !�������.����� .�� &�$/��&�/�&�� �!����0�!�&����!�� ��� ��������&�)������!��������� 0�!�&������� ��#'� ����'������ �����&�:���� ���O�3��& ���;������� ��� &���� ������ �������$�:�������O�13��&��� ;)���'�!�����.��! �/&�� $"������!���� ����� ��&� ��� �!��)� J� ������� ���'��� �&��������!�&��#�.������.���!����!'�!���'�$�'����'���&�$��'�

Page 3: [IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat, Morocco (2010.09.30-2010.10.2)] 2010 5th International Symposium On I/V Communications

� �

���� �./�������'$ )�� ��!�� ���&� ����������� ��&���'�����!��������������"�����)�������&�����.���!�� ���!�0�!�&� ����//���� ������&!�/��!��!�$�&�$�>������&���!�� ��������������&���#"�&��/����'����>!��� �����!��$�>��&!����& �!!$�������&�!)�����!�!��������!�� �� /!��!���&��� �� ����� ������� ����� �.����&!�/��!���� � �������� -�$�!� ���� :- ���;�5�36 ��!��/$�"����!�&��/�!�����.�������/!�/�����//!��&�)���#$������.����� !��$���������& ��/�!����� #�.��� �����!���&!�/��!�)�,��$������.��&$�!$"���������&���'��&�!�.��������//���� ������& !�/��!� ���/!��!�� ����� ���- ������&!�/��!�)������� ���������� ���#!������ �!�����/������������.�����//���� �������#��!����������&�!���#������.��������.�����!��//!��&��)���

������� ����)��������O�3��&��� #) �������O�13��&���

���)����.��&! �&�$��!�����!����� ��������&�

��

��<����%,-+�������-�,,-������-��+����,��-��� -,�%��,�

��&!�/��!� ���� - ���� �//���� ����

Number of invariant points

�3D�

�33�

�3D��

Number of invariant points

correctlymatched

��@�

��8�

��F���

Percentage of correct

matching

�1@9�

�D29�

�489�

���������/!� �����&�!����&�!!&�����&���'�/�������.�'����!����'���! ��� �� � ����� ��&�)�� ��������!� /�������! �0�!�&����!����&���!�� ��������&���'��$'�!���������//$���#�.�������!��� �'�)���'�! �3�� ��.������!��$&���&! �&�$��� �'��:�)�� #)��& );������� � !�����/������& �!!&�$"����&���:� =)��# =)���& =);)���'�!�8����.���� �/$�&���������������!�/���������!���'��!������!�������$�$�&������:���'��);��� �����$� /�������� :���'�# )�����&);)� ������ .������� �����'�!������!� /������ �!��� ��'�� ��� �������� !&�����:.����$ ��;����������������������!�������!� !"�$�.K������&����!��������������$������.�&������!����'��!'���!�����)��

��� ��)��������O�3��&��������������������=)��� �!�����/������&�!!&�$"�

���������������������������&����

���� �#)��������O�13��&�������������������#=)���� �!�����/������&�!!&�$"�

��������������������������������&����

����� ���������&)��������O�F1��&����������������������&=)��� �!�����/������&�!!&�$"�����������

�����������������������������&����

���)�3���!�&! �&�$����'��������!������ ��������������&�������� �!�����/�������

&�!!&�$"����&����

�)���!������'�:����O�3�;�

�� ����������#)� &�������'�:����O�13�;����������&)����!�����'�:����O�F1�;

���)�8�����!�/���������/$�&����#�.�����������$����'���������.�����!����'�)�

������!�!��������!'���!���������!�/�������!��$ &����!����&���� �')���������� ���!� ����!�����������//$���#� .�����������$����'������.�����!����'�)���'�!�@��$$���!�������������! '���!������ !��$������ �'�� �� 0�!�&��� �//���� ����/�����)�J�������������!�!'���!��������������!�/������������

Page 4: [IEEE 2010 5th International Symposium On I/V Communications and Mobile Network (ISVC) - Rabat, Morocco (2010.09.30-2010.10.2)] 2010 5th International Symposium On I/V Communications

� �

������$����'�� !������ �����$ $������ ��.�����!�����'������������������!'���!���������.$$��&&��/$����)��

�) ,'���!������#�.�������!��������&�������'��

#) ,'���!������#�.�������!����������!�����'�

���)�@�������!'���!������!��$�������'���//���� ������&!�/��!)�

M) -�+-�� ��+����������/�/!���&�$/��&�/�&����'�!'���!����������������$�'��&�$/��&�/�&�� ��'��0�!�&� ���!�� ��� ����� ���&����/!����)������������� ��#��������//���� ������&!�/��!������ ������ ��$�� !�����!������)��� � /!��!���&�� ��� �����//!��&��.�� � �$�������� ����&�$/��&�/�&��� �'�)��� ��//!��&��� ��.��� ��0&$ $���/!� �!���&�� ���� /�!������������&�$���!�&��!��!'���!���������&�$/�� &�/�&����'�)������.�$$�������"�������$"�������$�������� �&� $/��&�/�&����'��#"����&�$�0/!��)����������/����#$�����!�� $�/�����������&�!!��� .�!��&���#�� �/!� ��#"�����'������&�� ��$'�!��������$�������!�$&������������#�����$"� ��&!������ /!��!���&������ �/!�/�����//!��&�)�

�-A+�J����+��

�������.�!��.�����//�!���#"����+.�<!���.�&������ ����������������)������!��.��$��$������������A��� ����� ������!�'� ��'������/�!�����P�//���� ���P�&��)��

,�,+- ��

5�6 ?)��!$� "�� �)�<!� "��% )�%���������� �)�� )�%�!�����Q -��&!���&���& ����!��$��"�����%! �$�&�J�!$�.��� R�M!������)2)���,-�-��&!�<���+�)�1) IARC Press: 2001.�

536 ��)��! !����Q� ��!��-�$/��&� /"C�� 0�#����������$�� �R� Kendall Hunt Publishing Company, ��#�������.���3����)��3223)�

586 ?)��) ���! &��7�!��'���?) �A" #�&������J )�� ���Q���� ����&�$��� ��!����&������ �!�&! �&�$�� ��'�! '���!������ �$�������� ” Progress in biomedical optics and imaging, �$)�E�:3;����88��3224)

5@6 �)����'��,) �<��!��?)����������� ������) �%) �������������Q,�$&���&������ $��!�&�&��"/!�/&�!�$ �$��� �&�� ��'�!'���! ������R���� MedicalImaging�C�%�" ���$�'"�����&����� ����� �! �&��!��! ��� ���&�$�� ��'�)�%!�&���'�������� %���M�$���1842��//)�88178@1��322@)�

516 A���)�� ����� ������)�� !������-���) ��)� �����Q �$�����'�-�$�!���&! �/��!�� ��!��#L&������ &��,&�'������� R� IEEE Computer Society -���!�&����-� �/��!�M����������%���! ��,&�'������C �-M%,��//C��7E��322E)�

5D6 -)���! !�������� )� �/���) � Q��&� �#����&�! �!��� ���'���&��! �R�Proceedings of the 4th Alvey Vision ConferenceC�//��@4*�1����FEE)�

546 ��)�����#!'��Q ����!���&�����.�������� ����&��&�$��$&�����R�International Journal of Computer�Vision�82�:3;C�//�44*��D���FFE)�

5E6 -)� &������,) ����!������-) �<��&���'��Q �$����������� ��!���/���� ���&��!��R� International Journal of Computer Vision��84: 3;�//C ��1 �7�43��3222)�

5F6 �)�)���.��Q������&�� ����'�����!���!����&�$7�� �!������"/������R�International Journal of Computer Vision��D2:3;�//C�F�7��2��322@)�

5�26 �)���! �&������ �)�?�� �����Q����// ����7/!�&������! "����&�$ �!� ������R�Psychological Review��M�$)�D@��//)�8E@78F2���F14)�

5��6 ��)� ��� ������ � ) �� ����&&������� �)���#�!���QS +--7#������ /$������&���'�����'� #������/�! ���$�&�! !$������R� Pattern recognition letters�� �$)�3D��//)�3�3F73�8@��3221)��

5�36 ?)��)����#!����,)� ������<���'��!����)�J)��)� ��$�!��������)��!����Q�-�$�!��� �!���&�R� IEEE Trans. Pattern Analysis and ��&�������$$�'�&,�38:�3;��//C��88ET�812��322�)�

���������