Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

39

Transcript of Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

Page 1: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� ��������� ����� � ����� ����� ���������� ����� � ������!"�#��!%$ ��!"� &(')� * �+��$ �-,�.0/%��$ � .0�1 23�4�65 7

8:9<;�=?>A@B>DCFE)G�HJIB=�KML9<K�NOIQPSR T#9<UWVX9<Y4C<=�I3Z�G1T[Y�C<UW\]C^<_�`SacbedSbefegSdih#jkdBfil�`�^Qmcbe_�jknpo4` h�_ilegSdQhqjrdBfil�`e^Smcbe_�jknpo4`

stIBu�9<=�Y�vwIiK�Y C<\�xyC<vzuO;�Y�IB={T#@B>AIBK�@SIxyC<UW;�vF|�>D9)}{K�>WV[IB=�~?>WY���JIB����C<=������{� �S�����

�����������i����q�e�q�e�D���4���¡ ���¢i 6�¡�k£�¤�¥e£� §¦4��¨W¤��4����©eª�¨]ª��iª?«W��«c�¬¢e¤­¥4¢®���D ¯ª�¨W¤���¥°ª¬�i��¦e¨±r�� 6 6�?¥��¡¥4¨W¤�¨W¤���«<¤²«¢³�D��´?¦e�¡¥4¨W��µ¶�¡¥i±r��¦e¥4¨D�¡�D��©+¤�¥¸·�¹�¹ºª�¥i©�©4��±k¤²«»¤���¥¸«W¦e�e�i�?�D¨�ª��e�4�¼¤²±¡ª�¨W¤���¥i«½¤�¥��²ª��D£���±r�� 6 +�¡�]±k¤²ª��ª�¥i©6£?�¿¾?�¡�D¥e 6�¡¥4¨���D£�ª�¥4¤�À�ª�¨A¤­�?¥i«¡Á[�q�e�1�e�D���4���¡ wÂq��«W¨D¦i©4µ§¤²«���¢®¨D�¡¥�±¡ª��¼�­��©¯¨k�e�ÄÃ-�¡�D£���Å�Ʀe�D£���e�D���4���¡ (ª�¥i©Ç¤²«�©?¤ÉÈ�±r¦4�­¨-¨D�J«W����¾��¸�i��¨k�ʤ�¥)«D±¡ª���� ª�¥i©3ª�±¡±r¦e�]ª?±rµ�ÁzËcª��D£?���D�¡�B��«»¤�¨D���W¤���«¯��¢©eª�¨]ª¸¨Wµ4�4¤Ì±¡ª¿�É��µJ�iª�¾���¥4¦e 6�¡�D��¦i«¯©4¦e�4�¼¤²±¡ª�¨D�-¤�¥4¢³���k ¶ª�¨W¤���¥t�¡¥�¨D�A¤­��«+ª��i��¦e¨¯¨D�e��«Dª¬ 6���¡¥�¨A¤­¨A¤­��«¨D�iª�¨�ª��D��©?¤¼Èͱr¦4��¨�¨D�6±r¦4�¼�¨D��£��¡¨D�e�¡�qÂq¤�¨D�e�?¦e¨½ª¬¥¯¤­¥4¨D�r�¼�¼¤�£��¡¥�¨6Îr��´?¦iª�¨W¤���¥iª��<¨D�e�¡���DµeÏШD�iª�¨�¤²©4�¡¥eѨW¤¼Òi��«���´?¦4¤�¾¿ª����¡¥4¨6¤�¨D�¡ ¯«��4µMª-±r�� 6�4���rÓÕÔq©4�� ¶ª¿¤­¥eÑÖ©4�¡�B�¡¥i©4�¡¥�¨¯ ¶ª�¨r±D�4¤�¥e£��e�k�p±r��«D«�Á�× �¯�iª�¾��©4�¡¾��r�����i��©Jª¸«Wµe«W¨D�¡ Ø¢³���6ª�±¡±r�? 6�4�¼¤Ì«A�4¤­¥e£{¨D�4¤²«§¹�ª�¨]ªÚÙ����ª�¥i«»¤�¥e£¸¨]ª�«WÛMª¬¥i©M©4�¡ 6�?¥i«W¨D�]ª�¨k�§¤�¨]«¦i«W�Т³����±k����ª�¥i«»¤�¥e£-�¼¤Ì«A¨]«1��¢#¥iª¬ 6��«1��¢[�i�?¨D�¡¥�¨A¤Ìª¿�#±r¦i«W¨D�� 6�¡�r«q¤�¥Mª�©?¤��D��±r¨� ¶ª¬�DÛ��¡¨W¤�¥e£�Ñ®¨Wµ4�i�6ª��eÑ�4�ɤ²±¡ª�¨A¤­�?¥cÁJÜ�¦e�§�D��«W¦4��¨]«�¢®���6«W¨]ª�¨W¤²«W¨A¤Ì±¡ª¿�É��µ{£��¡¥e�¡�]ª�¨k��©M©eª�¨rª�ª��D��«W�e��Â�¥ ¨k�y�B�ͪ?±¡±r¦e�]ª�¨D��ª�¥i©�rÝÕ��±r¨A¤­¾?�¶Â��e�¡¥{�e�D�e±r��«D«»¤�¥e£ ¨D�e��©eª�¨]ª� §¦4�­¨A¤­�4���-¨W¤� 6��«Ð¦i«»¤�¥e£M©?¤¼ÝÕ�¡�k�¡¥�¨§Û��¡µe«1¢®���6«W���D¨A¤­¥e£-��¥��ª�±D�¯«W¦i±¡±r��«D«»¤�¾����iª�«k«¡Á�Ù[�� §�4¤�¥e£��D��«W¦4��¨]«���¢S¤�¥i©?¤�¾�¤²©4¦iª���iª�«D«A��«¦i«»¤�¥e£§¨D�]ª�¥i«Þ¤­¨A¤­¾?�ık����«W¦e�k����¾��¡�¨D�e�1¤�¥i©4�¡�i�¡¥i©4�¡¥4¨��D��«W¦4��¨]«¡Ôe�e�k�p©4¦i±r��«½¢ßª¬�# +���D��ª�±¡±r¦e�]ª¬¨D���D��«W¦4��¨]«�ª¬¨[����Âq�¡��±r��«W¨�ÁX�½�e��«Wµp«A¨D�¡ �e�D��¾�¤²©4��«[ª��D¦4�����e�k��£��]ª� + §¤�¥e£� 6�p©4¦4���1¨D�iª�¨<¤²«���ª�«Wµ§¨D���e�D�?£��]ª� zª�¥i©+´�¦4¤�¨D�1£��4�p©§ª�¨àÒi¥i©?¤­¥e£©4¦e�4�ɤ²±¡ª�¨k��«¯��«W�i��±k¤²ª��¼��µt¤­¥3ª�¥J�¡¥4¾�¤��D��¥e +�¡¥�¨6½¤­¨k�Ê ¶ª�«k«»¤�¾���ª� 6��¦e¥4¨]«§�¬¢Ä©eª�¨]ªeÁt�q�4¤²«6�iª��B�¡�©4�¡¨]ª�¤¼�²«q¤� 6�e�D��¾��¡ +�¡¥�¨]«#¤­¥¸��¦e�1«Wµp«A¨D�¡ �Ôiª�¥i©¯�k�¡�i���D¨r«q��¥�¨k�e��«W¦i±¡±r��«D«»¢®¦4��¤� 6�4���¡ 6�¡¥4¨]ª�¨A¤­�?¥�¢®���ª�Îr�D��ª���Ñ®Âq���W�²©eÏ6©eª¬¨]ª��iª�«W��¨k�iª�¨�±r��¥i±k��¦i«»¤�¾��r��µy¾�ª��¼¤²©eª�¨D��«O��¦e���D��«W¦4��¨]«O�e�D�¡¾?¤���¦i«»��µyª�±k�4¤��¡¾���©¯¢®���«W¨]ª�¨W¤²«W¨A¤Ì±¡ª¿�É��µ�£��¡¥e�¡�rª�¨D��©�©eª�¨]ª�Á

áMâ�ãä¶åcæ�ç�è4éêç�ëBì¬ë�íeî»âiëSï[ð»ï[ñò�ç�ëiì�ëFíeîÖâBëQï�è�ðÖï[ñàò�ç[ó�ô[îÖð»íeëBì¬â3âBîÖðÖõ%ðÖï[ëBì�ðÖåöï�ò�è�âiõ)ëSïöì�ðÖíÊð»ïcì�â�÷ñcæ�ëBì�ðÖåcïøkùú�û¼üeý�þ�ÿ��qú���ü�������1ü�����4þ�ÿ� ����Oû�����¡ÿ� ����� Öú������Dý��<þ�ÿ����� ��� ������Wû������� �����ù!�"�Öú#�þ%$¼þ%&'�)(?þ%�����* »ûÉþ'� Öú�ÿ»þ%�&�ú

Öú��,+-��� ��Dÿ-.²þ�ÿ-/)�10%�*��2�"��ù3���»ú�?þ%$¼þ%&'��û4Ðù3��$����Wþ%5657��û8���� Öû þ'�ü9�* �:Bþ%$��� ����»ú��û8��;�?û40'�DÿÖü»û� <�>='���?�@��(A�����Dÿ�&�ÿ���> B�C�BED�F*G�D�H"I%J*G�K =%����6���?+<û4 »û8�Wþ�ÿ���LM ùú�û¼ü!��� Öú�þ�ÿeû¼ü��þ¡ýN�� � Öú#��;��û�0'�DÿÖü»û4 <�qþ�. B $�$¼û��þ�û¼üO�* 3����ÿÖû��&�P����OLRQ�þ�ÿ��)�� !+<þ%$��57�?ûS�T;��û�0%�kÿÖüÖû� <�qý��¡üiü�����4þ�ÿ� ����

���U�*6/cù@V�ùW+<þ�þ'���Dÿ2�* »û40'� C �Dü����¡ÿ2�ÖúX:SÿÖþ'&�ÿ���5Y(#��$�$¼þ¡ýüÖú�û���LZ

Page 2: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� ��������� �����������

������������� �"!#�$���&%�!#'(!#)*!�+,�#+-!/.�021��3���#%546�$7/89%:�<;=�>�$���?'@+,7�1��A.B�#+C@�3'�DED���'$�>�$7��/������7/1*+�$�>F��$�#+,���?'(!G'��37/�*+7#4H���:467���8E!G'��37/�IDJ!�+K)*�#.B7/8��L!G�M���*.B�$�N!�+O��������PQ�38RFS7/�$'A!G�?'T!G�*%M%:�<UE.V1��3' F���7�)�����8W467���8�!G�?P�7/�$X�Y!G����Z#!G'��37��J+B[]\^�*+,'(!G�J.B�#+_7G4�'�D��"+`F��$7/)��3��8a!#F�F*�#!G���3���]���Q'$Db�K���3'$�>�(!G'�1��$�TD*!�c2�T)S�>���Q.>!G�3���#%edgf�h(i2d$jk<l"m2n/o�p f`q<r�s#t^u:'�D��`v#fVw o2m:xyl h l"m:x f p d o�xyl i m F��$7/)��3�>8zq{rBt*7/�@'$D�� l"m v xyo2m hBf l j:f m:xyl | h o�xyl i m Fb�$7�)b�3��8}q~s/�Gt^u!#�*%�8�7����@�$�#.B�>�:'��3PH'�D��Tj o�xyo h k f o2m v l"m�p F��$7/)��3��8������2!#�(%:�N%�!�+@!&.B�$1*.V�"!G���*�A+O'�+O'$�>F��3�E!&�`�_���#���F���7?.B�#+�+Hq<r�rBty[��1*+O�����#+�+7��$�Y!G����Z#!G'��37/�*+-.>!G�3��'�D��"+Fb�$7�)b�3��8�'$D��RwKfVd p f^�2���?d p f�F��$7/)��3�>8][\^�E'$D���+�F*!#F*���-C��&.B7��*+,�"%:�>�@'$D���%�!G'A!K.B���#!G�J+O�3�b� 7G4�c2����P��"!#�$�/�H%b!G'(!#)*!�+,�#+-7#4��3�:467/�$8E!#'$��7��E'$D*!#'

���>�#%�'$7])*�EF���7?.B�#+$+,�#%�!�+ 021��".(�?�3P2u��BU�.B�3�>�:'��3P2u�!G�J%I!/.�.B1��A!G'����3P�!�+HF*72+�+O��)��3�2[���7�� �3�J+O'(!#�*.B�2u�7/���8�7/�:'�D]�"+`!�',P:F���.�!G��)�1*+O�����#+�+�.VP�.B���H���Q.B�>�$'(!#�3��%:�3���#.B'_8�!G�$�2�>'$�3�b�K7/FS�>�(!G'��37/�*+B[R�D��"+_8��#!#�*+_'$D*!#'+,7�1��A.B�#+-7#4�%�!G'A!K�����N%�'$7R)S�&�"%:�>�:'��{�*�#%�u*!�.�021��3���#%=u*.B7/�*%:��'$�37/���#%=u�!G�J%�'$D�����.B7����$����!G'��#%�7/�_8��������#%C@��'$D����Q!L+O8E!#�3��F*7���'$��7���7G4�!�8�7/�:'�D�����7/�(%:���&'$7LF��$��FJ!G�$�T8E!#�3�3�����2+�!G�*%����#+OF*7/�*+O�L!G�J!G�3Pb+O�N+B[E\^'��+5��7/'K1b�*.B7�8R8�7���467/�K��!G������)b1*+O�����#+$+,�#+ '$7�!�.�021��3���L+$.B7/�$�#+ 7G4&%b!G'(!#)*!�+,�#+K�#!/.gD�8�7/�:'�D�u�C@�3'$D�!'�7�'(!#��+O��Z��`7G4�D?1��*%:���#%�+-7#4�8��3���3��7��*+�'$7�7#c2����!K)����3�3��7��E�$�N.B7��A%�+Bu*'$D*!#'_�����N%�'$7R)S��!G�*!#�3P?Z��#%�C@��'$D����!H46��C�%�!�P�+V[�\��L! 8�7����_���>�����(!#��+O��'�'$������u*%�!#'(! 8��3�b�3����!GF�F����".�!#'$��7��*+@%:�>FS�>�*%�1�F*7�� ! .B7/�*%:�3'��37/���#%+�!G8�F���� 7G4�%�!G'A!�'$DJ!G'H��+`.B7����$����!G'$�N%�C@��'$D 8K1���'$��F��3�&+O7/1��(.V�#+_7G4��3�?467��$8�!G'$��7�� !#�*%�D����J.B�T!�.�.V1��(!#'$�%�!#'(!#)*!�+,��8R���$�/�3���`7�F*���A!G'��37��J+@!G�$��D�����D���P�%:�N+O�3�A!G)����2[¡ M��'$D�����!#�:PR+O���������_%b!G'(! +,��'�'$D���F��$7/)��3��8���+!#�"+O7L.B��1*.B��!G�¡467/�H!/.�.B1��A!G'��T+O'(!#'$��+O'$��.�!G��!G�*!#�3Pb+O�#+V[5 M��'$D�7/1�'&!�.�.V1��(!#'$� �"%?���:'��{��.>!G'$��7��]7#4�%:1�Fb�3�".>!G'$�N%���:467���8E!G'��37��¢u£46�$�#021����J.BP�%:��+O'$���3)�1b'$�37/�*+T!G�*%¤c/!G���37/1*+K7�'�D����E!#���/�$���Y!G'$��7��*+�C@���3��F��$7?%:1J.B��4y!#�"+O�]7/�8���+O���#!�%:�����&+O'A!G'$��+O'��".�+���#!�%:����� '$7TF*���$DJ!GF*+@1��?'$�$1J+O',C7/�$'$D?P����>C¥�?��7#C@�3�#%?���2[¦�!G����� 7/�$�2!#���3ZN!G'$��7��*+_D*!�c2�`���A!GF�Fb�3�#%EC@�3'$DL'$D���+�Fb�$7�)b�3��8§467���8E!#�:P�P2�N!G�(+@C@D�����%:�#!#�3�3�b�KC@��'$D

���"+O'A+�7#4��*!G8��N+-!#�*%]!�%�%?�$�#+�+O�#+_!#�*%�7�'�D����_��%:���?'$�<46P:����� �3�:467/�$8E!#'$��7���[_¨��$�N%:�3'�.�!G�A%].B7�8RF*!G�����#+Bu:467/���©b!G8RF��3�2u����>�#%�'$7 !/+$+,�#+$+H'�D��K�*�*!#�*.B��!G����"+,��7#4_F*7�'����?'$�"!#����>C§.B1J+O'$7/8����A+ªC@Db7]8E!�P]F�1��$F*7Y+O����PD���%:�E'$D��>�3�H'��$1��L�"%:�>�:'��3'$���#+ «^!#�*%I'�D:1*+H'�D������ D��"+,'$7���PS¬`7/�K8�!G�?1:4y!�.B'�1��$�R����C�7����#+V[¤�Db�]­�1*+,'$�".V��-�>F*!G��'$8����?'�!G�*%`7�'�D������"!�C ���:467/�(.B��8R���:'J!G���>�*.B�3�N+�+O������'$7�%:��+$.B7#c2���¢.B�$1*.V�"!G�#���3���b+=�3�`.V7�8�F�����©@C�>)*+7#4@�*�*!G�J.B�"!#�'$�A!G�*+�!�.B'��37/�*+H'$7L1��*.B7#c2���&+O7/F�D���+O'$��.�!G'��#%]8�7����>P]�"!G1b�*%:�����3���L!�.V'$�3c?�3'��3�#+�q~s�s�ty[E®��$�$7/�(+%:1b�'$7ª%�!G'A!ª�>�:'��$P_8���+O'A!G�2�#+VuB4y!G1���'OP&+,���*+O7/���$�N!�%:�����2+¡7/��8�7/�$��8E!G���".B��7�1*+�!/.B'$��c:��'$���#+Bu�F���7#c:��%:�@+�.B7����#+7#4����$��7����>7�1*+@%�!#'(!/+O��'A+-'$D*!#'@F��$7/F*!G�Y!G'�� ���$��7��(+���E�#!�.(DL+O1*.�.V�#+$+,�3c2�_�/�������A!G'$��7��E7G4£%�!G'A!:[�D��EF���7�)�����8¯7G4�8��������3�b��',C�7�7�� 8R7��$�R%�!#'(!G)J!�+O�N+5D*!/+H)*�����Q'A!�.(�:���#%�����!]+O'��(!#�3��D?'O467/�$C�!G�(%

r

Page 3: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

4y!/+OD���7��Q)?P]!E+O��8�F���� +O7/�$'`7G4�'�D��T.B7/�*.�!G'����*!#'$�#% %�!G'A!�+,��'(+-467����37#C�N%�):P�!�%:1�Fb�3�".>!G'$� �>�3�38R�3�*!#'$�37/�F�DJ!�+O�]7#c2��� '�D��]+,7���'$�#%��3�"+,'Lq � t^[��-7#C���c2����u�C@D����e'$D���%�!G'A!G)*!/+O�#+T�3�?c27��3c2�N%Q!G����D���'����$7/�����b��7�1*+Vu8��N!G�������H'�D���PE%:7 �b7�'�+OD*!#�$�`'$D��&+�!G8��`+�.gDb��8E!:u27/�-'�D*!G'@'�D��&+$!G8R�_�$�#!#�3X6C7/�$�"%����?'$��'$���#+�!G�$�`����F��$�>X+,���:'��#%E%:�{;��������?'$�3PT�3�L'$D��&%�!#'(!/+O��'A+Bu='�D��`F��$7/)��3��897#4�8��������3�b�H)*�#.B7/8��#+8�7/�$�`%:�<UE.V1��3'>[�D��`�*�(+,'��+$+O1b�2u=C@D������T%�!G'A!G)*!/+O�#+`D*!�c2� %:�<;����$���?'`+�.gD��>8E!:u�D*!/+_)S�>��� !�%�%?�$�#+�+O�#%]��©?'$���*+,�3c2����P��3�]'�D�� �3��'$���A!GX'�1��$�`!#�*%��"+��:��7#C@�L!�+�'$D�� v>h��*fgw o�l"m:x f p d o�xyl i m F���7�)�����8¯q �Gty[¡  �`!G����Fb�$�38�!G�$���3P`�3�?'$�>�$�#+,'$�#% �3��'�D��+,�#.B7��J%KF��$7/)��3�>8��¡D��>'$����7����>����7�1J+£�$�>F��$�#+,���?'(!G'��37/�*+£7#4�%�!#'(! !#�*%��3'(+��38�Fb�3�".>!G'$��7��&C@D����E8��������3�b��7/��,7/�3������� 8K1b�3'$��F��3��%b!G'(!/+O��'A+B[�D�� 461��*%�!#8����?'(!#�¡F���7�)�����8¯�3�]8R���$�/����F�1b�$��� ��+_'$D*!#'�'�D��R%�!G'A!�+O1bF�F��3���#%�)?P�c/!G���37�1J+H+O7/1��(.V�#+

',P?F��".�!#�3��P �3�*.B��1*%:���"%:�>�:'��{�*���A+£7/��+O'$���3���T%b!G'(!?u�'$D*!#'_!#�$�`����'$D�����%:�<;����$���?'@!#8�7��b�T%:�{;��������:'�%�!G'A!�+,��'(+7/��+,�38�F���P]���$��7����>7�1*+T%:1��E'$7�!]c�!#�$����',PQ7G4��$�#!/+O7/�*+�« ���*.B��1*%:�3�b��',P:F*7/���(!#F�D���.�!G��7��T'$�A!G�*+�.B�$��F�'$��7�������$7/�(+Bu�7/�@F�1���FS7Y+O�B461b� 46�A!G1*%:1b�3���?'@!/.B'$��c:��'OPL«^!#�3��!�+O�N+g¬��3�R'$D��&.�!/+O�`7G4��*!G8R�#+g¬A[��-���*.B�Yu '�D��`�#021*!G���3',P7#4`',C7 c�!#�31��N+57#c2��� '�D��L%:7�8E!#�3��7G4ª'$D���.B7�8�8R7���,7/�3�M!#'$'��$�3)b1�'$�E�"+ ��7/'�+,FS�N.B�{�*�N%I!/+�! +O�38RF��3�!#�$�3'�D�8���'��".¡Fb�$�#%:��.�!G'��2u#)�1�'��A!G'$Db����)?PH!�+O��'�7G4��#021*!G'��37/�*!G�b!G©?�37/8E+ '�D*!G'�%:�B�*�����#021��3c/!G�����*.B�Yu��^[~�Y[3u#):P!#�Qf��� o�x^l i m�o�k�x �*f�i2d �G[�����'$����8��3�b�3���_'�D*!G'�',C7H���#.B7/�(%�+�46�$7�8�',C7�%�!G'A!G)*!/+O�#+F���7#c:��%:�-���:467���8E!G'��37/�!#)S7/1�'�'�D���+$!G8R�����?'$��'OP�.�!G� )*��Db�3��Db�3PM.V7�8�F�����©�[   �]1*+O��!Q�$1�����X6)*!�+,�#% �?��7#C@�3�N%:���])*!/+O�Q'�7��8�F��3�>8K���?'�!#���#021*!G'��37/�*!G��'�D���7���P2[�D��TF��$7/)��3�>8 7G4��"%:�>�:'��{46P?�3���R+O��8��3��!G���3�*+,'(!G�J.B�#+_7G4�'$D��T+�!G8�� ���#!G��X C�7��$��%��>�:'��3',PE):PL8��#!G�J+-7G4

!#��������©b!�.B'�8E!#'(.(DKDJ!�+)*�����L+O'�1*%:���#%K)?PK'�D��`��1�Z�Z�PT��!G'(!#)*!�+,�?q��2t�.V7�8�8T1����<',P2[���1*.(DT7G4�'$D��_C�7����D*!/+H.B7/�*.B���?'$�A!G'��#%�7��Q'�D�� F���7�)�����8¯7G4���©:�N.B1�'$�����E!E021����$P�� 7Gc2�>�`!�461�Z>Z�P������"!#'$�37/�*!G��%�!G'A!G)*!/+O�2[�D��&!#�*+OC����467������"+'$Db�`+O��'@7#4�!#�3��'$1�F����#+@+$!#'$��+�46P?�3����� �3�E!H��7/��X"461�Z�Z�P������"!#'$��7��*!#��%�!#'(!G)J!�+O��!G�*%!#�3��'$1bF��3�#+@'$DJ!G'�+$!G'��"+^46P�� C@�3'�D��3�L! '$D����#+ODb7��"%Ec/!G�31b�2[@��1�Z�Z�PR�$����!G'$��7��*!#��%�!G'A!G)*!/+O�#+`.�!#����©?F����".B��'$�3P+,'$7���� F*72+$+,�3)����3��'OP�%:�"+,'$�$��)�1�'��37��J+�467/�_�#!�.(DEc/!G�31b�H�3��!K'$1bF��3�2u*7���1*+,�HF*72+�+O�3)b�3�3��',P:X6)*!�+,�#%��$�>�"!G'��37/�*+�'�7%:�>'$����8��3����D�7#C�+O'$��7����/�3P ���#.B7��A%�+�)*���37/���`'$7H'�D��461�Z�Z>P +O�>'%?�B�*���#%H)?P !&0 1b���$P�q{r � t^[��D��-Fb�$7�)b�3��8C��Q+,'$1*%:PM���M'$D���+�F*!GF*���L�"+E.B�37Y+O����P¤�����"!#'$�#%¤'�7I'�D�� F��$7/)��3��8 +,'$1*%?�3�#%¤)?PM'$D��]461�Z�Z>PM%�!#'(!G)J!�+O�.B7/8�8T1����3'yP2[��-7#C��c2�>��u¡C@Db�3�3�T461�Z�Z�P 021�����P:�����]+,P�+,'$��8E+`!#�$�L.B7��J.B���$�b�#%�C@�3'�D�'$D��E!/.�.B1��A!G'��E!G�*%�BU�.B�����:'�461�Z>Z�P��$�>'$�$����c/!G��7G4�'�1�F��3�N+���3c2�>�E!K021�����P���u�C�&!G���&.B7��*.V���$���N%�C@��'$DE'$Db��Fb�$��X6F��$7?.V�#+$+,�3���7#4'�D�� ���?'$���$� %b!G'(!R+O��'_)*�B467/�$� ��'_�"+-�>c2���E�$�#!/%:P�467/�`0 1b���$P?�3���b[`�D�� F���7?.B�#+$+_C�� +O'�1*%:PL�"+-7#;=X6�3�����!#�*%����:c27/�3c2�#+�.B��1*+O'����$����� o�k3k�x �N� k f$v_���:'�7��#021��3c/!G�����*.B��.B�"!/+$+,�#+B[T�D���+_.B�31J+O'$�>�$�3�b���"+_��1b�"%:�#%�)?P�'�D���#021*!#'$�37/�*!G��'�D���7/�$P�C@D���.gDL.�!#�E�3�*.B��1*%:�-461bZ�Z�P�8E!#'(.(D��3�b��'��#.(D����"021��#+V[

s

Page 4: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� ���*.B��C��!#�$��%:�#!G���3���@C@��'$D`�"!#�$�/�%b!G'(!#)*!�+,�#+Bu/C��+O���>�_'$7��$�#%?1*.B��'�D���.B7�8�Fb�3��©?�3',P7#4*'$Db�£Fb�$7�)b�3��8)?P]F*!G��'$��'$�37/���3�b��'�D��R%�!G'A!G)*!/+O�E�3�?'$7EF*!#�$'$��'$��7��*+`7��Eh k �Yv x fVd$v`�3��+O1*.(D�!�C@!�P]'�D*!G'&'$D��TF*7�'$�>�:'��"!G���3P8E!#'(.(D��3�b�����#.B7/�(%�+&!G�$�L!/+$+O�������N% '�7]'$D���+$!G8R�E.B�31J+O'$�>��[Q« �-���$�TC�R1*+O��'�D��E'$����8a.B�31J+O'$�>�H�3���3�3�b�C@��'$D '$D��T.B7/8�8�7/��'$�>�$8�����7���7���PE7#4�+O'A!G'��"+O'��".�!#��F*!G'�'$���������#.B7��/���3'��37/��[{¬�\^�]'$D���+_F*!GF*���`C�R%:��+$.B1*+�++,7��31b'$�37/�*+¡'�7�8R���$�/����F�1b�$������� C@D��".(D +,7��$'��3����7G4�'$D��@�>�:'��3�$��%�!#'(!#X^+,��'��"+¡1*+,�#%H'$7�)��$�����_'$Db�@8E!G'A.gD���������#.B7��A%�+�.B�37Y+O��'$7/����'�D������3� !@)*7�1��J%:�#%H��������D?)*7��$Db727?%5���H!��3�3�b�#!G�����"+O'>u�!/+ C����3�?!/+¡!#� 7�F�'��38���Z#!G'��37/�_7G4'�D��"+�)*!/+O�".@'$�N.gD��b�"021��'�D*!G'�+O�����b+¡'�7H�����38����*!G'��£���#.B7/�(%�+�%:1����3���&+,7��$'��3���&C@�3'�DK��©b!�.V'�%:1�F����".�!#'$�@�2��Pb+B[®��"+,��C@D������@C��D*!�c2�@'$���#!G'��#%5'�D���.�!�+,�-7#4�.B��1*+O'����$�����_�3�TC@D���.gDT+,7��$'��3���&�"+��$�>F��"!/.B�#%H)?P !H+,�3���/�3��Xy+$.>!G�F���7?.B�#+�+�q{r���t^[��D���[email protected]�31J+O'$�>�$�3�b� �$�#+,��8K)b�3�#+�'$Db��Db�3���A!G�(.(D���.�!G��.B��1*+O'����$�����T+O'��(!G'�����PRF��$7/FS7Y+O�#%�����q��Gt�'�7�BU�.B�����:'��3P�F*���,467���8¯021����$���#+-7#c2�����"!#�$��� 461�Z�Z>P������"!#'$��7��*!#��%�!G'A!G)*!/+O�#+V[ �-7#C���c2����u*C�T%?��8�7��J+O'$�A!G'��'�D*!G'>u*!�+7��b��8�!NP �>©:F*�#.B'>u:��7/���`7G4�'$D��N+O�`)*!�+,�".`!GFbF��$7Y!�.(D��#+@!G��7����&.�!#�E��1*!#�(!G�?'$�>��Db�3��DL!/.�.B1��A!�.BP2[�-�>�$�2u�!�.�.V1��(!/.BP�8��N!G�*+-Db7GC 8E!#�:PE7#4@'$Db�T!�.B'�1*!G��%?1�F��3��.�!G'��#+_!#F�F*�#!G���3���E�3�]'�D��T%�!#'(!�DJ!Nc2�&)*�����8E!#'(.(D��#%T!G�*%E8��������#%�.V7��$���#.B'��3P2[�D���+F*!GF*���@��+£7����2!#���3Z��N%�!/+£467����37#C�+B[�\^�L+O�#.V'$�37/�EsHC�ª%:��'(!#�3�¢! +OPb+O'$�>8 C��_D*!�c2�_�38RF��3��8T���2'��#%

'�D*!G'`F*���O467/�$8E+�!��/���������". ��������������1��$�/� F��$7?.B�N+$+�'�D*!G'`���*.B�31J%:�#+�!�%?�#.B�"!#�(!#'$�3c2�&�$1���� �"!#����1*!#���K467/�+,FS�N.B�{46P?�3����!G�]�#021*!G'��37/�*!G��'$Db��7���P�8E!#�:�����K��'_�#!/+O�3�>�_'$7��>©:F*�����38����?'�!G�J%�8�7?%?�{46PE'$D��T.V�$�3'����$��!�467/��#021���c�!#�3���J.B�2[`«^�D���+-�"+�!Kc2����PE�38�F*7���'(!#�:'�%:�#+,�"%:���A!G'�1�897G4�.B7�8R8����(.V�3!#�=7/�$�2!#���3ZN!G'$��7��*+_'�D*!G'_C�7����1��J%:����+O'$���".B'�'��38���.B7/�*+O'��(!G���:'A+¡!#�*%�'�D:1J+ D*!�c2��F����#.B�37/1*+=�3��'$'��3��'��38���'�7-�>©:F*�����38����?'*C@�3'�DH!#�3'����$�*!#'$��c2�8E!#'(.(D��3�b�_.B���3'����$��!:[{¬ª�D����T�3�T+,�#.B'$��7��R�_C��%:��8R7��*+,'$�(!#'$�@'�D*!G'���7&+O�3�b���3�@FJ!�+$+�7#c2����'$Db�_%�!#'(!`1*+O�����7/���HF*!#�$'��".B1���!G��+�.gD��>8��`!�+�!T+O7���'$�����K�2�>P�F*���O467/�$8E+@!/+�C����3��!/+-.B7/8�F�1�'��3���&'$D��&'$�A!G�*+,�3'$��c2�`.B��72+O1b�$�7#c2����+O��c2�>�(!G�?�3�J%:��F*���*%:�>�:'���1��*+��#!/.gD&1*+O�����&!�%?�{;����$�>�:'�+O7/�$'$�����`�2��P_467���7/�(%:�>�$�3�b�H%b!G'(!?[��D��@8�7/�(!G���+_+O��8�F��3PE'�D*!G'&+O�>c2���(!#��%:��+O'��3�*.B'��(.(D��#!GF�KF*!�+�+O�#+`7#c2���-'�D��R%�!G'A!�Fb�$7?%:1*.V�K8�7/�$��!�.�.B1b�(!G'�� �$�#+,1��3'A+'�D*!G�]7/�������©:F*���J+O�3c2���5F*!/+$+-7#c2����'$Db� %�!#'(!:[��D��"+��$�#+,1��3'�C@!/+�c2�����{�*�N%����*%:��F*���J%:���?'$�3PR):PL��7��b���!#�*% ®��3�/!G�Lq<r��GtbC@D�7_�$�N.B���?'$�3Pª+O'$1J%:�3�#%`'$D���+�!G8���F���7�)�����8 1*+O�����`!_%?7�8E!#�3��X6�3�*%?��F*���*%:���?'�8E!G'A.gD������!#�3��7/�$��'$D�89!/+-!#���#021*!#'$�37/�*!G��'�D���7/�$P2[\^��+O�N.B'$��7�� � C�RF��$7#c?�"%:�R!�%:�>'(!G���3�#%]'$���#!G'�8����?'-7#4�!��$�#!#�3X6C7/�$�"% %�!#'(!]+O�>'�u¡Fb�$7#c:��%:�#%]):P]'�D��

¨�D����"%¤  ���{4y!#�$���-��F*!#�$'$8R���:' 7#4 '�D�� � '(!#'$�]7#4H �!�+,D��3�b��'$7/��u_C@D���.gDeC@!�+�1*+,�#%¤'$7��#+O'A!G)����"+ODM'�D��c/!G���"%:��',PQ7G4&'$Db�#+O�L�$�#+,1��3'A+B[� �1��TC7/�$�e1*+O�����Q+,'(!#'$�"+,'$��.�!G���3P������b���(!#'$�#%e%�!G'A!G)*!/+O�#+E!G���37#C�N%I1*+K'�7%:�>c:��+O� .V7��?'$�$7/�3���#%]+O'�1*%:�3�N+-C@D�������):PE'�D�� 7�F�'��38E!#��!/.�.B1��A!�.BPL7G4�'$Db� �$�#+,1��3'A+-C����� �:�b7GC@� !�F����37/�$�^[\^���$�#!#�@C7/�$�"%�%�!#'(!/+O��'A+Bu7/):c?�37/1*+O��P�7/���].�!#����7�'T�:�b7GC�'$Db��)*�#+,'�!#'$'A!G�3�J!G)��������#+O1b�3'(+HC@��'$D�D�����D

Page 5: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

F����#.B��+O�37/� C@�3'�D�7�1�'�!_'$�38R�@.B7/�*+O1�8R�3���`!#�*%K��©?F*���*+,�3c2�D?1�8E!#� �3�*+,F*�#.B'$��7��R!G�*%Tc�!#�3��%�!G'��37��TF���7?.B�#+$+V[\^� .>!�+O�N+ C@D��>�$�'�D��@%b!G'(!/+O��'A+�!G���D?1����Yu�'$D���+ 8�!NP���7/'�)*�£46�#!/+O�3)b�3�2[��D������B467����2u#'$D����$�#+,1��3'A+ ����F*7��$'��#%D��>�$� !#�$�T%:1b� '$7�'�D�� D:1b8E!G�L�3�*+,FS�N.B'$��7���7#4�!�+,8E!G����)�1�'`+,1�)*+,'(!G�?'$��!G��+�!G8�Fb�3�H7#4�%�!G'A!������"!#'$��c2��'�7'�D��H���?'$���$�&%�!#'(!E+O��'>[��D�� �$�#+,1��3'A+�7/�]'$D��&�$�#!#�3X6C7/�$�"%L%�!G'A!Kc/!G���"%�!#'$� 7�1b�-F�����c?�37�1J+-F��$�N%:�".B'��37/�*+@!�+)*�������L0 1���'$�T!/.�.B1��A!G'$�Y[�« ���� 8E!�PEc?�3��C '$Db�5467/�$8E!#�¡���#+O1���'(+-7#4@'�D��"+`.B7/8�F*!G�A!G'��3c2�H�>c�!#�31*!#'$��7�� ):P)���7#C�+O�3�b�K'�D��&+O�3'��`D:'�'$F �<����C@C@C`[ .�+B[ .B7���1�8T)��"!?[~�#%:1�� � +�!G�y[{¬�¡���*!G���3P2u����T+O�#.V'$�37/���:u2C�@Fb�$�#+,���:'��3����'$�"!#���$�N+O1���'(+¡7/��!#��\^�*.B����8����?'(!#�?�����$�/��� ��1�������!G����7����3'�D�8][

�D���)*!�+,�"._��������������1��$�/�_F��$7?.V�#%:1����_F��$�N+O���?'$�#% �3��+O�#.B'��37/��s&!�+$+,1�8��#+�!H+,�3���/�3�`%�!#'(! +,��'�[�\y4�!`����C%�!#'(!T+O��'�!G���$�3c2�N+Bu:��'8T1*+O'�)*�`.B7��J.�!G'����*!G'��#%�'$7 '�D��`F��$��c?�37/1*+O��PKFb�$7?.B�#+�+O�#%E%�!#'(!T+O��'�!G�*%E'$D���)*!�+,�".��������������1��$�/�KF���7?.B�#%:1b�$�T��©:�N.B1�'$�N%�7#c2���_'�D��"+_���?'$���$�T%�!#'(!E+O��'>[T�D���\^�*.V�$��8��>�:'A!G��!G����7/�$�3'�D�8¯�$�>X8�7#c2�#+�'$Db�"+¡���#+O'��$�".V'$�37/� ):P&1*+O�����H���:467���8E!G'��37/�H�2!#'$D��>�$�#%H46�$7/8�F��$��c?�37/1*+���������������1��$�/�-��©?�#.B1b'$�37/�*+B[� �>c2���(!#��+O'$�A!G'��������#+�467��ª%:��'$�>�$8������3��� C@DJ!G'_���:467���8E!G'��37��L'$7��Y!G'�D����`!#'_'$D��&���*%�7#4�N!�.(D���©?�#.B1�'��37/�7#4�'$D��`���*.B�$�>8����?'(!G��!#�3��7/�$��'$D�8z!G���`F��$7/FS7Y+O�#%�[�  �HFb�$�#+,���:'@�����3'��"!#�=��©?F*���$��8����?'(!G�*���#+O1���'(+@+,D�7#C@�3���'�D*!G'�'�D��@�3�J.B�$��8R���:'A!G�Y!G�3�/7����3'$Db8 �$�N%:1*.B�#+�'$Db�@'$�38R�£�b���#%:�#%`'$7_�>©:�#.V1�'$��!_�����$�/��� ��1������@F���7?.B�#%:1b�$�C@D��>��.V7�8�F*!#�$�#%�C@��'$DE'$D��`)*!/+O��.�!#�3�/7��$��'$D�8�[

� �������#��� � �� ��� ��K�����#��� �����#�]���������

\^��7�1b�@F��$��c?�37/1*+C7/�$�TC�_���:'��$7?%:1J.B�#%�'$D���)*!�+,�". �(+,7��$'��#%:X6��������D?)S7/�$D�727?%�8R��'$D�7?% �ª467���+,7���c:�����8��>�$���/��F�1�������!/+£C�>�3�*!/+!_c/!G�$��!G�?' �A%:1�F����".�!#'$�����3��8��<�*!G'��37���-8���'�D�7?%=[ �-�����-C���%:�#+$.V�$�3)*���3�R%:��'A!G�3�'�D��"+@)*!�+,�". !#F�F��$7Y!�.(D�uS467/�3�37#C��#%�):PL!�%:�N+$.B���3F�'��37��L7G4�!#�]�3�*.V�$��8��>�:'A!G�=c/!#�$�"!#�:'�'$DJ!G'_8��>�$���N+@!K����C«y+O8E!#�3�3�>�B¬��3�*.V�$��8��>�:'�7#4�%�!#'(! C@�3'$DL!#����©?�"+,'$�3�b�HF�����c:��7�1*+,�3PE.V�3�#!#�*+O�#%R%�!G'A!�+O�>'�[

����� �����! #"%$'&)(+*-,/.102�354768�9&):;�;<=,/.>��,?,-3 @ �A0B��,-3

C �3c2�>�]!�.B7/�3���#.B'$��7��E7G4�',C7R7��_8�7/�$�&%�!#'(!G)J!�+O�N+Bu�C�`�*�(+,'`.B7��J.�!G'����*!G'�� '$D��>8 ���:'�7�7��b� +O�N0 1��>�:'��"!G����"+O'`7#4�D ���#.B7/�(%�+T«^!N46'����&.B7��J%:�3'��37��b�3���L'$D��T�$�#.V7��(%b+g¬�!G�*% '$D���� !GF�F���P]'$D��R+O7/�$'��#%:X6�����3�/D:)*7/�$D�727?%8��>'$D�7?%=[ �Db�Q+,7��$'��#%:X6��������D?)S7/�$D�727?% 8���'$Db7?%I467��E+,7��3c?�3�b�I'�D��]8����������>F�1�������Fb�$7�)b�3��8 .�!#�¥)*�+,1�8�8E!#�$�3Z>�#%H�3�E'$Db�$���`F�D*!/+O�#+ �

r/[FE¶æ�âiëBì�â á{âeã[è �¨�7�8�F�1b'$��!H�2��PH467��@�#!/.gDT�$�N.B7��A%K�3��'�D��_���"+O'�):P �>©:'��(!�.V'$�3�b�H�$�>�3��c/!G�?'��*����%�+7/�_F*7���'$�37/�*+-7#4��*����%�+B[��D��T.(D�7���.B�`7G4�'�D��H�2�>PE%:��F*���*%b+-1�F*7�� !#� �$�����$7���8�7?%:��� �H'$D*!#'_8E!�P

Page 6: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

Current window

of records

of records

Next windoww

w

�¡����1����Kr �� M�3�*%?7GC � .�!G�L%:1b�$�3�b���_!#'(!�¨��3�#!#�*+O�����

)*�&c:����C�#%R!�+-�?��7#C@�3�#%?���`�3�?'$���J+O�3c2�ª!G�*%L%:7�8E!#�3��Xy+OF*�#.V�{��. � '�D��`�B;��#.B'��3c2�����N+$+7G4�'$D��&+O7/�$'��#%:X�b���3�/D:)*7���D�727?%Q8���'�D�7?%�D��3�/D��3P %?��F*���*%�+`7���!�F���7�F*���$��P .gDb72+O�>���2��PLC@�3'�D�'�D��K���:'����?'_'$D*!#'.V7�8�8�7/��)�1�'������$7��b��7�1*+�%�!G'A!KC@�3����D*!�c2�H.V�372+,���3PR8E!G'A.gD������ �2��Pb+B[  � %?�"+$.V1*+$+@'$D��&�B;��#.B'�7G4'�D��&.gDb7��".V�_7G4�'$D��`�2��PR�3�E+,�#.B'$��7��Ls:[ s:[

s?[��Xåcæ�ì�� ëiì�ë � � 7/�$'�'$D��`���#.B7��A%�+�3�E'�D��&%�!G'A!5���"+O'@1J+O�3�b� '$D��`�2��PT7G4�+,'$��F r/[�?[�� âiæ�ñöâ �@��7#c2�H!H�*©?�#%�+,�3Z��`C@���*%:7#C '$D���7�1��/D]'$D��&+O�N0 1��>�:'��"!G�����"+,'@7G4��$�#.V7��(%b+����38���'$�3�b��'�D��.V7�8�F*!#�$��+O7��J+�467/�H8E!#'(.(D��3�b���$�#.V7��(%b+�'$7L'$D�7Y+O�����#.B7/�(%�+`�3� '$D��TC@�3�*%?7GC`[L\ 4@'�D��E+O��Z�� 7G4�'�D��C@���*%:7#CM�"+��M�$�#.V7��(%b+Bu:'�D����T��c2����PH����CM���#.B7/�(%K���?'$�>�$�3�b�_'$D���C@�3�*%:7#CM��+£.V7�8�F*!#�$�#% C@�3'�DK'�D��Fb�$��c?�37/1*+�� r��$�#.B7/�(%�+H'�7��*�*% �$8�!G'(.(D������ �E�$�#.B7/�(%�+V[Q�D����*�A+O' ���#.B7��A%Q�3�Q'�D��EC@�3�*%:7#C+,�3��%:�#+7�1b'@7G4�'�D��`C@�3�*%:7#C « � �>�ª�J��1����Kr#¬([

 MD�����'�D��"+`F��$7?.B�N%:1��$�E��+���©?�#.B1�'��#%Q+,���$��!G�3��P !�+ !�8E!#�3��X68���8T7���P�)*!/+O�#%QF���7?.B�#+�+Bu�'$D��L.B���#!G'���2��Pb+�F�D*!/+O�_��+!G� �&« D]¬�7/FS�>�(!G'��37/��u�'$D��ª+O7���'$�����HF�DJ!�+O�`��+��&« D �37/�/D�¬(ub!G�*%T'$D��_8R���$�/�3���`F�D*!/+O�_��+�&«��?D�¬Au�C@D�������D ��+£'$Db�_�:1b8K)*����7#4��$�#.V7��(%b+£�3�R'$D��`%b!G'(!#)*!�+,�2[��D:1*+Vu:'�D��_'$7/'(!#�='$��8���.B7/8�F��3�>©:��'OP7#4�'$D���+�8R��'$D�7?%E�"+��&« D �37/� D]¬@�{4������3��7��/D��?u��H«��-D]¬@7�'�D�����C@�"+O�Y[ ��7GC���c2���>u:'$Db� .B7/�*+O'A!G�?'(+@�3�'�D�� �#021*!G'��37��J+�%?�{;����_�/�$�#!#'$�3PY[ \^'`.B7�1b�"%�)*�K�����"!#'$��c2���3P��>©:F*���*+,�3c2�&'$7���©?'$�A!�.B'��$������c/!G�?'_�2��PEc/!G�31b�#+46��7�8¯!����#.B7��A%�%?1��$�����E'$D��T.B���#!G'�� �2��PEF�D*!/+O�2[ � 7/�$'$�����E�$�#021����$�#+_! 46��C 8E!/.gDb�3���`�3�J+O'$��1*.B'��37��J+ª'�7.B7/8�F*!#�$�H'�D��H�2�>P�+V[_�D�� 8��>�$���`F�DJ!�+O�T�$�N0 1����$�#+@'$Db� !GFbF��3��.�!G'��37��]7#4�!KF*7�'$�>�:'��"!G���3PE�"!#�$�/� �:1�8T)*���7#4��$1����#+£'�7�.V7�8�F*!#�$�_',C�7 �$�#.B7/�(%�+Vu*!G�*%E'$D?1*+D*!/+�'�D��`FS7/'$���?'$��!G�=467/�-'�D��`�"!G�����#+,'�.B7��J+O'(!#�:'@4y!�.V'$7��>[

Page 7: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

�-7/'$�".V�@'$D*!#' �M�"+�!_� o d o wKf x fVd�7G4�'�D���C@�3�*%:7#C@Xy+$.�!#���������HF���7?.B�#%:1b�$�2[��D��-��������'$��8E!G'��c/!G��1��#+�7G4� 8E!�PT�(!G�b����46��7�8zsE« C@D�������)?P�7�����P�',C7T.B7/�*+O�N.B1�'$��c2�`���3��8R���:'A+�!G��� .B7/8�F*!#�$�#%S¬�'�7���«6C@D����$�>):P�#!/.gD`������8����?'���+�.B7�8�FJ!G�$�N%-'$7�!#�3�27�'�D����A+g¬([��D����"!#'$'$�>��.�!/+O��F*���$'A!G�3�J+ '�7@'$D���461����?0 1*!/%:�(!#'$��.�« �&« D��B¬�¬'��38���Fb�$7?.B�#+�+¡!#'�'$Db�8E!#©:��8�!#�GF*7/'$���?'$��!G�b!�.�.B1b�(!�.VPK«y!�+�%:�B�*�b�#%�)?P_'$Db��#021*!G'��37/�*!G�?'$D��>7��$P`'�7-)*�'�D��F*���A.B���?'(!G�/�-7#4�!#�3��%:1�F����".�!#'$�#+�.B7/�$���#.B'$��P_467�1��*%T�3�T'$D���8��������3�b�_F��$7?.V�#+$+(¬([��D��@467���8�����.�!/+O�&« C@D��>�$�� 8E!�P�)*� c?�3��C��#%�!/+_!E+O8E!#�3��.B7/�*+O'A!G�?'`�$����!G'$��c2�`'$7 D]¬-F*����'(!#�3�*+-'�7E7�F�'��38E!#��'$�38R��F*���,467���8E!G�*.V�«67�����P �&« D�¬¢'$�38R��¬?)�1�'�!G'�8��3����8�!#�/!�.�.B1b�(!�.VP2[��D���461��*%�!#8����?'(!G�?021��#+,'$��7��`�"+�� � o�x�o d(f x �*f@iB� xyl w o�kv#f x6xyl"m�p v��>i2d � x i�w o�Gl w l� f o h(h��:d o h ��� � l3k f�w l"m�l w l�>l"m�p h(i2w-��� xyo�x^l i m�o�k h(iGv x�

�-7/'$�2u�D�7#C�>c2����u�'$DJ!G'�467/�`c2���$PL�"!G�����E%b!G'(!#)*!�+,�#+H'$Db��%:7/8��3�J!G�?'`.B72+,'H��+ª���3�2����PL%:�"+,� \A� &u�!G�*%D��>�*.B� '$Db� �:1�8T)*����7G4@FJ!�+$+,�#+_7#c2���_'$Db�T%�!G'A!�+O�>'�[ \^�]'$Db�"+`.�!�+,�2u�!#'����#!�+,'`'$D������ F*!�+�+O�#+_C�7�1���%�)*����>�#%:�#%=u?7�����F*!�+�+�467/��.B7��*%?�3'$��7��������H'�D��&%�!G'A! !G�*%�F�����F*!#�$�3�b� �2��P�+Vu?!G'@�3�N!�+O'�! +,�#.B7/�*%KF*!/+$+Bu*�3���2���3P8�7/�$�2u#467���!�D�����DR+OF*���#%R+O7���'��3�3�2�YuG467�����©b!G8�Fb�3�2u#'$D����-��F�D*! � 7��$'�q s Z t^uY!G�*%�!_�*�*!#�SFJ!�+$+�467���C@�3�*%:7#CF���7?.B�#+�+O�3�b��!#�*%�!#F�F��3��.�!G'��37/��7#4�'$Db����1��3��F��$7/���(!#8§467����#!�.(DE�$�#.B7/�(%����?'$�����3���&'$D��&+,�3�"%?�3��� C@���*%:7#C`[�-�>FS�>�*%:�3�b��1�F*7��]'�D�� .B7/8�F�����©:��',P 7G4�'�D��H��1��3�&F��$7/���(!#8¯!#�*%�C@�3�*%?7GC +O�3Z>��`uS'�D��H��!�+O'�F*!/+$+_8E!�P���*%:���#%�)*� '�D��T%:7�8R�3�*!#�:'�.B72+,'�[H  � �3�?'$��7?%:1*.B�N%����"+,��C@D������Eq{r��Gt�'�D�� 8��#!#�*+-7#4@+,F*���#%:�����E1�F]'$D���+F�DJ!�+O�&):PRF��$7?.B�N+$+O����� �$FJ!G�(!#�3������C@�3�*%?7GC�+ �5���E'$D��&+O7/�$'��#%����"+O'>[  �@��7�'��-C@��'$D �3�?'$�>�$�#+,'¡'�D*!G'�'$Db��+O7���'(+�7G4¢7�F�'��38���Z#!G'��37/�*+¡%?��'(!#�3�3�N%��3� '�D����-�3F�DJ! � 7/�$'�F*!#F*����q~s Z t

8E!�PL7G4�.B7/1��(+,�K)*�K46��1��3',461��3��P]!GFbF��3���#%�Db���$�2[�  �R!G�$�R8�7����T.B7��*.V���$���N%�C@��'$D�!G�3'����$�J!G'$��c2� F��$7?.V�#+$+!#�(.(D��3'��#.B'$1b�$�#+�'$D*!#'-���#!�%�'$7TD�����D�����!/.�.B1��A!�.B���#+�3�E'�D��&.B7�8�Fb1�'$�#%T�$�#+,1��3'A+C@D��3���`!G��+O7T�$�#%:1J.B�3��� '�D��'��38��`.V7�8�F�����©?�3',P2[��D?1*+Bu=C�� .B7/�*+O��%:����!G��'$�����*!G'��3c2�`8���'��$�".>+�467���'$Db�HF�1���F*72+O�N+ª7#4�8����������>F�1������H'�7���*.B�31J%:��D�7#C o h(h��:d o�x f k ��.�!G��P27/1�%�!G'A!�.V�3�#!#�*+O�K467/�T!��*©?�#%�%:7����"!G�T!#�*%Q����c2���Q'$��8��T.B7/�*+O'��(!G���:'>u�A!G'$Db���@'$D*!#��'�D��&+OF*�#.B�<��.`.B72+,'$X�!G�*%�'��38���X6)*!/+O�#%K8R��'$���".�+�F���7�F*72+,�#%��3��q~s Z ty[

��� � *?���)� ( 0B& ,�� ,���� ����$

�Db�-�B;��#.V'$�3c2�>���#+$+�7G4�'�D���+O7���'$�#%?X ���>�3��D?)*7���D�727?%�8���'$Db7?%HD��3�/D��3PT%:�>FS�>�*%�+�7���'�D����2��P&+O�����#.B'$�N%'�7Q+,7��$'T'$Db�����#.B7/�(%�+V[��-�����E!��2�>PQ�"+ %:�V�*���#%Q'$7 )*�]! +O�#021����J.B�E7G4ª!�+,1�)*+O�>'K7#4&!G'�'$�$��)�1�'��#+Bu7/�+,1�)*+O'��$�����2+ C@�3'�D��3��'$Db�E!G'�'$�$��)�1�'��#+Bu�.gDb72+O�>� 46��7�8W'�D��E�$�#.V7��(%�[Q��7�� ��©b!G8RF��3�2u�.B7��J+O�"%?��� '$D���467/1�����#.B7��A%�+T%:�"+,F��"!�P2�#%����¤'A!G)�����r/[ �J7/�K'�D��"+HFJ!G�$'��".B1b�"!G�R!GFbF��3��.�!G'��37��¢u+,1�F�F*72+,�]'$D�� �$�2��P�%?�#+O��������� �467/�H'$Db��+,7��$'��3���LF�D*!/+O��D*!/+H%:�>'$����8��3���N%�'$DJ!G'�467/�&!�',P:Fb�".�!#��%�!G'A!�+,��'H'�D��5467/�3��7GC@�����E�2��Pb+�+,D�7�1b�"%)*�H�>©:'��(!�.V'$�#%K46�$7/8§'$Db� %�!#'(!T+O�3�J.B�`'$D���PRF��$7#c?�"%:�&+O1?UE.B�����?'@%:��+$.B���38����*!G'��3���&FS7#C����@�3�L�"%:���?'$�<46P:�����

Page 8: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

(iû¼ÿ»ü� � �¡ü� /)�#��ÿ��Dü»ü B�� � ���

���*$ �1 Öþ%$ .²þ H��'I (Bû¼ÿÖü� @�� Öÿ����� G���%K'J%F%J'K ��ù � ��/ �TH��%I ( C ��ù G������*$ �1 Öþ%$ .²þ H��'I (Bû¼ÿÖü� @�� Öÿ����� G���%K'J%F%J'K ��ù � ��/ �TH��%I ( C ��ù G������*$ �1 Öþ%$���ú?þ H��'I (Bû¼ÿÖü� @�� Öÿ����� G���%K'J%F%J'K ��ù � ��/ �TH��%I ( C ��ù G������*$ �1 Öû�$��Dü H��'I (?þ�ÿ��Dü� @�1 Öÿ�� �� G������G>I��#H ��ù � ��/ �TH��%I ( C ��ù G���

��!G)����Tr ��®�©�!#8�F���� ���N.B7��A%�+@!G�*%L�_��P�+

���3�2����P .�!G�*%?�"%�!#'$�#+H467���8�!G'(.(D�������[��D��L�2��P�.B7/�*+O��+O'A+57#4`'$D���.B7��J.�!G'����*!G'��37/�¤7G4�+O��c2���A!G�@7/�(%:�����#%�*�>�"%�+@« 7/��!G'�'$�$��)�1�'��#+g¬��3�R'$D���%�!G'A! ���D����*�(+,''$Db�$����.B7��J+O7��J!G�?'(+7G4�!H��!�+,'�*!#8���!G���`.B7��J.�!G'����*!G'��#%C@��'$D¤'�D����*�A+O'�'�D��$���L�3��'�'$���A+H7G4&'$Db���*�A+O'��*!#8����J���"%=u�467��3��7#C�#%�):P�'$Db�]!�%b%:�$�#+�+K�?1�8K)*���H�J���"%=u!#�*%�!G�3��7G4�'�D��E.B7/�*+O7/�*!G�?'(+ 7G4�'�D��L+O'$������'`�*!#8��2[]�D���+���+ª467����37#C�N%�)?P�'�D��K�*�A+O' '�D��$����%:�3�/�3'(+`7G4'�D��]+,7?.B�"!#��+O�#.B1b�$�3',P��J���"%=[e�D��#+,�].(D�7���.B�#+&!G�$�L8E!�%?��+,�3�*.V��'�D��E�2��P�%:�N+O�3�/�����T%:�>'$����8��3���N%�'$D*!#'��!�+O'��*!G8��N+-!#�$� ',P:Fb�".�!#�3�3PR8��"+�+OF*���3���#%]«^%:1b� '$7E8��"+,'(!#�2�#+�3�]c27?.�!#�3��Z��#%E+O7/1��*%�+Vu¡c27#C����+g¬Au�)�1�'_�*�(+,'�*!#8��#+&!G�$�E',P?F��".�!#�3��P�8�7/�$�E.B7/8�8�7/�Q!#�*%Q�3�#+�+HF��$7/���E'$7])*���3�b�]8��"+,1��*%:���A+O'�727?%I!#�*%QD����*.V���3�#+�+���3�2����PK'�7K)*�H���#.B7/�(%:�#%E�3�*.V7��$���#.B'��3P2[��D��H�2�>P�+@!#�$�H�b7GC 1*+,�#%�467/�_+,7���'$�3�b��'$D��&���?'$�3���`%�!#'(!�+,��'_C@��'$D'�D��E�3�?'$���?'$��7���'$D*!#'�!#�3�@�#021���c�!#�3���?'H7/�K8�!G'(.(D������]%�!#'(!]C@�3����!GF�F*�#!#��.B��72+,��'�7��N!�.(DI7/'$D��>�K���I'�D���*�J!G��+O7���'$�#%��3��+O'�[ ��7�'$��.B��D�7#C§'�D����*�(+,'�!#�*%¤+,�#.B7/�*%I���#.B7��A%�+ !G������©b!�.V'T%:1�F����".�!#'$�#+Vu£C@D����3��'�D��'�D��3�A%���+����3�2����P '$D��&+�!G8��_F*���A+O7/�])�1�'@C@�3'�D]! 8��"+�+OF*�����3�#% �"!/+O'��*!G8��Y[� ��`C7/1��"%���©?F*�#.B'@'�D*!G'�'$D���+��F�D�7��b��'$��.�!G���3P?X )*!/+O�#% ��8��"+,'(!G�2� C@���3��)*�E.�!#1���D?' ):P�!����#!�+,7��*!#)��3�E�#021*!#'$�37/�*!G��'$D��>7��$PY[��-7#C��c2�>��u'�D��5467/1��$'�D����#.B7/�(%=u�!G��'$D�7/1���D�D*!�c:�����E'$D�� ��©b!�.V'H+�!G8�� �2�>P�!/+�'�D�� F��$��7��`'$Db�$���T�$�#.V7��(%b+Bu�!GF�F*�#!#�(+1��b�3�3�2�>�3P '$7T)*�`'$D��&+$!#8��_F*���A+O7��¢[

����� ������"0B&),���"��=0B���,/. �

�D�� .V7�8�F*!#�$��+O7��e7G4&�$�N.B7��A%�+Bu�%:1����3����'$D��]8��>�$���EF�DJ!�+O�Yu-'$7 %:��'$�>�$8�������'$Db���3�T�#021��3c/!G�����*.B�E��+�!.B7/8�F�����©K���:46�������:'��"!#��F��$7?.B�N+$+-'�D*!G'`.V7��*+,�"%:���A+�8T1*.(D�8�7/�$�`�3�:467/�$8E!#'$��7��E�3�]'�D�� .B7/8�F*!#�$�#%��$�N.B7��A%�+'�D*!G� '$D�� �2�>P�+@1*+O�N%�467��`+,7��$'��3���b[ ��7��_�>©�!#8�F��3�Yu*+O1�F�F*7Y+O�T'OC�7�F*���(+,7�� �*!G8R�#+-!#�$�T+,FS�>�3�3�N%����#!G���3P«6)�1�'`��7�'V¬��"%:���?'$��.�!G���3P2u*!#�*%]D*!�c2�H'$Db�K��©b!�.V'`+$!#8�� !/%�%:�$�N+$+B[   � 8��3�/D:'��3�?46���-'�D���P�!G�$�T'$Db�T+$!G8R�F*���A+O7��¢[ ��¥'�D��]7�'�D����ED*!#�*%=u`+O1bF�F*72+O��',C7��$�#.B7/�(%�+�D*!�c2�]��©b!�.V'$�3Pe'$D���+$!#8��]+,7?.B�"!#�&+O�#.B1b�$�3',P�?1�8T)S�>�(+Bu�)�1�' '�D����*!#8��#+H!#�*%¤!/%�%:���#+$+,�#+ !G����.V7�8�F�����'$�>�3P]%?�{;����$�>�:'>[�  �E.B7/1��"%Q����'$D��>� !�+�+O1�8R�

Page 9: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

'�D��E�$�#.B7/�(%�+H����F����#+O���?'H'�D��L+$!#8��EFS�>�(+O7/�¤C@D�7 .(D*!#�����#%�D��"+H�J!G8��E!#�*%I8R7Gc2�N%=u�7��T'$D��E�$�N.B7��A%�+����F��$�N+O���?'�%:�{;��������:'�F*���(+,7��*+Vu*!G�*%�'$Db�`+O7?.B��!G�¢+O�#.B1b�$�3',P �?1�8T)S�>�¡�*����%K�"+��3�*.B7/�$���#.B'£467/�7/���_7G4�'$Db��8][ M��'$D�7/1�'@!#�:P 461��$'�D������3�?467��$8�!G'$��7���u2C��-8E!�P F*����D*!GF*+@!/+$+,1�8���'$D����"!#'$'$�>��[��D��_8R7��$�@���:467���8E!G'��37/�'�D����$�E��+��3��'�D��E�$�#.B7/�(%�+Vu£'�D��E)*��'$'���� �3�:46�>�$���*.V�#+`.�!G�e)S�E8E!/%:�2[ ��7��T��©b!G8�F����2u � bed��ö_inBl���^Xb����!#�*% � bed��cnBlin��^b��� .V7�1���%�D*!�c2� '$D��R+$!#8�� !/%�%:�$�N+$+Bu�!G�*%]'$Db���3�_�J!G8��#+�!G��� ���$�#!/+O7/�*!G)���PQ.V�372+,� �:[\ 4��/���*%:����!G�J%]!G��� ���:467���8E!G'��37/����+_!�c/!G�3��!G)����`�3�]+,7�8��`�*����%�7#4�'$D���%�!G'A!:u=C�� .B7/1��"%EFS�>�$D*!#F*+_�3�:46���'�D*!G' � bed��ö_inBl !G�*% � bed��önilBn !#�$�`����'$D�����8E!G���$���#%K7���+O��)��3�����2+V[ MD*!#'�C�������N%ª'�7`+OF*�#.V�{46P-467/�¡'�D��#+O�����:46���$�>�*.B�#+=��+�!G� �#021*!G'��37/�*!G�2'�D���7���P`'$D*!#'�%:��.B'(!#'$�#+�'$Db�£��7��/�".

7#4�%:7/8E!G�����#021���c�!#�3���J.B�2u*��7�'�+O�38RF��3PEc/!G��1��K7/�&+O'$���3���E�#021���c�!#�3���J.B�2[��_+,���(+_7#4�!��/�������A!G��F�1���F*72+O�%�!#'(! .B���#!G�J+O�3�b�ª4y!/.B�3���3',PH)*���b�B�*'£46��7�8�D��3�/D������3��c2���2467���8E!G���"+,8E+�!G�J%K�"!#����1*!#���#+@F*���$8R�3'$'��3�����#!�+,�_7G4��©?F*���$��8����?'(!#'$�37/�]!#�*%�8R7?%:�{��.>!G'$��7���[T��7��&'$D��N+O� �$�N!�+O7/�*+Bu�!��*!#'$1��A!G��!GF�F���72!/.gDQ'�7L+OF*�#.B�<46P:�����L!G��#021*!#'$�37/�*!G��'$D���7/�$P�!G�*%]8E!G�?�3�b� �3'_F��A!�.B'��".�!#�¡C�7�1���%�)*� '�D�� 1*+O� 7#4�!�%?�#.B�"!#�(!#'$�3c2�`��1��3�&�"!G�b��1*!#���2[�@1��3���"!#����1J!G���N+D*!�c2�-)*�����T�B;��#.B'��3c2����P`1*+O�#%T�3�E!`C@�"%:���(!#�����_7#4�!GF�Fb�3�".>!G'$��7��*+��$�#021����$�3�b�����:46�������*.B�7#c2���@��!G�$�/�&%�!G'A!K+,��'(+V[@��1*.(D��$�#+,�#!G�A.gDED*!/+-)*�����L.B7/�*%:1*.B'��#%�'$7TF��$7#c?�"%:�`�BU�.B�����:'�8��N!G�*+£467/�-'�D����3�.B7/8�F����"!G'��37/�E!G�*%��>c�!#�31*!#'$��7���u�!G�*%E'$D���+�'��#.(D���7���7��/PE.�!G�])*�&��©:Fb�37���'$�#%TD����$�`467���F�1���FS7Y+O�#+�7G4�%�!#'(!.B���#!G�J+O�3�b� �BUE.V�3���?'$��P2[

�_+ !#�¤��©b!G8�Fb�3�2u�D������E�"+ !]+O��8�F����{�*�#%]�$1b�3�����¤®����/�3��+OD�'$D*!#'K�>©:��8RF��3�<�*�#+-7/���L!G©?�37�8 7G4`7/1���#021*!#'$�37/�*!G��'�D���7/�$P������3��c/!#�:'�'$7T7�1����"%:�N!G�3��Z��#% ��8�F���7#P2����%�!G'A!G)*!/+O� �

���������������������������� �"!$#���%�'&)(*,+-��./�-0�#����1��#�2"�$��3��"!�54�6�#70��$��."�80�#��,���#,2"�8��3-�&9�

:�;�<���./�=3��,���,���#�2/�������,373��,���50��,>5.�0�?@�:�;�<���./�#5���������7�$��3%�/!1��4�6�#�0��$��./�#5���������7�$��3-�&

A�B7C�;�"!���-�54�6/�,�#�0��D�����&)(

�D�� ��8�F��3�>8K���2'A!G'��37��R7G4 � ocb�E�EcneawhelSbF��G�cl�H �H+,F*�#.B�{�J�#%�D��>�$�H���]®����/�3�"+,D���+-)*!�+,�#%�1�F*7��]'�D��.B7/8�F�1�'A!G'��37��M7#4R! j l v xyo2m hBf �>� m h xyl i m !GFbF��3���#% '�7¤'�D����J�(+O'E�*!#8����*����%�+�7G4T',C7����#.B7��A%�+Bu�!G�*%'�D��L.B7�8�FJ!G�$��+O7/�I7#4`�3'A+H�$�#+,1��3'A+H'$7�!�'�D��$�N+OD�7/�"%Q'$7�.�!GFb'$1�����7�)?c?�37�1J+H'OP?F*7��/�(!GFbD��".�!#�-�>�$�$7/�(+ '$D*!#'8E!�P�7?.�.B1b�����¥'�D�� %�!#'(!:[ �D���+O�����#.B'$��7��e7G4T!�%:��+O'A!G�*.B�]461��*.V'$�37/� !G�*%�! Fb�$7�F*���E'�D��$�#+,D�7���% ��+!#�"+O7L!��?��7#C@�3�#%:�/�K���:'����*+,�3c2�&!�.B'��3c?�3',PE'$D*!#'&%:��8E!#�*%�+-��©?F*���$��8����?'(!#����c/!G�31J!G'$��7���[ �-�]��8�F���7�F*���$��P.(D�72+,����'$D����#+ODb7��"% C@�3�3���3�#!/%�'$7 ����'$D����&!#�I���*.B���#!�+,���3��'$Db���:1b8K)*���`7G4�4y!G��+O����P�8�!G'(.(D��#%]�$�N.B7��A%�+7/�H'$7�!E%:�#.B���#!�+,�K����'�D��K�?1�8T)*���_7G4�8�!G'(.(D������K���#.B7/�(%�+`'$D*!#' +ODb7�1���%�)*�K8��>�$���N%=[ � �?1�8T)S�>�_7G4

I

Page 10: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

!#�3'$�>�$�*!#'$�3c2��%:��+O'A!G�*.B�461b�*.B'$��7��*+=467���'OP?F*7��/�(!GFbD��".�!#��8���+O'(!#�2�#+=C�>�$���8�F�����8K�>�:'���%_!#�*% '$�#+,'$�#%`�3�H'�D����©?F*���$��8����?'(+��$�>FS7/�$'��#%�)*����7GC �3�J.B�31*%?�3���T%:��+O'A!G�*.B�N+)*!�+,�#%�1�F*7/�Mf�j l3x j l v xyo2m hBf(u*� �bi m f xyl h j l v x^o2m hBf!#�*% �6x �g�*f���d l3x fVd��Tj l v xyo2m hBf([ �D�� ���#+O1b�3'(+�%:�"+,F��"!�P2�#%E�3� +O�N.B'$��7�� ��!#�$�T)*!�+,�#%�1�F*7��Q�N%:�3'�%:�"+,'(!#�*.B�.B7/8�F�1�'A!G'��37���+O���*.B�]'�D���7/1�'(.V7�8�� 7G4�'$D�� F��$7/���A!G8 %:��% �b7�'�c/!#�$PM8T1*.gD�!G8�7/���¤'�D���%:�{;��������:'%:��+O'A!G�*.B�_461��J.B'$��7��*+£467/�-'�D��`F*!G��'$�".V1��"!#��%�!G'A!G)*!/+O�#+@1*+O�N%��3�E7/1���+O'�1*%:P2[

�-7/'$�".V�_'$D*!#'-��1��3�N+@%:7K�b7�'@���#.V�#+$+�!G�$���3PT�����#%�'�7�.B7/8�F*!#�$�_c/!G��1��#+£46��7�8§'�D��&+$!G8R�H!#'$'��$�3)b1�'$�T« 7/�+�!G8��&%:7/8E!G���=¬([���7����3�*+,'(!#�*.B�2u*'$7R%:��'��#.B'�!5'��(!G�J+OF*72+,�3'$��7�� �3��!5F*���A+O7���� +-�*!#8��`C��.B7�1���%�C@���3'$��!��1��3��'$D*!#'�.B7�8RF*!G���#+�'$D��-�J�(+O'@�J!G8���7G4�7/���`�$�#.B7/�(% C@�3'�D�'$D����"!�+,'@�*!G8R�-7#4�'$D��`+,�#.B7/�*%K�$�N.B7��A%�!G�*%'�D��-��!�+,'£�J!G8��@7#4�'$D��@�*�(+,'��$�#.B7/�(% C@�3'�DK'�D����J�(+O'��*!#8��@7G4�'�D���+O�#.B7/�*% �$�#.B7/�(%E«^+,���_!#F�F*���*%:��© ��467/�+,1*.gD�!G�E��©b!G8�F����@�$1�����¬([���7?%:������7�) �,�#.V'$X6�$����!G'$��7��*!#��%�!#'(!#)*!�+,�#+@!G���37#CM1*+O�>�(+'$7�!�%�%E.B7/8�F�����© %�!#'(!',P?FS�N+�«y!G�*%�461��J.B'$��7��*+@'$7T8E!G�b�3F�1���!G'���c/!#�31��#+@�3�L'$D��&%:7/8E!G����7#4�'$D���%�!G'A!K',P:F*��¬�'�7�'$Db� %�!#'(!G)J!�+O����b���3�b�2[��J1b�*.B'$��7��*+�'$7ª.B7�8�FJ!G�$��'�D��#+O��.B7�8RF��3��©�%�!#'(!-',P?FS�N+£«6�2[~�b[3u#+O�>'(+Bu/�38E!#���#+Vu�+,7�1��*%�u���'(./[{¬�.B7�1b�"%!#�"+O7T)*�`1*+O�#%EC@�3'�D��3����1��3�N+'$7TFS�>�O467���8§'$Db��8�!G'(.(D������H7#4�.B7/8�F�����© '$1�Fb�3�#+V[��7��_'�D�� F�1���F*72+O�T7G4���©?F*���$��8����?'(!#��+O'$1J%:P2u=C��HC@�$7/'$�T!#� � � � q{r>�Gt���1��3�&F��$7/���(!#8a.B7��J+O�"+,'$�����

7#4�s ���$1b�3�#+-467�� '�D��"+`F*!G��'$��.B1��"!#�&%:7�8E!#�3� 7G4���8�F���7#P2���`�$�#.B7/�(%�+&!G�*%QC�!�+�'��#+O'��#%�����F*�#!G'��#%:�3P]7#c2��������"!#'$�3c2�>�3PL+O8E!#�3��%b!G'(!#)*!�+,�#+H7G4��$�#.V7��(%b+B[ ��*.B�TC�TC�����T+$!#'$�"+^�*�#%�C@��'$D '$D��RFS�>�O467���8E!G�J.B� 7G4�7/1����1��3�#+Vu?%:�"+,'(!G�J.B�-461��*.V'$�37/�*+Bu?!#�*%K'$Db�$�#+,D�7���%�+Bu?C�_���#.B7?%:�#% '$Db�_�$1����#+�%:�3���#.B'��3PH����¨�'�7H7/)�'(!#�3�L+OF*���#%?X1�FE7#c2���@'�D�� � � � �38RF��3��8T�V�:'A!G'$��7���[

�-F�F*���J%:�3© �¥+,D�7#C�+�'�D�� � � �_c2���A+O��7�� 7G4¢'$D����#021*!G'��37/�*!G��'�D���7/�$P �38RF��3��8T���2'��#%-467���'$D���+¡C7/�$��[ �����P�'�D�72+,���$1b�3�#+`1*+O�#%Q���J.B7?%:�3�b�]'$D��E�?��7#C@�3�#%:�/�E7G4�'$D����N0 1*!#'$��7��*!#�@'$D���7/�$P�!#�$�L+ODb7GC@�e�3�Q'�D��!#F�F*���*%:��©=[�D��_���:46�������*.B�@F���7?.B�#+�+���*.B7?%:�N%K�3�T'$D����$1����#+��"+%?�3c?�"%:�#% �3�?'$7`'�D��$���ª+O'(!#���#+V[�\^��'$D����*�(+,'@+O'A!G�/�2u

!#�3�����#.B7��A%�+_C@�3'�D��3��!�C@�3�*%:7#C !G�$�R.B7/8�F*!G���#%�'$7L+,���K�<4�'$D���P]DJ!Nc2� �A+O��8��3��!G� �H�*����%�+Bu��*!#8�����P2uS'�D��+,7?.B�"!#�@+O�N.B1��$��',P��*����%=u�'$D��R�*!G8��H�J���"%=u�!G�*% '$D��R+O'��$����'&!/%�%:�$�N+$+ª�J���"%=[E\^� '$D���+O�#.B7/�*%Q+,'(!G�/�2u¡'�D�����:467���8E!G'��37��R�2!G'�D������#%E%:1��$�����T'$D��-�J�(+O'�+O'A!G�/�H�"+�.B7�8T)������#% '$7R+O���`�{4�.>!G�E8��������_F*!#�3�A+7G4��$�#.B7/�(%�+V[��7��T��©b!G8�Fb�3�2u��{4ª!�F*!#�3� 7#4`�$�#.V7��(%b+5D*!�c2�E+,�38����"!#� +O7?.V�"!G��+,�#.B1����3',P �:1�8T)*���(+&!G�*%M+,�38����"!#���J!G8��#+'�D����T'$D����$1���� hBb�^Xb�li_ea��QhBh���B_�Qo���ö_�^cnSh %:�#.B��!G�$�N+¡'$D��>8 8��������#%�[¡��7/�'$Db72+O��F*!#�3��7G4¢�$�#.B7/�(%�+�'$D*!#'.B7/1��"%`��7�'�)*�8R���$�/�#%_)S�N.�!G1*+,�@��7�'�����7�1b��DT�3�:467/�$8E!#'$�37/�`C@!�+��2!G'�D������#%H7�� '�D���*�(+,'�+O'A!G�/�2u�'$Db�@�$1����F���7��/�(!G8¯'A!G�2�#+�!�.B��72+,���-��727���!G'_7/'$D������*���"%b+����3�2�`'$D��T.V�3',P��*!#8��2u*+O'A!G'��T!G�*%]Z��3F�.B7?%?�H'$7�+O���&�{4�!8��>�$����.>!G�T)S��%:7/���2[ �'$D��>�$C@�"+,�2u2�3�T'$D���'$Db�3�(%T+O'A!G�/�2u28�7����@F��$�#.V�"+O� ���#%:��'$Xy%:�"+,'(!G�J.B� �ª461b�*.B'$��7��*+�!#�$�

Page 11: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

���#� �@��5?� � (Bû¼ÿÖü� "= B �û� »ûS��$<= � �¡ü� �� /)���¬ÿ��Dü»üI'I*G�������G%G>I � û¼ü2���öþ>��ÿ���5 �* H G%G QN�¡ÿÖü��� "LI'I*G�������G%G>I � û¼ü2���öÿÖþ¡ý� H G%G QN�¡ÿ��6�� �L��������������H C ��5�þ'��cþ'�û�$4$8� I'J QN��ÿ��?�1 �L��������������H C �"��5Ðþ%���cþ'�û�$�$S� I'J QN��ÿ��?�1 �L

� � û8�*�� � L�/@57��ÿ»þ�üÖû¼þ' G� �öÿÖû��U+<ú��ÿ2�»úU/ 0OL� � û8�*�� / L � �*57�?ÿÖþ�ü»û¼þ% G� �öÿÖû8���U+<ú��ÿ2�Öú /@0OL� +<þ%$��� � �����þ�ú���� �����6H%H�I Öú �� �L9���� �L � � �� ��þ�ú� +<þ%$��� � �� �����6H%H�I Öú �� �L9����L �%J�

J���%F'J��'I�H�F B 0%� � �� / � � ��&>�� �'I (R$¼þ�ÿ»ûS�#�,/ 0 LF���%F'J��'I�H�F �)0'�� � ��,/ � ��&>�� �'I (R$¼þ�ÿ»ûS�#� �� "L

��!G)b�3�&s ��®�©�!#8�F��3��7G4�8E!G'A.gD������H���#.B7/�(%�+@%:�>'$�#.B'��#%K)?P�7�1b�@�#0 1J!G'$��7��*!#��'$D��>7��$PE��1��3�_)J!�+O�Y[

1*+,�#%�7#c2����+O7/8��_�*���"%b+@!�+�!5��!�+O'�!G'�'$��8RF�'£467/�-8��>�$������� ! F*!#�3�@7G4��$�#.B7/�(%�+V[��!G)b�3� sT%:��8R7��*+,'$�(!#'$�#+! �:1b8K)*����7G4£!�.B'�1*!G�����#.B7��A%�+'$Db����1��3�>X F���7��/�(!G8z.B7/�$���#.B'$��P�%?����8E+��#021��3c/!#�3���?'�[

�-F�F*���J%:�3©E�M+,D�7#C�+-'$Db�� c2���A+O�37/�E7G4�'$D��`�#021*!G'��37/�*!G��'$D��>7��$PY[��D��&!GF�F*���*%?�3©�7/���3PE+,D�7#C�+�'�D��+,1�)��$7/1�'$����� a�`clBn �QaÕf�FQaÕ_�^��� C@D��".(D���+-'$Db�K8E!#�3��.B7?%:� 467��`'$D��T�$1b�3� �38RF��3��8T���2'A!G'$��7��L�3�� *[��D��.B7/8�8����?'(+��3�E'$D��&.B7?%?� +ODb7GC C@D������`�#!�.(DE�$1�����7#4�'�D�� � � �5c2���A+O��7��E�"+��8�F��3�>8K���2'��#%=[\^'`�"+-��8�F*7��$'A!G�?'_'$7L��7�'��K'�D*!G'`'�D��K�N+$+O�>�*.B� 7G4�'$D��R!GFbF��$7Y!�.(D�F���7�F*72+,�#%�D��>�$�TFS�>�$8���'(+�!�C@��%:�

�A!G���/�_7G4��#021*!#'$�37/�*!G�*'�D���7����3�#+�7/��c/!G�$��7�1*+�%�!G'A!�',P?FS�N+B[�  �_.(D�72+,�-'�7H1*+,�_+,'$���3����%�!G'A!��3�R'$D���+£+,'$1*%?P«6�2[~�b[3u:�J!G8��#+Vu?!�%�%:���#+$+,�#+g¬�467/�@F*�#%�!G�/7��/�".�!#�¡���#!�+,7��*+`«^!�46'$����!#�3�=�>c2���$P27/���-�/��'(+ �,4y!G1���',P � �,1��b�K8E!#�3�6¬([  �T.B7�1b�"%��#021*!G���3PL!�+�C������%:�>8�7��*+,'$�A!G'$�&'$D��T.V7��*.B�>F�'(+-1J+O�3�b�E!G��'$�����*!G'��3c2� %b!G'(!#)*!�+,�#+�7#4�%:�{;��������:'',P?FS�N%�7/) �,�#.B'A+@!G�*%L.B7����$�#+,FS7/�*%:��������PE%:�{;��������?'@�$1����`+O��'A+B[��!G)���� s�%:��+OF���!�P�+���#.B7��A%�+@C@�3'$D�+O1*.(D��>�$�$7/�(+-'�D*!G'�8E!�PE.B7/8�8�7/���3P )*��467/1��*%�����8E!#�3�3�����H���"+,'(+Bu

467/���>©�!#8�F��3�Y[H«^\^�*%?���#%=u=F*727/�H�38RF��3��8T���2'A!G'$��7��*+7#4@'�D�� 8����������>F�1��$�/�H'A!�+O�])?P].V7�8�8��>�(.B��!G��7/�$�Y!GX����Z#!G'��37/�*+',P:F���.�!G���3P ���#!�%�'$7T+,��c2���A!G�=Fb�3�#.B�N+£7G4�'$D��`+�!G8��`8E!#�3�*)*���3�b� 8E!G���3�#%T!G'@7/):c?�37/1*+O��P������#!G'������©?F*���*+,��'$7�'$D���+$!G8R��Db7�1*+,��D�7���%=u�!�+����#!#�$��PQ��c2����P27����ED*!/+K��©?FS�>�$�3�>�*.B�#%=[<¬��D��#+,�]�$�#.V7��(%b+K!#�$���%:���?'$�{�J�#%K)?PK7/1��-��1��3�`)*!/+O�&!�+@�#021��3c/!#�3���?'�[�D��EF���7?.B�#+$+ 7G4ª.B���#!G'��3����!��/727?%¤�#0 1J!G'$��7��*!#�'�D���7���PQ�"+ +,�38����"!#��'�7]'$D��EF���7?.B�#+�+H7G4ª.B�$�#!#'$�����

!K�/727?%��?��7#C@�3�#%:�/��X6)*!�+,��467��ª!G�]��©?F*���$'�+OPb+O'���8][�\^� .B7�8�Fb�3��©TF��$7/)��3�>8E+Bu*!#�]��©:F*����'-��+-�����N%:�#%�'�7%:�N+$.B���3)*��'$D���8�!G'(.(D������F���7?.B�#+�+B[ �Q�?��7#C@�3�#%?���������/�3�����>�=C@�3����'�D����`���*.B7?%?�£'�D�����©?FS�>�$'�� +=�:�b7GC@���#%:�/�

r Z

Page 12: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

!/+��$1b�3�#+V[��D�����1��3�N+ªC@���3��'�D���� )*��'$�#+,'$�#% !G�J%�'$D��T�$�N+O1���'(+`%:�"+�.B1*+�+O�#%�C@��'$D '$D��T��©?F*���$'>[ � ��c2�>�(!G�+,�#+$+,�37��J+)S�>'OC������T'$D�����©?F*���$'�!G�*%K'�D��_�?��7#C@�3�#%?����X6�����/�3�����>�£8R�3��D?'�)*�_���>�#%:�#% )*�B467����_'$D����$1����_+,��'��[email protected]�8�Fb�3��'��#%=[

����� � ,���� �?0B& ��:�0B��� 02.2" ��$'& 0 &��;� ( �),/$ ��.'� ,� �.�0B��� .2�$ � � 02$ , � & ��3��A4

�=���53����/0 . � ��$

\^�]���>�����(!#�^u*��7E+,�3���/�3� �2��PEC@�3����)*�T+O1:U�.B�3�>�:'�'$7E.>!G'(.(D]!#�3��8�!G'(.(D������ �$�#.V7��(%b+B[`�D��T!#'$'$���3)�1b'$�#+-7/��*�>�"%�+`'$D*!#'T!GF�F*�#!#�H�*�(+,' �3�Q'�D����2��P]D*!�c2��Db�3��Db��� %:��+$.B���38����*!G'��3���RFS7#C����H'�D*!G��'$Db72+O�L!#F�F*�#!G���3���!�46'$���`'$Db��8][��-���*.V�2u��{4@'�D��T���$��7��`�3��!����#.B7��A%�7?.>.B1��(+`�3� '$D��RF*!G��'$�".V1��"!#�ª�J���"%]7��`F*7���'$�37/��7G4@'�D���*�>�"%K'�D*!G'@��+£'$Db�_8�72+,'��38�F*7���'(!#�:'�F*!G��'7G4�'$Db�_�2��P2u2'$Db���$�_8�!NP&)*�����3'�'$�3��.(D*!#�*.B�`!H���#.B7��A%KC@�3���*���*%1�F�.B�37Y+O�`'$7T! 8E!#'(.(D��3���&�$�#.V7��(%E!�46'$����+,7��$'��3���b[@��7��@���*+O'A!G�*.B�Yu��{4�!G�E��8�F���7#P2���-DJ!�+@'OC�7 �$�#.V7��(%b+�3�'�D��T%�!G'A!G)*!/+O�2u�7/���KC@��'$D +,7?.B�"!#��+O�#.V1��$��'OPE�?1�8T)S�>�� � ��������������!G�J%]!G��7/'$D����`C@��'$D +O7?.V�"!G��+O�#.B1b�$�3',P�?1�8T)S�>����������� �����@«6'$D����*�(+,'¡',C7@�?1�8T)*���(+*C�����£'��(!#�*+OF*72+,�#%S¬Au:!#�*%��<4�'�D��@+,7?.B�"!#��+,�#.B1����3',P��:1�8T)*�����+¡1*+O�N% !�+¡'�D��@F��$���*.B��F*!G�2�*����%�7G4�'�D��@�2��P2u#'$D��>�H�3'��"+�c2���$P`1������3�2����P_)*7�'�D �$�#.B7/�(%�+�C@�3�3�24y!G���:1b�*%:����'�D��+�!G8��_C@���*%:7#C`u:�y[~�2[�'$D���'OC�7 �$�#.V7��(%b+£C@�3'�DE'$�(!#�*+OF*7Y+O�#%L+O7?.B��!G��+O�N.B1��$��',P �:1�8T)*���(+�C@���3�=)*�-4y!#��!GF*!#�$'����'$Db� +O7/�$'��#%��3��+O'�!G�*%�D��>�*.B�H'�D���PE8E!�P���7/'_)*�H8��>�$���N%=[ �_+�C��HC@���3��+ODb7GC ���]'$D��&����©?'_+,�#.B'$��7���u'�D��`�:1�8T)*���7#4�8E!#'(.(D��3���&�$�#.V7��(%b+�8���+$+,�#%K)?P�7����&�$1��L7G4�'$D���+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%]8���'$Db7?%�.>!G�)*�`�"!#�$���&1������#+$+'�D��`�����3�/D:)*7/�$D�727?%��/�$7#C�+�c2�>�$PT�"!G�����2[��7����*.B���#!�+,�@'$D����:1b8K)*����7G4 +O�38R�3�"!#���$�#.V7��(%b+�8R���$�/�#%=u#'OC�7`7�F�'��37��J+�C����$�@�>©:F���7����#%=[��Db��*�(+,'£��+

+,�38�F���PKC@��%:��������� '$Db� +$.>!G����������C@���*%:7#C +O��Z��`):PE���*.B�$�N!�+O�������`[ª¨����#!G���3P�'�D��"+@�3�J.B�$�#!/+O�#+'�D�� .V7�8�XF�1b'(!G'��37/�*!G��.B7�8RF��3��©?�3',P/u2!G�J%=u=!/+-%?�"+$.V1*+$+,�#%��3�E'$D��`���>©:'�+,�#.B'$��7���u*%?72�#+��b7�'@�3�J.B�$�#!/+O�&%:�A!G8E!#'$�".>!G�3��P'�D��`�:1�8T)*���7#4�+O��8��3��!G���$�N.B7��A%�+�8R���$�/�#%K�3�E'�D��`'$�#+,'�.�!�+,�#+�C��`�(!G��« 1��b�3�#+�+7G4�.B7/1��(+,�H'�D��`C@�3�*%:7#C+,F*!G�*+`'$D�� �>�:'��3�$��%�!G'A!G)*!/+O�TC@D��".(D]C� DJ!Nc2� Fb�$�#+,1�8��#%E�"+-���:46�#!�+,�3)����H1��J%:���&+O'��$�".V'-'��38���!G�*% .B72+,'.B7/�*+O'��(!#�3�?'(+g¬A[�D��R!G��'$�����*!G'��3c2�T+O'��(!#'$���/P]C� �38RF��3��8T���?'$�#%���+-'$7E��©?�#.B1�'��T+O��c2�>�(!G���3�*%:�>FS�>�*%:���?'_�$1b�*+_7G4@'�D��

+,7��$'��#%:X6��������D?)S7/�$D�727?%�8R��'$D�7?%�u:�#!/.gD�'��38���1*+,�3���T! %:�<;����$���?'�2�>PT!G�*%L!Edgf k<o�xyl�� f k �5v>w o�k3k � l"m j2i �¡[  � .�!#�3��'�D��"+�+O'��(!G'�����PL'$D���w � k x^l! � o v(v o �2��d$i o h��?[��J7/�-���*+O'A!G�*.V�2uS����7/���H��1���u*C�H1J+O�H'�D�� !/%�%:���#+$+!/+-'$D��&F��$���*.B��F*!G��F*!G��'_7G4�'$D��&�2��PEC@D��3�������]!#��7�'�D����_��1��]C�&1*+O�&'$D�� ��!�+O'��*!#8��`7G4�'$D��&��8�F���7#P2���!/+'$D��`F����3�*.B��F*!G�*F*!#�$'@7#4�'�D��`�2��P2[�®�!/.gD����*%:��F*���J%:���?'�$1b��C@���3�*F���7?%:1*.B��! +O��'�7G4�F*!G���(+7G4��$�N.B7��A%�+C@D���.gD .>!G�])*� 8��������#%=[_  � '$Db��� !GF�Fb�3P�'�D�� '$�A!G�*+,�3'��3c2� .V�372+,1��$� '�7E'$D�7Y+O�TF*!G���(+-7#4@�$�N.B7��A%�+B[&�D��

r�r

Page 13: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

���#+O1���'(+_C@�3����)*��!�1��b�37�� 7G4�!#�3��FJ!G�3�A+H%:��+$.B7#c2�����#%�)?P]!#�3���3�J%:��F*���*%:�>�:'_��1��*+Vu¡C@�3'�D��b7�%?1�F��3��.�!G'��#+BuF���1*+@!G����'$D�7Y+O�&F*!G���(+'$DJ!G'�.�!G�E)*�H���:46���$���#%K)?P�'$�A!G�*+,�3'��3c?�3',P 7G4��N0 1*!#�3��'OPY[�D��_���#!�+,7��E'$Db�"+!#F�F���72!�.(D�C�7��$�b+£467���'$D���'$�#+,'.>!�+O�N+��©:Fb�37����#% D����$��D*!/+8K1*.(D '$7�%:7HC@��'$D�'�D��

�*!#'$1����@7G4�'$Db������$7��A+¡�3� '�D��@%b!G'(!?[�� �A!G�*+,F*72+O�����H'�D��£�J�(+O'�'OC�7`%:�����3'A+ 7#4�'$D���+,7?.B�"!#��+,�#.B1����3',P`�:1�8T)*������#!�%�+�'$7���7���X68��������#!#)��3���$�#.V7��(%b+¡!/+¡C�@��7/'$�#%�[ �-7#C�>c2����u���� +O1J.gD&�$�#.B7/�(%�+Vu�'$Db�c/!G���"!G)b�3�3��',P_7����>�$�$7/�!#F�F*�#!G���3���L�3� !G�b7�'$Db�����*�>�"%�7G4�'$D��T�$�N.B7��A%�+_8E!�P����*%:���N%���7�'`)*��+,7���!G�$�/�2[ �D��>�$�B467/�$�2u�!G��'$D�7/1���D'�D��&+O7?.B��!G��+O�#.B1b�$�3',P��?1�8T)*���(+��3�E',C7T�$�#.B7/�(%�+�!G���`���$7Y+$+,�3P����E���$��7���u*'$Db���J!G8��_�*����%�+8E!�PT��7�'�)*�2[�-�>�*.B�2uG�J�(+O'�+,7���'$�3�b�H7��E'�D��-�J!G8��@�*����%�+!/+£'$Db�_F��$��8E!G��PH�2��P C@���3�*)����3���&'$D��#+,�_',C7&�$�#.B7/�(%�+�.B�37Y+O���'�7����>'$D����@���#+$+,��������� '$D��`���>�2!G'��3c2�`�B;��#.B'A+7G4�!5�/�$7Y+$+@���$��7��@�3�E'�D��&+O7?.B��!G��+O�#.B1b�$�3',P �*����%=[

�-7/'$�".V�-'�D*!G'@'�D��`1*+O�_7#4�!H'��(!#�*+O��'$�3c2��.B��72+O1b�$�`+,'$��F���+��7�'@���38���'$�>%H'$7 '�D��Tw � k x^l! � o v(v�!GFbF��$7Y!�.(D�[  �L.�!G���38RF��$7#c2� '$Db��!/.�.B1��A!�.BP�7G4ª!]+O�3�b���3�EF*!/+$+ ):P�.B7/8�F�1�'��3���L'$D��E'$�A!G�*+,�3'��3c2�R.B�37Y+O1�����7#4_'�D�����#+O1���'(+V[H\ 4��$�#.V7��(%b+ _ !G�*% m !#�$�H467/1��*%]'$7E)*��+,�38����"!G��!#�*%=u�!G'`'�D��T+$!#8�� '$��8��2u��$�N.B7��A%�+ m !#�*% d!#�$�E!#�"+O7E467�1��J%�'$7E)*�E+O��8��3��!G�>u='$D��T'$�A!G�*+,�3'��3c2�T.B��72+O1b�$�R+O'$�>F�.�!G� 8E!#�$� _ !G�J% d '$7L)S�R+O��8��3��!G�_�<4'�D��"+�����"!#'$�37/�EC@!�+�b7�'�%:��'$�N.B'$�#%T):PT'$D��`�#021*!#'$�37/�*!G��'�D���7/�$P2[���7/�$��7#c2���>u:�$�N.B7��A%�+ _ !G�J% m 8K1*+,')*�C@��'$D���� � ���#.B7/�(%�+`'$7�)*�E8E!#�$�2�#%]!/+H+O��8��3��!G�_)?P '$D����N0 1*!#'$��7��*!#�'$Db��7���P2[��Db�E+$!#8��K��+�'��$1��K467/����#.B7��A%�+ m !#�*% d [ �1�'�u��<4'�D�� '$�A!G�*+,�3'��3c2�T.B��72+O1b�$�T+O'���F �"+_1*+O�N%=u _ !G�J% d ���>�#%���7�'&)*�KC@��'$D���� ����#.B7��A%�+¡'�7�)*��%:�>'$�#.B'��#% !�+�+,�38����"!G�>[��D��@1*+,�@7G4 !ª'��(!#�*+O��'$�3c2��.B�37Y+O1�����!G'�'�D��@���*%H7#4�!#�:P�+O�3�b���3�>X F*!/+$+��1���7#4@'�D��T+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%Q8���'�D�7?%]+OD�7/1��"% !G���37#C 1*+_'$7E�$�N%:1*.B� '�D��T+O��Z�� 7G4�'$D��T+�.�!G���b�3���C@���*%:7#C���!G�*%E+O'��3����%:��'��#.B'�! .B7�8�FJ!G�(!#)��3���:1�8T)*����7G4�+O��8��3��!G��F*!G���(+@!/+C�`C7/1��"%5�J�*%�C@��'$D�7/1�'�!�*�J!G��.V�372+,1��$��F�D*!/+O�`!#�*%E!���!G�$�/��� ��[����3��+O���������-��1����$�N+O1���'(+��$��F*7/�$'$�N%K�3�T'$D�������©?'+,�#.B'��37��T�3�J.B�31*%?�!H�*�*!#��.B�37Y+O1�����FbD*!�+,�2[�D��_1b'$�3���3',P`7G4�'�D��"+�!GFbF��$7Y!�.(D���+�'$D������B467����_%?��'$����8��3�b�#%�)?P '$D����*!#'$1����_!#�*%K7?.�.B1b�$�$�>�*.B�#+�7G4�'�D��

�����$7/�(+�!#F�F*�#!G���3���`�3�&'$D���%b!G'(!?[��D��@.(D�7/�".B��7G4��2��Pb+¢467/��+O7/�$'$������u/'$D������¡7/�(%:�>��u?!G�*%H'�D��@��©?'$�A!�.B'��37��&7G4�����3��c/!#�:'����:467���8E!G'��37/�546��7�8�!��2�>P��*����%5��+�!��?��7#C@�3�#%:�/�-���:'����*+,�3c2�@!/.B'$��c:��',P�'�D*!G'�8K1J+O'�)*�_��©?F���7��$�N%!#�*%�.�!#�$�B461b�3�3PT��c/!G��1*!G'��#%�F��$��7��@'�7K��1����������T!K%b!G'(!T.B���#!G�*+,�3��� Fb�$7?.B�#+�+B[\^�Q'$Db������©?' +,�#.B'$��7��QC���C@�3����+OD�7#C�D�7#C�'$D�� w � k xyl! � o v(v !#F�F���72!�.(De.�!G� %:�(!/+O'$��.�!G���3P �38�Fb�$7#c2�

'�D��`!�.>.B1��(!/.BPT7G4�'$D��`�$�N+O1���'(+£7#4�7/���3PT7��b����1���7#4�'�D��&+O7���'$�#%?X ���>�3��D?)*7���D�727?%�8���'�D�7?%5C@��'$DEc/!G��P:�������!G�$�/��C@�3�J%:7#C�+B[ @4�F*!#�$'��".B1���!G�&�3�?'$�����#+O'&�"+�'�D���7/)*+O����c/!G'$��7��e'$D*!#' 7�����PQ!]+,8E!G���+,�#!G�A.gD�C@�3�*%:7#CC�!�+������#%?�#%�467���'$Db� w � k xyl! � o v(v�!GFbF��$7Y!�.(DK'�7�7/)�'(!#�3��Db�3��DT!/.�.B1��A!�.BP C@Db�3�3�@�b7����*%:��c:��%:1*!G�?�$1b�KC@��'$D!L+O�3�b���3�T�2��PE467��&+O7/�$'$������Fb�$7?%:1*.V�#%Q.B7/8�F*!G�A!G)����T!�.�.V1��(!/.BP]�$�#+,1��3'A+_C@�3'$D�!���!G�����TC@�3�*%:7#C9«67�'$Db���

r�s

Page 14: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

'�D*!G�MC@���*%:7#C¯+,�3Z��#+T!GFbF��$7Y!�.(D��3����'�D��]+,�3Z��L7G4 '�D���461b�3��%�!G'A!G)*!/+O��¬A[��D��#+,�]�$�#+,1��3'A+5C����$�E467�1��*%.B7/�*+O��+O'����:'��3P&7Gc2�>��!`c�!#�$����',P�7#4��/�������A!G'$�N%K%�!#'(!#)*!�+,�#+£C@��'$DTc�!#�$��!G)����@���$��7��(+����:'��$7?%:1*.V�#%5���T!G���:�*����%�+����!T+OPb+O'���8E!#'$�".4y!�+,D��37/��[

� ����� `����� �������� �����>�9�

����� �����.2"0B& ��:!0B��� 3 "02"%<�"%$1�$

�-���*%�!#'(!G)J!�+O�N+1*+O�#% '$7&'$�#+,'�'$D��#+,�-8R��'$D�7?%b+�C����$�����>�����(!#'$�#%T!G1b'$7�8�!G'$��.�!G���3P&):PT!`%�!#'(!G)J!�+O�`�/��������X!#'$7���'�D*!G'�!#�3��7GC�+�1*+¡'$7`F*���,467��$8 .B7��?'$��7����3�#%&+O'$1J%:�3�#+�!G�*%H'�7��N+O'(!#)��3��+OD&'$D���!/.�.B1��A!�.BP&7G4�'$D���+,7���1�'$��7��8��>'$D�7?%=[��D��"+`%�!#'(!G)J!�+O�E�/�������A!G'$7/�`F��$7#c?�"%:�#+�!�1*+,���_C@�3'�DQ!���!G�$�/�K�?1�8T)*���-7#4�F*!G�A!G8��>'$���A+-'$D*!#''�D���PE8E!�P�+,��'��3�*.B��1*%:������u�'�D�� +,�3Z��`7G4�'$D���%�!G'A!G)*!/+O�2u='�D��HF*���A.B���?'(!#���H7#4�%:1�Fb�3�".>!G'$�`���#.B7��A%�+-����'�D��%�!#'(!#)*!�+,�2u_!#�*%¤'$D���!G8�7/1��?'K7#4H�>�$�$7/��'$7 )*�]�3�?'$��7?%:1*.B�#%��3�e'$D�� %:1bF��3��.�!G'��#%I���#.B7��A%�+ �3�M!#�:Pe7G4'�D��E!G'�'$���3)�1�'��K�*����%�+B[ �_.�.B1��A!�.BP]��+H8��#!/+O1����#%�!/+H'$D��RFS�>�(.B���?'(!#����7#4�'$D��R�:1�8T)*���`7G4ª%:1�F����".�!#'$�#+.B7/�$���#.B'$��P�467�1��J%�):P]'�D���F���7?.B�#+�+B[]�*!G��+O�TF*72+O��'$��c2�#+H!#�$�T8��#!�+,1��$�N%�!/+H'$D��TF*���(.B�>�:'A!G���R7G4��$�N.B7��A%�+.B��!G��8��#% '$7 )*�H�#021���c�!#�3���?')b1�'@C@D��".(DE!#�$�H�b7�'�!�.V'$1*!#��%:1bF��3��.�!G'��#+B[

�-�����2u��#!/.gDT���>�����(!#'$�#%T%�!#'(!G)J!�+O���"+�c:����C�N% !�+�'$D���.B7/�*.�!G'����*!#'$�37/��7G4¢8K1b�3'$��F��3��%�!#'(!#)*!�+,�#+B[��D��8��>�$�������7#4*�$�N.B7��A%�+ ���H'�D����$�#+,1��3'A!G�?'�+O�3�b���3��%�!#'(!#)*!�+,�@�"+�'$D���7�) �,�N.B'¡7#4�+O'�1*%:P_���H'�D��#+O����©?F*���$��8����?'(+V[®�!�.(D �$�#.B7/�(%��/�������A!G'$�N%].B7��*+,�"+,'(+_7G4�'$D��H467/�3�37#C@�������*���"%b+Bu�+,7�8��&7G4@C@Db�".(D .�!G� )*� ��8�F�',P �-+,7?.B�"!#�+,�#.B1����3',PH�?1�8T)S�>��uG�*�A+O'��*!G8��Yu �����3'��"!#�^u���!�+O'��*!G8R�2u?!�%�%:���#+$+Vu�!#F*!G��'$8����?'�u?.B��',P2u2+O'A!G'��2u�!#�*%KZ���F�.B7?%?�2[�D�� �J!G8��#+@C�>�$� .(D�7Y+O���]�A!G�*%:7/8��3P�46��7�8¯!T�3�"+,'-7#4 �/� Z�Z�Z ���#!G���*!G8R�#+��V[`�D��T.B�3'��3�#+Vu=+,'(!#'$�#+Vu�!G�*%Z���FL.B7?%:�#+_«y!G�3�=46��7�8§'�D�� �H[ � [ ��¬�.B7�8��@46�$7/89F�1�)����".B��PT!Nc/!#�3�"!#)��3�`���"+O'A+ � [�D���%�!#'(!_���>�����(!#'$�#%`C@!/+����:'����*%:�N%ª'�7_)*��!_��727?% 8�7?%:���?7G4�C@D*!#'�8��3�/D:'�!�.V'$1*!#�3�3P`)*�@F���7?.B�#+$+,�#%

���M�$�#!#�3X6C7����"%e%�!G'A!�+O�>'(+B[ �D��]�����$7/�(+K���:'��$7?%:1*.V�#%¤�3�e'$D�� %:1bF��3��.�!G'����$�N.B7��A%�+5�A!G���/��46��7�8 +O8E!#�3�',P?FS7/���A!GF�D���.�!G��8��"+,'(!G�2�N+Bu'�7¤.V7�8�F�����'$��.gD*!#����� 7G4&��!�+O'R�*!G8��N+�!G�*%M!/%�%:���#+$+,�#+B[  MDb��� +O��'�'$�����'�D��`F*!G�A!G8���'����(+�467��@',P?FS7/���A!GF�D���.�!G���>�$�$7/�(+Vu�C�_1*+,�#%��:�b7GC@��46���#0 1b���*.B���#+¡46�$7�8 +O'$1J%:�3�#+���L+OF*���3���3���.B7/�$���#.B'$��7��L!G����7/�$�3'�D�8E+�q~s:r2u �Yu�r �#ty[��J7/�-'�D��"+@+,'$1*%?P2u�'$D��`�/�������A!G'$7/�_+,���3�N.B'$�#% 46�$7�8}r Z� '�7 � Z� 7G4'�D�� �����b���(!#'$�#%����#.B7��A%�+�467/�H%?1�F��3��.�!G'��37/��C@�3'�D]���$��7��A+Bu�C@D������ '$D�� �����$7/�_�3�]'�D��T+OF*�����3�3�b�K7#4@C7/�(%�+Vu

� ����� 3�����������3���� ( �����"�,�@( ��������6�������,���0��7������ (R ��§û�> »þ �,�����2 ( �5��2 ���� �,�����76�����+������ ��!�<���+������"��!�<�#���67������������,��� ���D.�#���$��2"���5� L

r��

Page 15: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

�*!#8��#+`!G�J%Q.B�3'��3�#+_C�!�+H.V7��?'$�$7/�3���#%�!/.�.B7/�(%:������'�7�'$Db�#+O��Fb1�)��3��+OD��N%�+,'(!G'��"+,'$�".>+ª467�1b�*%�467���.B7�8R8�7�����#!G��C�7��$��%E%�!G'A!�+O�>'(+B[\^��'�D��"+-FJ!GF*����u�'$D��&FS�>�O467���8E!G�J.B�`8��#!�+,1��$�>8����?'7G4�!/.�.B1��A!�.BP « F*���A.B���?'(!#���H7#4�%:1�F����".�!#'$�#+�.�!GFbX

'�1��$�#%*¬@1*+O�����E'$D���+ �(+,'(!#�*%�!G�A%������$7���8�7?%:��� �K�"+-Fb�37�'�'$�#%�7#c2����c�!#�$P?�3����+O�3Z>�#%�C@�3�*%?7GC�+`+,7�'�D*!G'�C�8E!�P_)*��'�'$����1��*%?���(+,'(!G�J%5'�D�������"!#'$�37/�*+ODb�3F !#�*%H'$�A!�%:�>7G;¢+�)S�>'OC������&.B7/8�F�1�'A!G'$��7��*!#��.V7�8�F�����©?�3',P�!G�*%!/.�.B1��A!�.BP2[� ��ª%:7H��7/')*�����3��c2�@'�D��_�$�N+O1���'(+�C@�3���S)*�`+,1�)*+,'(!G�?'$��!G���3PT%:�<;=�>�$���?'�467���%:�<;=�>�$���?'�%�!G'A!G)*!/+O�#+C@��'$D¤'�D��L+$!#8��L+O7���'(+ 7G4`�>�$�$7/�(+ �3��'$Db��%?1�F��3��.�!G'��#%Q�$�#.V7��(%b+B[M��1�'�1��$�EC7/�$��C@�3���D��>�3F�'$7 )*��'$'�����#+,'(!#)��3��+OD�'�D��"[email protected]/� �,�#.B'�1��$��7#c2���C@��%:����P c�!#�$P?�3��� �>�$�$7/�8�7?%?���"+Vu:!�;�7��(%?�#%�)?PK7/1���%�!#'(!G)J!�+O�&�����b���(!#X'�7���[���7GC���c2���>u�7�'�D����@+,'(!#'$�"+,'$��.�!G���3PH�/�������A!G'��#%�%�!#'(!G)J!�+O�N+8E!�PH)*�#!G����7 %?�3�$�N.B'��$����!G'$��7��*+,D��3FT'$7&�$�#!#�%�!#'(!?[�  �`)*���3����c2�_'$Db��Fb�$�#+,���:'���©?F*���$��8����?'(+�!G����8R7��$�`���#!G���"+O'��".�[ � �#.B'$��7�� �KF���7#c:��%:�#+@+O1b)*+O'A!G�?'$�"!#���c?�"%?���*.B�@467���'$D���+@.�!�+,�2[

��� � � �$ � � 02$ ,�� "%(A( ��.'"%( �

�D���F�1��$F*7Y+O�Q7#4T'$D���+R�J�(+O'L��©?FS�>�$�38R���:'TC@!/+�'�7M%:��'����$8R�3���L)*!�+,���3�����Q!/.�.B1��A!�.BPM7#4T'$D���+O7/�$'��#%:X���>�3��D?)*7���D�727?%�8R��'$D�7?%�[�  �H�A!G�]'�D��$���&�3�*%?��F*���*%:���?'@�$1b�*+-7G4�'�D�� +,7��$'��#%:X6��������D?)S7/�$D�727?% 8���'$Db7?%7#c2�����#!�.(D %�!#'(!G)J!�+O�Yu�!G�J%�1*+,�#%]!E%:�{;��������?'-�2��PL%:1b�$�3�b��'�D��T+O7/�$'��3���EF�D*!/+O� 7#4@�#!/.gD]���*%:��F*���*%?���:'��1���[ ���'�D��K�*�A+O'`�$1b�Q'$D��T�"!/+O'&�*!G8�� C�!�+`'$D��TF��$���*.B��F*!G�¡�J���"%]7G4�'�D��K�2�>PQ« �y[~�2[�u='$Db���"!/+O'`�*!G8R�C�!�+'$Db�-�*�(+,'@!#'$'$���3)�1b'$�_����'$D����2��PS¬A[ -�E'�D��`+O�N.B7��*%T�$1���u?'$D����"!�+,'�*!#8���C@!�+'�D��_F����3�*.V�3F*!#�J�J���"%=uC@D����3�2u#�3�&'$D��@��!�+,'¡��1���u2'$D���+O'��$����'�!�%b%:�$�#+�+¡C@!/+�'$D���F��$���*.B�3FJ!G���*����%=[ �1���+O�����#.B'$��7��`7G4�'�D��@!#'$'$���3)�1b'$�7/�(%:�����3���E7#4�'$D��T�2��Pb+-C@!/+�F�1������3P�!G��)��3'��(!G��P2[�  ��.B7/1��"%]D*!�c2� 1*+,�#%�'$Db��+,7?.B�"!#�3Xy+O�#.B1b�$�3',PL�:1�8T)*������*+O'��#!�%E7G4�u�+$!�P2u*'$D���+O'$������'�!/%�%:�$�N+$+B[@  � !/+$+O1b8��&!G�3���*����%�+�!G�$�&��7���+OP «^!#�*%�1b�*%:����'$D���.B7��?'$��7���7G47/1��`%�!#'(!K�/�������A!G'$7/�_'$7R)S� 8�!�%:�&+O7?¬�!G�J%�'$D������B467����H��'_%:72�N+ª�b7�'_8E!#'$'����@C@D*!G'��*���"%E7��A%:���$�����TC�+,���3�#.V'£467���F�1���F*72+O�N+�7#4�'$D���+@+O'�1*%:P2[�¡����1�����s:«^!2¬�+OD�7#C�+�'$D��@�V;=�N.B'�7G4¢c/!G�$P?�3�b�_'$D���C@�3�J%:7#C¤+,�3Z��46��7�8 sª'�7 � Z �$�#.V7��(%b+¡�3�T!`%�!#'(!G)J!�+O�

C@��'$D]r/u Z�Z�Z u Z�Z�Z �$�#.B7/�(%�+�!G�*%�C@��'$DE!#��!/%�%:��'$�37/�*!G� � s�� � � � %:1�Fb�3�".>!G'$���$�#.B7/�(%�+�C@�3'�D�c/!#�$P?�3���&���$��7��(+V[� �$�N.B7��A%�8�!NPT)*�&%:1�F����".�!#'$�#%�8�7/�$�_'�D*!G�L7��*.B�Y[��-7�'��".B�_'�D*!G'��#!/.gDE�3�J%:��F*���*%:�>�:'@��1���467�1��*%�46�$7/8� Z� '$7 � Z� 7G4@'�D��T%:1�Fb�3�".>!G'$�N%�F*!G���(+B[ �-7�'��".B��!G��+O7�'�D*!G'`���*.B�$�N!�+O������'�D��KC@���*%:7#C�+,�3Z��T%?72�#+���7/'D��>�3FT8K1*.(DT!G�J%K'(!#�:�����H���E.B7��J+O�"%?���(!#'$�37/�K'�D*!G'@'�D���'$�38R��.B7�8�Fb�3��©?�3',P_7#4�'$D��_Fb�$7?.B�#%?1��$�_�/72�#+£1bFE!�+'�D��`C@�3�*%:7#C�+O��Z��`�3�*.B���#!�+,�#+Bu?�3'@��+7�)?c:��7�1*+,�3PK46��1��3'��3�#+�+!G'�+O7/8��_F*7����:'@'�7K1J+O�&!5��!G�����`C@�3�*%?7GC`[�D��L�3�3�b��8E!#�$�2�#%Q!/+�� � k xyl! � o v(v�i � fVd�� n f��NvT�3���*��1����]s?«^! ¬5+OD�7#C�+K7/1����$�N+O1���'(+ C@D����¤'�D��

r �

Page 16: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

40

50

60

70

80

90

100

0 10 20 30 40 50 60

Dup

licat

es D

etec

ted

(%)

Window Size (records)

Sorted-Neighborhood Method (1M records + 423644 duplicates)

Key #1 (Last Name)Key #2 (First Name)

Key #3 (St. Addr.)Multi-pass over 3 keys

� ����:R�Dÿ������ #þ�.��Wþ�ÿ»ÿ����2 �$�� ���� ����2 ��"� ��#��$¼ûS� �* ��"�����û¼ÿÖü

0

0.05

0.1

0.15

0.2

0 10 20 30 40 50

Fal

se P

ositi

ves

(%)

Window Size (records)

Sorted-Neighborhood Method (1M records + 423644 duplicates)

Key #1 (Last Name)Key #2 (First Name)

Key #3 (St. Addr.)Multi-pass over 3 keys

� � ��:R�Dÿ��2� > -þ*.§û4��Wþ�ÿ»ÿ����2 �$�� �1�� ����� ���� �1���$¼û D���� ���� ���¡û¼ÿÖü

�¡�3�/1��$�&s ���_.>.B1��(!/.BPT�$�#+,1��3'A+£467���!Er�u Z�Z�Z u Z�Z�Z �$�N.B7��A%�+@%�!G'A!G)*!/+O�

F���7��/�(!G8 .B7/8�F�1�'��#+¡'$Db�@'$�(!#�*+O��'$��c2��.B�37Y+O1����-7#c2����'�D���F*!G���(+¡467�1��J%5)?P '$D���'$Db�$���@���*%:��F*���*%?���:'��$1��*+V[�D���F*���(.B�>�:'�7G4�%?1�F��3��.�!G'��#+=467�1��*%`��72�#+�1�F&'$7`!#�38�7Y+O' � Z� [ �I8�!G�?1*!G�2���*+OF*�#.B'��37/�H7G4J'$D�7Y+O�@�$�N.B7��A%�+��7/'�467�1��*%T!�+��#021���c�!#�3���?'��$��c2�#!#�3�#%_'�D*!G'�8�7Y+O'�7#4='�D���8 !G�$��F*!#�3�(+�'$D*!#'£C�7�1���%H)*�-D*!#�(%H467���!_D?1�8E!#�'�7K��%:���?'$�{46P C@��'$D�7/1�'@461��$'�D����@�3�?467��$8�!G'$��7���[�D��L�#0 1J!G'$��7��*!#�-'�D���7/�$P¤��+5�b7�'R.B7�8�Fb�3��'����3P]'��$1*+,'OC�7���'$D?P2[ \�'R.�!#�M%:�#.V�"%:�E'$DJ!G'�',C7 �$�N.B7��A%�+

!#�$�L+O��8��3��!G�_7/� �#0 1b�3c/!G�����:'`��c2�>�Q'$D�7/1���D�'�D���P 8E!�P]��7�' ����F��$�N+O���?'H'�D��E+$!#8������#!G��X C�7��$��%����?'$��'OP �'�D��#+O� ���*.B7/�$�$�N.B'$��P�FJ!G�3���#%��$�N.B7��A%�+_!G����.>!G�3���#% �,4y!G��+O��X6F*72+O��'$��c2�#+ �?[ �¡�3�/1��$�Ts?« )=¬�+OD�7#C�+�'�D�� F*���(.V���:'7#4`'$D�7Y+O�L�$�#.B7/�(%�+ �3�J.B7����$�#.B'��3P 8E!G���2�#%Q!/+K%:1bF��3��.�!G'��#+ !�+�!�461��*.V'$�37/�¤7#4`'$D��EC@���*%:7#C9+O��Z��2[e�D��F*���A.B���?'-7#4£4y!#�"+,� FS7Y+O��'$�3c2�N+���+-!#�38�7Y+O'��3�*+,�3���b�{��.�!#�:'@467��`�#!/.gDL�3�*%?��F*���*%:���?'��$1�� !#�*%�����7GC�+`+,�37#C@�3P!/+H'$D���C@���*%:7#C�+O��Z��T�3�*.B���#!�+,�#+B[��D���F*���(.V���:'`7#4-4y!#�"+O�RFS7Y+O��'$�3c2�N+�!�46'$��� '�D��T'$�(!#�*+O��'$��c2��.B��72+,1��$����+!#�"+O7 c2����PQ+,8E!G���^u¡)b1�' ����7GC�+H4y!�+,'$���T'$DJ!G���#!�.(D��3�*%?�3c?�"%:1*!#���1��e!G�37/���2[��D���+ +O1��/���#+,'(+K'�D*!G' '�D��'��(!G�J+O�3'��3c2��Xy.B��72+O1b�$��8E!�PK��7/'@)*�H!/+@!�.�.V1��(!#'$�`�{4�'�D��`C@�3�*%:7#C�+O��Z��-7#4��#!/.gDE.V7��*+,'$�3'�1����?'F*!/+$+@�"+�c2���$P��!G�$�/� �

�D����?1�8T)*���`7G4��3�J%:��F*���*%:�>�:'&�$1��*+`�����#%?�#%�'$7L7�)�'A!G���I�/727?%I���#+O1���'(+`C@�3'$D�'$D��E.V7�8�F�1b'(!G'��37/�7#4_'�D��E'$�(!#�*+O��'$��c2�E.B�37Y+O1����L%:��F*���*%�+ 7���D�7#C9.V7��$��1�F�' '�D��L%�!G'A!���+ !G�*%�'$D��E�2��Pb+H+,���3�#.V'$�#%=[��D��8�7/�$�`.V7��$��1�F�'��#%K'$Db�H%b!G'(!?u�8�7����_�$1b�*+8��3�/D:'�)*�`�����#%?�#%K'$7T.>!GF�'�1��$�`'$Db��8�!G'(.(D������`�$�#.B7/�(%�+V[��D��'��(!G�J+O�3'��3c2�`.V�372+,1��$�Yu:D�7#C�>c2����u?�"+��©?�#.B1�'��#%K7/��FJ!G�3�A+�7#4�'�1�F�������% � +Vu:�#!/.gDL!#'-8�7Y+O'�� Z )��3'A+Bu*!G�J%�4y!�+,'

r �

Page 17: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

500

1000

1500

2000

2500

3000

3500

0.4 0.6 0.8 1 1.2 1.4 1.6 1.8

Tim

e (s

)

Total number of records (x 1M)

Sorted-Neighborhood Method

10% duplicates30% duplicates50% duplicates

�¡����1����@� ����38R�£F*���,467���8E!G�*.V�£7#4�'$D���+O7���'$�#%?X ���>�3��D?)*7���D�727?%�8���'$Db7?%�+¢467/��%?�{;����$�>�:'�+O��Z��@%�!#'(!#)*!�+,�#+B[

+,7��31b'$�37/�*+�'�7].B7/8�F�1�'��H'��(!G�J+O�3'��3c2�T.B��72+,1��$�T��©?�"+O'Rq sGt^[R���$7�8¯7/)*+O�>�$c?�3���E�$�N!G��C7/�$�"% +$.V���*!G���37Y+Bu¡'�D��+,�3Z�� 7#4@'$Db��%�!#'(!L+O��'`7#c2���_C@D���.gD]'�D��R.B�37Y+O1���� �"+`.B7�8RF�1�'$�N%��"+`!G'`�3�N!�+O'`7/���K7/�(%:�>��7#4@8E!#������'$1*%?�+,8E!G���3���_'�D*!G��'�D��E.B7/�$�$�N+OF*7��*%?�3��� %�!#'(!#)*!�+,��7G4����#.B7/�(%�+Vu�!G�*%Q'$D?1*+&%:72�#+H��7/'T.B7��?'$���3)�1�'���!���!G�����.B7Y+O'>[��1�'���7�'��_C�_FJ!NPR!�Db�#!�c:P F����".B��%:1���'$7 '�D����:1�8T)*����7#4�+O7���'(+7/�@.B��1*+O'����$�����2+�7G4�'$Db�-7/�$�3�/�3�*!#���!G�$�/�T%�!G'A!�+O�>'�[_  � F��$�#+,���?'$�#%L+O7�8R��FJ!G�(!#�3�����¡��8�F�����8��V�:'A!G'$��7��E!#�3'����$�*!#'$��c2�#+�'�7��$�N%:1*.B�&'$D���+_.B72+,'���Qq<r��#t^[

��������� �íeëQî»ðÖï�ñ� ô�¡���*!G���3P2u?C��%:��8�7/�*+O'��(!G'��`'$D*!#'-'�D�� +,7��$'��#%:X6��������D?)S7/�$D�727?%]8���'�D�7?%E+$.�!#�3�#+@C�>�3��!�+@'$Db� +O��Z��`7G4�'�D��%�!#'(!#)*!�+,�-���*.B�$�N!�+O�N+B[��-1��@'�7_'$D����3��8��3'A!G'$��7��*+=7#4�7�1���!�c/!G���"!#)��3��%:��+O� +,F*!�.V�2u�C��.B7�1b�"%�7/���3P`�/�$7#C¤7/1��%�!#'(!#)*!�+,�#+�'�7E!G)*7�1b' �:u Z�Z�Z u Z�Z�Z �$�#.B7/�(%�+V[�  �T!G�Y!G�����A!G� '$D������ �3�*%?��F*���*%:���?'��$1��*+_7#4'�D��T+O7/�$'��#%:X���>�3��D?)*7���D�727?%�8���'�D�7?%=u*�#!�.(D]C@�3'�D !�%:�<;=�>�$���?'_�2��P2u*!#�*%]'$D���� .V7�8�F�1b'$�#%E'$D�� '��(!G�J+O�3'��3c2�&.B��72+O1b�$�7#4�'$D������#+O1b�3'(+V[�  �R%:�"%�'�D��"+_467��&'$D��Lr�s]%�!#'(!#)*!�+,�#+H�3����!G)b�3�E�?[ s:[�r�[E ���+O'(!#�$'��#%�C@�3'�D�467/1��E« � ¬����7�Xy%:1�F����".�!#'$��%�!G'A!G)*!/+O�#+ ��!#�*%�467����#!/.gDEC��.B�$�N!G'$�N%�%?1�F��3��.�!G'��#+467��&r Z� u�� Z� u�!G�*%�� Z� 7G4�'�D�����#.B7��A%�+Bu2467���!H'$7�'A!G��7#4�'OC����3c2�`«�r�s2¬�%:�"+,'$�3�J.B'�%�!G'A!G)*!/+O�#+V[@�D��_���#+O1���'(+�!G�$�ª+OD�7#C@�E�3�E���3��1b�$�`�?[��J7/�'�D��#+O�T�$�>�"!G'��3c2����PE�"!G�����E+,�3Z��R%�!#'(!G)J!�+O�N+Bu�'$Db��'$��8�� +,����8E+_'$7L�3�*.V�$�#!/+O�T�3�3�b�#!G���3P]!/+�'�D���+,�3Z��T7G4�'�D��%�!#'(!#)*!�+,�#+-�3�J.B�$�#!/+O�_���*%:��F*���J%:���?'@7G4�'$D��&%:1�Fb�3�".>!G'$��7���4y!�.V'$7��>[

r��

Page 18: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

��ÿÖû�&�û����$O��57���kÿ ùSþ% 2�*$eÿ��"�Wþ�ÿ2��ü ùSþ' ��*$4üÖû���� ��� ���� ��Dü��þ�.Qÿ����Wþ�ÿ2��ü H ��� I���� ����� H ��� I���� ���������������� �'J*G%G�F�� K�*G>I�*G F�*G���%F G� L G �'J L � K�H L JH ����������� H%H �%F��'I%J H����%J��'J�H H�J�G>K������ F#H L I H%H"J L H H�G%G L JH������������ H�K�%I%J'F�� ������%J��%J �%K'K�����G�H H"I%J L H H�K'J L G ��H�J L KH�K��������� ����G������� ���'I%F%J'F�� I��'I�����%J H ��H L � ���'J L K ����� L K

�¡!#)��3�&� ����!G'(!#)*!�+,�T+O��Z��#+

����� � �5"�� ��$'&)$

�D��&�*!G'�1��(!#��021��#+,'$��7���'�7KF*7Y+O�H��+�C@Db������+'$D���w � k xyl! � o v(v�!#F�F��$7Y!�.(D]+,1�F*���$��7��_'�7K'�D��&+O�3�b���3�>X F*!/+$+.�!/+O�� �D��T!G�*+,C���`'�7�'�D��"+`021��#+,'$�37/�]�3���#+-�3�]'�D��T.B7/8�F��3�>©:��'OPT7G4�'$D��T',C7E!#F�F���72!�.(D��#+-467/�H! | � f�jo h(h��?d o h �Kd o�x f�« Db���$�_C��&.B7��*+,�"%:�>�@'$D��`F*���(.V���:'A!G�/��7#4�.B7/�$�$�N.B'$��PH467�1��*%E8E!G'A.gDb�#+g¬A[�-�����C���.B7��*+,�"%:�>��'$D���+�021��#+O'��37/�H�3� '�D���.B7/�:'���©:'�7G4 !-8E!#�3��X68���8T7���P-)*!/+O�#%T+O�N0 1��>�:'��"!G�?F���7?.B�#+$+V[

�D��R�$�#!/+O7���)*�������]'$D*!#'�u�!/+HC�E+,D*!G���@+O�>�2u�.B��1*+O'����$������Fb�$7#c:��%:�#+_'$Db��7/F�F*7���'$1�����',P�'�7]�$�#%:1J.B�K'�D��F���7�)�����8§7#4�+,7��$'��3���T'$Db���>�:'��3�$��%:��+O�?X ���#+O��%:���?'@%�!#'(!G)J!�+O� '�7T!K+,�#021����*.B��7G4�+O8E!#�3�3�>��u28E!G����X68���8T7��$P)*!/+O�#% !#�*!G��P�+,�"+¡'A!�+,��+V[��D��@+,���$��!G�?'$�38R�.V7�8�F�����©?�3',P@7G4�'$Db�&w � k xyl! � o v(v�!GF�Fb�$72!/.gDE«6C@�3'�D��F*!/+$+,�#+g¬���+�/�3c2���`)?P�'�D��'��38���'$7`.B���#!G'���'$D����2��P�+VuG'�D��'��38���'$7`+,7��$'�@'$�38R�#+Bu�'�D��'��38���'�7-C@���*%:7#Ce+$.�!#� @'$��8��#+«67G4�C@�3�*%:7#C�+O��Z�� �_¬�F��31*+'�D��`'$��8��@'$7T.B7/8�F�1�'��_'$Db�_'$�A!G�*+,�3'$��c2�`.B��72+O1b�$�2[�\^��7/1��@��©?FS�>�$�38R���:'A+Bu�'�D��.B���#!G'��37/��7G4�'$D��&�2��P�+C�!�+@�3�?'$���/�(!#'$�#%��3�?'$7T'$Db� +O7/�$'��3���TF�D*!/+O�2[��D������B467����2u�C�&'$���#!G'@)*7�'�D]F�D*!/+O�#+!/+-7���� ����'�D��"+�!G�*!#�3Pb+O��+B[ ���*%:����'$D���+O��8�F��3�<46P:�<����!�+�+O1�8�Fb'$�37/��'�D*!G'`!#�3��%�!G'A!K�"+�8���8�7/�$P �$�N+O�"%?���:'«6�^[~�Y[3u2C�&!G���`��7�'�\$� )*7/1��*%S¬Au

������������������� �"!���#%$&�& D¥��7�� D(')!�*+�%,-�/.0 �?D1')�2,-��#&�-��$43%576

C@D��>�$�8��"+`'$D��R�:1�8T)*���`7G4�F*!/+$+,�#+ !G�*%)�9,-�:#&�-��$43%576R�"+�'�D���'��38��H467/� '$D��T'$�A!G�*+,�3'$��c2��.V�372+,1��$�Y[]�D��.B7/�*+O'A!G�?'(+&%:��F���.B'`'$D��R.B72+,'(+_467��&.B7�8RF*!G���"+O7/��7/���3P !#�*%Q!#�$�������"!#'$�#%]!/+;!�*+�%,-�/. � <=!���#%$&�$u�C@D��>�$�<"> r/[H����7�8¯!#�*!G��P:Z>�3���T7�1��`��©?F*���$��8����?'(!#�SFb�$7��/�(!#8]u='$Db� C@�3�*%:7#C +$.>!G����������F�DJ!�+O�R.B7/�:'��$�3)b1�'$�#+! .B7��J+O'(!#�:'>u?!@*A��,-�4.�uC@Db�".(DI��+ !G'����#!�+,'�<(� �]'$�38R�#+H!/+K�"!#�$���L!/+K'$D���.B7�8RF*!G���"+O7/�*+HF*���O467/�$8��N%��� +O7���'$������[   �]�$�>F��"!/.B�]'$D�� .V7��*+,'(!G�?'(+����M'$����8 7G4&'�D��Q+,�3���/�3��.B7��*+,'(!#�:'B!#[��D�� .B7/8�F��3�>©:��'OP7#4_'�D��E.B��72+O1b�$����+H%:���$�#.B'��3P]�����"!#'$�#%�'�7�'�D��L!�.�.B1b�(!�.VP��A!G'$�R7G4��#!�.(DQF*!/+$+ !G�J%I%?��F*���*%�+H1�F*7/�I'�D��

r �

Page 19: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

%:1bF��3��.�!G'��37��T�3�R'$D���%�!G'A!G)*!/+O�2[ �-7#C�>c2����u�C��_!/+$+,1�8���'$D���'$��8��@'$7�.B7�8�Fb1�'$�@'�D��_'$�A!G�*+,�3'��3c2��.B��72+O1b�$�7/� !�%b!G'(!#)*!�+,�K'�D*!G'��"+-7/�(%:���A+-7G4�8E!G�/���3'�1*%:�&+O8�!G�3�����@'$DJ!G� '$D�� ����F�1�'�%�!G'A!G)*!/+O�T'$7E)*� �3�#+�+�'�D*!G�'�D��E'$�38R�K'�7 +$.�!#�¤'$Db������F�1�'�%�!G'A!G)*!/+O�]7/�*.B� « �y[~�2[]�3'T.V7��?'$�$��)�1�'��#+H!�4y!�.B'�7�� 7#4 ! ,-��#&�-��$43�D � D�¬A[�D��>�$�B467/�$�2u

� �=����� �:� � �%� �"!� D �37�� D(')<�! �?D ' �2,-��#&�-��$43 5 6

467/�H!EC@�3�*%?7GC +O��Z�� 7G4 �`[��D��R.B7/8�F��3�>©:��'OPT7G4�'�D��R+O�3�b���3� FJ!�+$+&+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%I8R��'$D�7?%���++,�38����"!G���3P&���3c2�>��)?P �

�9� � . � ��3�� � �%� � ! D¥�37/� D1')<�!�� D(' �2,-��#&�-��$43���6467/�_!HC@���*%:7#C +O��Z��_7#4�  [��7���!��*©:�N%�!/.�.B1��A!�.BP �(!#'$�2u�'$D��E021��#+,'$��7��Q��+�'$Db����467��&C@D*!G' c/!#�31��T7G4�� 7G4�'$Db�E+O���������KF*!/+$+

+,7��$'��#%:X6��������D?)S7/�$D�727?%]8���'�D�7?%�%:72�N+�'�D��Rw � k xyl! � o v(v�!#F�F��$7Y!�.(D�F*���,467��$8 )S�>'$'$�>�@�3�E'$��8��2u2�^[ �2[3u

! D �37��/D1')<�!�� D(' � ,-��#&� ��$ 3 ��6 > ! D �37/�;D(' <=!� �-D1')� ,-�:#&�-��$43 576

7/�� > �Mr

< �37�� D(') � ' r<�! D

� � ,-��#&� ��$ 3 576 � ,-��#&� ��$ 3 ��6���7�c/!#�3�"%b!G'$�&'$D���+-8�7?%:�>�^u�C� �/�������A!G'��#%�!E+O8�!G�3��%b!G'(!#)*!�+,�K7#4�r��:u � �?r5���#.B7/�(%�+H« �2u � Z�Z 7/�$�3�/�3�*!#�

���#.B7��A%�+Bu � Z� +O�>�3�#.B'��#%K467���%:1�F����".�!#'$��7��*+Vu*!G�*% �58E!#©:��8 1�8�%:1�Fb�3�".>!G'$�N+FS�>�_+,���3�#.V'$�#%K���#.B7/�(%=[��D��'�7�'(!#�@+,�3Z��T7G4�'�D��E%�!#'(!G)J!�+O�E���Q):P?'$�N+ªC�!�+&!GF�F���7#©:��8E!G'����3P�rE�]�P:'��2[ ��*.B�R�$�#!/%=u¡'�D��E%�!#'(!G)J!�+O�+,'(!�P2�#%����].B7/�$��%:1��$�����E!#�3��F�D*!/+O�#+V[_ ��&�(!#�]'$D������H���*%:��F*���*%?���:'�+,�3���/�3��X6F*!/+$+-��1��*+-1*+,�3����%:�{;��������:'�2��Pb+_!#�*%Q!�8K1b�3'$��X FJ!�+$+��$1��Q1J+O�3�b��'�D��T�$�#+,1��3'A+ª7#4@'�D��K'�D��$�>��+,�3���/�3��X6F*!�+�+���1��*+B[R�D��TF*!G�A!G8���'����(+467/��'�D��"+���©:F*�����38��>�:'@C����$� D � r�� � �?r��$�#.B7/�(%�+�!G�*% � �?[ ��7��`'$D���+-F*!#�$'$��.B1���!G�`.�!/+O� C@D��>�$�� � r Z u=C��`D*!�c2�;< �:u9!� r � s�� r Z���� u2� ,-�:#&�-��$43 ��6 � r�� s�� u�!G�J% � ,-��#&� ��$ 3 576 � �2[_«y��38��_��++,FS�N.B�{�*�N%����E+O�N.B7��*%b+�«��Y¬A[{¬&�D?1*+Bu�'�D��Rw � k x^l! � o v(v�!GF�Fb�$72!/.gD�%:7�8R�3�*!#'$�#+�'$D��&+O���������&+O7���'�!GF�Fb�$72!/.gD467/�-'�D��#+O�ª%�!G'A!�+O�>'(+-C@D��>��� > � r�[�¡����1���� � «^!2¬�+,D�7#C�+�'�D���'$�38R�£���#021��3���#%H'$7`�$1b�K�#!/.gD ���*%:��F*���J%:���?'��$1��T7G4¢'$D��@7/��7��b�@F��$7?.B�N+$+O7/��u

!#�*%K'$Db�-'�7�'(!#�='��38����$�#021��3���#%H467���'$D��5w � k xyl! � o v(v�!#F�F���72!�.(DEC@D��3����*��1b�$� � « )=¬�+OD�7#C�+£'�D���!�.�.B1b�(!�.VP7#4`�#!�.(D¤���*%:��F*���J%:���?' �$1���!�+ C������!�+ '$D���!�.�.B1b�(!�.VPI7#4`'$Db��w � k x^l! � o v(v5!GF�F���72!/.gD�« F����#!�+,����7/'$�'�D����37/�2!#�$�3'�D�8 +$.�!#�3��¬A[���7�� � �zr Z u��*��1���� � «y! ¬&+,D�7#C�+H'$D*!#'H'$Db� w � k x^l! � o v(v&!#F�F��$7Y!�.(D������#%:�N%

r I

Page 20: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

056.5

200

400

600

800

1000

2 10 52 100 1000

Tot

al T

ime

(s)

Window Size (W)

Key 1 (last name)Key 2 (first name)

Key 3 (street addr)Multi-pass w. all keys

� ���qùû�5?� .²þ�ÿ ���'�»ú�üÖû��&'$�� D ���¡üÖüOÿ���ü7�*��� Öú#�57�$� »û D ����üÖücÿ��

55

60

65

70

75

80

85

90

95

100

2 10 52 100 1000 10000

Dup

licat

es F

ound

(%

)

Window Size (W)

Key 1 (last name)Key 2 (first name)

Key 3 (street addr)Multi-pass w. all keys

� � � B �����*$R0�ü�L C �"�*$O/)� �2�ÿ��'�2�§þ*.9���'�Öú§ÿ��

�¡�3�/1��$� � ����8��_!#�*%���.�.B1��A!�.BP 467���! � 8E!#�3���_!G'A!G)*!/+O�

� � � ����'�7HF���7?%:1*.B�`!#�L!�.�.B1b�(!�.VP �(!G'��_7G4 ���?[ � «"�*��1���� � «6)=¬$¬A[�¦=727��?�3���T��7#C !G'�'$D���'$�38R�#+ 467��@�N!�.(D+,�3���/�3��X6F*!�+�+���1���u�'�D����3�@'�7�'A!G��'$�38R�-��[email protected]�37Y+O�`'$7 � ����467�� � � ��s?u*+O�3����D?'$��P�D��3�/D����@'�D*!G�L�#+O'��38E!#'$�#%C@��'$D�'�D��&!G)*7#c2�_8�7?%:���y[��1�'�'$D��&!/.�.B1��A!�.BPT7G4�!G����+O����������X6F*!�+�+�$1��*+���K�*�/1��$� � «6)=¬�!G' � � ��s !#�$�46��7�8 �N� '�7 I�Z� u2C�����:)*����7GC�'�D�� ���?[ � !/.�.B1��A!�.BP&�3��c2�>�27G4�'�D��&w � k x^l! � o v(v�!GF�Fb�$72!/.gD¢[���7��$�>7Gc2�>��u��7L+,�3���/�3��X6F*!�+�+���1������#!�.(D��#+�!G��!�.�.B1b�(!�.VP�7G4�8�7���� '$D*!#� �/� 1��?'$��� � > � Z�Z�Z u�!#'�C@Db�".(D]FS7/�3�?'«6��7�'�+OD�7#C@�L�3���*��1b�$� � «y! ¬$¬�'$Db���3����©:�N.B1�'$��7��E'$��8���!G�$�`7#c2��� � u I�Z�Z +,�#.B7/�*%�+_« I�Z 8R�3�?1�'$�#+(¬([¦=��'&1*+H��7#C§.V7��*+,�"%:���`'�D����"+�+O1��RC@D�����'$D��TF���7?.B�#+$+H��+H\$� �)*7�1b�*%I�A!G'$Db���H'�D*!G�e!�.V7�8�F�1b'$��X

)*7�1b�*%K8E!#�3��X68���8T7���P-F���7?.B�#+�+B[�¦=��'�� )*�-'�D��-�?1�8T)*����7G4 %:�"+,� )��37?.(��+�1*+O�#% )?PH'$Db�@�3��F�1b'%b!G'(!`+,��'!#�*%�� '$D��@�?1�8T)S�>�¡7#4�8���8�7/�$P�F*!G�/�#+!�c/!G���"!G)b�3�2[�®£!/.gDR+O7/�$'��#%:X6�����3�/D:)*7/�$D�727?%�8���'�D�7?%H��©?�#.B1�'��37/�C@���3�b!�.�.B�N+$+�s��I�37/��� � � � %?�"+O�&)��37?.(�b+���u/F��31*+� %:��+O�H)b�37?.(��+¡C@���3�?)*�@�$�#!/%5)?PH'�D��@C@�3�*%?7GCe+�.�!G���b�3���F�DJ!�+O�Y[�D��`'��38��@467���'$D��&+,7��$'��#%:X6��������D?)S7/�$D�727?%�8R��'$D�7?%E.�!#�E)S�&��©?F��$�#+�+O�#%R!�+ �

�9� .��"�Ms ! �%#�$&��Q�37���� � � � ' !@*A��,-�4.��

C@D��>�$��!���#�$ ��$�>F��$�#+,���?'(+-'�D���¨ � ��.B72+,'`7G4�+,7���'$�3�b��'�D��T%�!#'(!����]7����T)���7?.g� !#�*% !�*A��,-�4.�����F����#+O���?'(+'�D�� ¨ � � .B7Y+O'�7G4�!GF�Fb�3P?�3��� '�D��`C@�3�*%:7#C@Xy+$.�!#�]8���'�D�7?%K'$7T'$Db�H%b!G'(! �3�E7/���`)��37?.(�=[

� ùú�� � �Wþ%56�DüT.²ÿÖþ'5 Öú�� . �%�2 � »ú��* ý-�,�¡ÿ�� �Aþ%�� Öû��& �4þ% Öú§ÿ����%� ����ÐýÿÖû� ��qþ'���Dÿ2�* »ûÉþ'�ü�L

r��

Page 21: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

\^�*+O'��#!�%E7G4�+,7���'$�3�b��u*C�&.B7�1b�"%E%:�3c?�"%?�_'$D���%�!G'A!5���:'�7 � )�1*.(�2��'(+_«6�2[~�b[3u?D*!�+,D��3���R'$D��`�$�N.B7��A%�+�7/�1*+,�3���ª!�8T1��3'��3Xy%:�38T���*+,�37/�*!G�/F*!G��'$�3'��37/���3����+O'��(!#'$���/PEq{r �Gt6¬([¡  �@.>!G�3�2'�D��"+�8�7?%:�<��.�!#'$�37/�H'�D��`h k �Yv x fVd l"m�pwKf x �bi#j�[ �_+�+O1�8R�3��� � � � ']r�u�«$r@F*!#���@467����#!�.(DT)�1*.(�2��'¡Fb�31*+�7��b�-F*!#���@467���F���7?.B�#+$+,�3����!G�T�3��Fb1�')���7?.g�*¬(u�C��������N%�7����RF*!�+�+57#c2���`'$Db���>�:'��3�$�R%�!#'(!�'$7]FJ!G�$'��3'��37���'$D��E�$�N.B7��A%�+����:'�7 � )b1*.g�2�>'(+ « �)���7?.g�b+T!G�$�]���#!�%*¬([¥  �$��'$������'�D������#.B7/�(%�+ �3�?'$7 '$D��L)�1*.(�2��'(+ �$�N0 1����$�#+Vu!#F�F���7G©?�38�!G'$�>�3P2u�� )���7?.g�C@���3'$�N+B[���+$+O1b8��3���R'$D��TF*!G��'$��'$�37/��!G����7/�$�3'�D�8¯�"+_F*���,46�#.B'�u��#!/.gD )�1*.(�2��'_C@���3��1J+O� ������R)��37?.(�b+B[K  �8T1*+O'�'$Db����+,7���'-«ys �Q�37/��� � � ���� �_)b�37?.(� !�.>.B�#+$+,�#+g¬�!#�*%K!#F�F���P '$D��@C@���*%:7#C@X^+�.�!G�b���3���&F�D*!/+O��'$7H�N!�.(D)�1J.g�2��' ���*%:��F*���J%:���?'$�3Pe«^!#F�F���7G©?�38�!G'$�>�3P � )��37?.(�e!�.�.V�#+$+,�#+g¬A[M\^�¤'$7/'(!#�^u@'$D��L.B��1*+O'����$����� 8���'$Db7?%���#0 1b�3�$�N+H!GFbF��$7#©?�38E!#'$����P]� �(' s �Q�37/��� � � � � � ��)b�37?.(�Q!/.�.B�#+�+O�#+V[Q�D��E'$��8��H467�� 7/���EF*!�+�+57#4_'�D��.B��1*+O'����$�����H8R��'$D�7?%E.�!#�E)S�&��©?F��$�#+�+O�#%R!�+ �

�2,-����� � 3-$ ��s!�,-� ���-� 3 $ � '�s ! �%#�$&��Q�37�� � � � ����?')!�*+�%,-�/. �

C@D��>�$� ! ,-�����-� 3-$��"+'$Db�5¨ � � .B7Y+O'�7G4�F*!#�$'��3'$��7�������� 7��b��)b�37?.(��7G4�%b!G'(!?[�¡���*!G���3P2u2'$Db�H\$� .V72+O'@7#4�'�D��Rw � k x^l! � o v(v�!GF�Fb�$72!/.gDEC@���3�=)*�&!H8T1��3'��3F����7G4�'$Db�H\$� .V72+O'@7#4�'�D��

8��>'$D�7?%KC��&.gD�7Y+O�_467��@�N!�.(D�FJ!�+$+@F���1*+'$D��`'��38��������#%?�#%�'$7T.B7/8�F�1�'��_'$D��`'��(!G�J+O�3'��3c2�`.V�372+,1��$�ª+O'$�>F�[��7��@���*+O'A!G�*.V�2u2�{4�C��1*+O�`'$Db�`.B�31J+O'$�>�$�3�b�H8���'�D�7?%H467����HF*!/+$+O�N+Bu�C�ª+OD�7/1��"%���©?F*�#.B'@!#)*7�1�'�!�'��38���7G4!#)S7/1�'`� � ,-����� � 3-$ ' ��� ,-��#&� ��$ 3 [�¡����1���� �@+,D�7#C�+�!�'��38���.V7�8�F*!#�$��+O7��`)*��',C�>���-'�D���.B�31J+O'$�>�$�3�b�8���'�D�7?%_!#�*%�'�D���+O7/�$'��#%:X6�����3�/D:)*7/�$D�727?%

8��>'$D�7?%=[��D��#+,� �$�#+,1��3'A+-C@D������ �2!G'�D������#%�1*+O�����E!K�/�������A!G'��#%]%�!G'A!E+O��'_7#4 � � I u �N� Z ���#.B7/�(%�+H«� ��?r��(s � Z u�)b�37?.(�]+O��Z�� �9r/u Z s � )?P:'��#+Bu � ���/��)���7?.g�b+g¬A[ �-7�'��".B�&'$D*!#'H�3� !#�3��.�!/+O�#+Vu '�D��R.B�31*+,'$�����3���8��>'$D�7?%E%:72�#+�)S�>'$'$�>�@'$D*!#��'$Db� +O7/�$'��#%:X6�����3�/D:)*7/�$D�727?%]8���'�D�7?%=[ �-7#C��c2���>u:'�D��&%:�{;��������*.B�`�3�E'��38����+��7�'@��!G�$�/�2[��D���+���+£8E!#�3����PT%:1��`'$7T'$D��_4y!/.B'@'$D*!#'@'$D��`�#021*!#'$�37/�*!G��'�D���7/�$P�1*+,�#%��3�?c27���c2�#%K!H��!G������?1�8T)S�>�_7G4�.B7/8�F*!#�$�"+,7��*+_8E!#�:�����8!�*+�%,-�/.�!���7�'`�"!#�$���>�H'$DJ!G�Q)*7�'�D)!���#�$ ��!G�*% !�,-����� � 3-$#[E�D:1*+Vu¡��c2�>�'�D�7�1��/D�'�D������H!#�$�T+,7�8��`'$��8��&+$!�c?�3���Y+-�3�L�3����'$�"!#�3��PKF*!#�$'��3'$��7���������'�D�� %�!#'(!?u='$D���+$!�c?�3���Y+_!G���T+O8E!#�3�.B7/8�F*!#�$�#%K'�7K'�D��`7#c2���(!#�3�='��38���.B7Y+O'�[\^�]q<r��#t�C��%:�#+�.B�$��)S�@FJ!G�(!#�3������c/!G���"!G�?'(+�7#4�'$Db�-)*!/+O��.�'��#.gDb���"021��#+�« ���*.B�31J%:�3���ª.B�31*+,'$�����3���?¬�'$7&+,D�7#C

'�D*!G'&C@�3'$D�!�8R7?%:�#+O'ª!G8�7/1��:'`7#4 �(.(D��#!#F ��FJ!G�(!#�3������D*!#�(%:C�!G�$�Yu�C�T.�!#��+OF*���#%?X 1�F�'$D���w � k x^l! � o v(v!#F�F��$7Y!�.(DQ'$7�!��3��c2����.B7/8�F*!G�A!G)���� '$7L'$D��T'$��8��H'�7]%:7L!�+,�3���/�3��X6F*!/+$+H!#F�F���72!�.(D�u�)�1�'HC@��'$D�!�c2���$PD�����DL!�.>.B1��(!/.BP2u��y[~�2[�!�46��C +,8E!G���=C@���*%:7#C�+�1b�3'$��8E!G'����3P&C@�3�*+V[

s Z

Page 22: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

0

500

1000

1500

2000

2500

3000

3500

2 3 4 5 6 7 8 9 10

Tim

e (s

)

Window size (records)

Average single-pass time, Naive SNMAverage single-pass time, Clustering SNM

Total multi-pass time, Naive SNMTotal multi-pass time, ClusteringSNM

�¡����1���� � �@¨��31*+,'$�����3��� cb+B[��@!/+O��. � 7��$'��#% �-������D?)S7/�$D�727?%]���>'$D�7?%

� �� �£���>�9�9��� �� �������� �K�;�G � � ��

®�c2����'�D�7�1b��DE'$D����$�#+,1��3'A+£C��D*!�c2�`!/.gD�����c2�#%H7/��!`C@�"%:��c�!#�$����',P 7G4�+O'(!#'$��+O'$��.�!G���3PT.B7/�:'��$7/�3�3�N%5�/��������X!#'$�#%E%�!#'(!K���*%:�".>!G'$��'$D*!#'-'�D��`8K1���'$��X F*!/+$+�!GF�F���72!/.gDL�"+@021��3'����/727?%=u�+O7�8R��8�!NPT��7/'@�$���Y!G�(%E'$D���+@!�+!T%:�B�*�b�3'$��c2�-c/!#�3�"%b!G'$��7��E7G4�'$D��`�BU�.�!�.VPK7#4�'�D��`'$�#.(D�����0 1��N+B[�D�� � '(!G'���7#4T Q!/+OD�������'�7�� ����F*!G��'$8��>�:'�7#4 � 7?.B��!G�&!G�*% �-�#!G��'$D � ����c:��.B�#+K8E!#�3�?'(!#�3�*+K��!G�����

%�!#'(!#)*!�+,�#+H7G4�'��(!G�J+$!�.V'$�37/�*+�8�!�%:�T7#c2���_'$Db��P2�#!G�A+_C@�3'$D�+O'A!G'����$�#+,�"%:�>�:'A+B[�\^���]!G�A.gD 7G4&r�� � ��'�D�� @U�.B�@7G4�¨�D��3��%:�$��� ��%:8��3�b�"+O'��(!#'$�3c2� ���#+,�#!G�A.gDE« `¨ ���ª¬¢7G4�'�D����-��F*!#�$'$8R���:'�7G4 � 7?.B��!G�*!#�*% �-�#!#�3'�D� �>�$c?�".B�#+�FS7Y+O'��#%E!��$�N0 1��N+O'�7���'�D�������� ,m � p�p f x v>q I t¢!�+,�:������467/�!/+$+,�"+O'A!G�*.V�H!#�*!G��P:Z>�3���`7��b�_7G4�'�D����3�%�!#'(!#)*!�+,�#+B[  �&!G�*+,C�����#%�'$D��>�3����#021��#+O'�!#�*%�'�D��"+@+,�#.B'��37��L%:�>'(!G���"+7/1��@�$�#+,1��3'A+B[

`¨ ��� !#�*!G��P:Z>�#+-'$Db�T%�!G'A!G)*!/+O��7#4@F*!�P?8����?'(+)?P�'$Db� � '(!#'$�T'$7K4y!#8��3���3�#+@!#�*%�)b1*+O�����#+$+,�#+_'$D*!#'F���7#c:��%:�]+,���$c?�".B�N+5'�7Q�����#%?P¤.(D����"%:������[ `¨ ��� � +K��7Y!G�_��+K'$7 !G�*+,C���E021��#+,'$��7��*+�+,1*.(D !�+ � � �-7#C8E!#�:PR.(D��3��%:�$����!G�$�&�3�E4672+O'�����.�!G�����"u � �-7#C �37/���E%:7R.(D��3��%:�$����+O'(!�PE�3��467Y+O'$�>�_.�!#�$���� � �-7#C 8E!#�:P%:�<;����$���?'=Db7�8��#+�%:7�.gD����"%:�����_',P?F��".�!#�3��P�+O'(!�P_���2������7�!�.�.V1��(!#'$����P`!G�*+,C����+,1*.(DH021��#+,'$��7��*+VuG'�D���8E!#�:P.B7/8�F�1�'������$�#.B7/�(%�+-467/��FJ!NP?8����?'(+�!G�J%Q+O����c:��.B�#+-8T1*+,'-)*�T�"%:���?'$�<�*�#%�467��H�N!�.(D .gD����"%=[R« �):c?�37/1*+O��P2uC@��'$D�7/1�'8E!#'(.(D��3�b�_�$�#.V7��(%b+�C@��'$DT'$D���!GFbF��$7/F��$��!G'$���3�*%:��c:��%:1*!#�=.V�3�3�>�:'>uG'�D���46���#021����*.BP�%:�"+,'$���3)�1�'��37/�*+467/��+,1*.gDe+,���$c?�".B�N+�C@�3���)*�E����72+$+,�3P��3�������$7/��[{¬ ��N.�!G1*+,�E��7�1b���"021�����%:���?'$�{�J����467/��!#�I���*%:��c:��%:1*!G�.(D��3��%Q��©:��+O'A+Bu@�3'T8K1J+O' )*�]�����b���(!#'$�#%M!#�*%M!�+�+O�3�/���#%¤)?Pe!G��!G�3�/7����3'$Db8 '�D*!G'�.B7�8�FJ!G�$�N+58T1��3'��3F����+,���$c?�".B���$�#.V7��(%b+���� '$D���%�!#'(!G)J!�+O�Y[��D����J���"%�+�1*+O�#% �3�T'$Db�@�$�#.B7/�(%�+�'�7�Db���3F ��%:���?'$�{46P&!`.(D��3��%��3�J.B�31*%?�

s:r

Page 23: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

�*!#8��2u�)����$'�D %�!#'$�2u/.�!�+,��?1�8T)S�>��u#+O7?.V�"!G�b+O�N.B1��$��',P-�?1�8T)S�>��u��#!/.gD`7G4JC@D��".(D`�"+�1����$�>�3�"!#)��3�Yu#.B7��?'(!#�3�������8���+$+,FS�>�3�3�����2+VuB',P?FS7/���A!GF�D���.�!G�2�>�$�$7/�(+Vu�!#�*%����*.B7�8RF��3��'����3�:467/�$8E!#'$��7���[��Db�"+��"+S�b7�'�!1����"021���+O��'$1*!#'$��7����� �$�#!#�3X6C7����"%T%�!G'A!G)*!/+O�#+V[\^'�C�!�+�'$Db�-���>�#%H'$7&%:��c2�>�37�FT.V7�8�F�1b'$����F��$7?.V�#+$+,�#+�'$D*!#'£8R7��$��!/.�.B1��A!G'����3P��%:���?'$�{�J�#%�!G���=���#.B7��A%�+467���! ���3c2�>�E.gDb�3�"%T'$D*!#'_+,F�1��$���#% `¨ ���¥'$7R+O�>����!/+$+,�"+O'A!G�*.V�2[

����� � "02"%<�"%$1� � �$1( .>& �50B&), �

��7Y+O'�7#4 `¨ ��� � +�%�!#'(!_�"+�+O'�7��$�N%H�3� 7��b�@�$����!G'$��7��&'$D*!#'�.B7��?'(!#�3�*+�!G�3�?F*!�P?8����?'(+='$7ª+O����c:��.B�F���7#c:��%:���(++,�3�*.B�Lr�� I � []�D������E!G����.B1b�$�$�>�:'��3P]!#F�F���7G©?�38�!G'$�>�3P �?u Z�Z�Z u Z�Z�Z '�7�'(!#����#.B7��A%�+_�3�Q'�D��T�$����!G'$��7���!G�*%'�D��"+H�?1�8T)S�>�H����7#C�+5)?P�!GFbF��$7#©?�38E!#'$����P � Z u Z�Z�Z !�8R7��?'$D�[��D��E�$����!G'$��7���D*!/+�r��Q!G'�'$�$��)�1�'��#+Bu�7G4C@D���.gD]'�D�� 8�7Y+O'_�����3��c/!#�:'&« '�D�72+,��.�!#�$��P:�������3�?467��$8�!G'$��7��L'$D*!#'H.>!G� )S�T1*+,�#%�'$7E�3�?46���_'$Db� �"%:���?'$�<46P7#4����*%:�3c?�"%?1*!G�*���?'$��'$�3�N+g¬�!G��� ���¡�3�A+O' �_!G8��Yu:¦�!/+O'��_!G8R�2u2��3��'$D*%b!NPYu � 7?.B�"!#� � �#.B1����3',P �-1�8T)*����u?¨�!�+O��-1b8K)*���>u � ���$c?�".V�@\,�Hu � �>�$c?�".B��%�!G'��#+« )*���/�3���b�3���&!G�J%5���J%:�3���ª%�!G'��#+g¬Au C ���J%:����!#�*% ��!�.V�2u ���$7#c?�"%:���\,�Hu �-8R7�1��?'�7G4 ��!�P?8����?'�u2��!G'$�&7G4 ��!�P:8R���:'>u?!G�*%E �7/�$�2����\O�&[*®£!/.gDE���#.B7��A%��"+_r Z �K)?P:'��#+£��7����b[�D��`',P:Fb�".�!#�=F���7�)�����8E+£C@��'$DE'$Db� `¨ ����%�!G'A!K!#�$� !/+£467����37#C�+ �

r/[ ��!G8��#+@!#�$�H46���#0 1b���:'��3P�8R�"+$+,F*���3���#%=[ � 7/8���'��38��#+�����.g�?�*!#8��#+7����(+O��8��3��!G��+,7�1��*%?�3��� ���J!G8��#+!#�$�T1*+O�N%����*+O'��#!�%]7G4�'$D�� ���#!G���*!#8��2[��-��+O7�'�D��TF*!G�����:'`7/���/1*!G�A%:�"!#� � +`�*!G8R�H�"+`+,7�8���'��38��N+1J+O�#%��3�J+O'$�N!�%�7#4�'�D��&.gDb�3�"% � +£�J!G8��2[

s?[ � 7?.B�"!#��+O�#.V1��$��'OPR�:1�8T)*���(+7/�_)����$'$DJ%�!�P�+_!#�$�&8��"+�+O�3�b�K7/�`.B�3�N!G�$��P�C@�$7/��� « �2[ ��[�u*+O7�8R�H�$�N.B7��A%�+DJ!Nc2�L'$D���+O7?.B��!G�`+,�#.B1����3',PQ�?1�8T)S�>� � ����������������� �2¬([M¦=���2��C@�"+,�2u�'$D��]F*!#�$���?'T7����/1*!G�A%:�"!#� � +���:467���8E!G'��37/���"+@+,7�8���'��38��N+¡1*+O�N%��3�J+O'$�N!�%�7G4�'�D��&.gDb�3�"% � +�F��$7/F*���-���:467���8E!G'��37/��[

�?[-�Db��.�!�+,�@�:1�8T)*����u�C@Db�".(DT+OD�7/1��"%H1��b�"021����3P`��%:���?'$�{46Pª!�4y!G8����3P2u�7#46'$���T.(D*!#�����#+�C@D����T!`.gDb�3�"% � +4y!#8��3��PH8�7#c2�#+�'�7 !G�b7�'$Db���@F*!G��'@7G4�'$D��ª+O'(!#'$�2u?7��@��+£�$�V46���$���#%5467���+O����c:��.B��! +O�#.B7/�*%�'$��8���!N46'����8R7��$��'$D*!#�]! .B7/1�F��3�`P2�#!#�(+@+,�3�*.B��'$D��_�*�A+O'��$�B46�����(!#�^[

� [-�Db���$��!G�$� ���#.B7/�(%�+-C@Db�".(D].�!#����7�'`)*�T!�+�+O�������#%�'�7E!G�?P�F*���A+O7/��)*�#.�!#1*+O� '�D�� �*!#8��`���:'����$�N%����'�D��H���#.B7��A%�C�!�+-��7/'-'�D��T.(D��3��% � +��*!G8��Yu�)�1�'_'�D*!G'�7G4�'$Db� +O�>�$c?�".B�`F���7Gc?�"%?����[ ���"+O7buS�J!G8��#+���3�2� ���

�öf �GHe^�f4`�h � _ilBn ��!#�*% ����cf �GHe^<f�`�h��cn?^�_Blin �5C����$� 1*+,�#%=[�«6 ��T.>!G�3��'$D���+ª��!�+,'�',P?F*�

7#4����#.B7/�(%�+ p �biGv x d(f�h(i2d$jGvV[<¬

s�s

Page 24: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

0

200

400

600

800

1000

1200

1400

1600

1800

2000

0 5 10 15 20 25 30 35 40 45 50

Dis

trib

utio

n

Number of Records per Cluster

�¡����1���� � ����1�8K)*����7#4��$�#.B7/�(%�+F*����¨�D��3��%�!�[email protected]�8�F�1b'$�#%K)?P `¨ ��� «y�D��_���A!GF�DE��+@%:�(!�C@��7/���3P�'�7!T.B�31J+O'$�>�@+O��Z��_7#4 � Z [\^�L!�.B'�1*!G���3',P2u?�3'@.V7��?'$�3�?1��#+'�7�� Z�Z � ¬A[

��#.>!G1*+,��7G4�'$D��]Fb�$�3c/!#'$�]�*!#'$1����]7G4&'$D�� %b!G'(!Q���#.B7��A%:�#%¤���M'$D�� %�!#'(!#)*!�+,�2u-C�� .�!G���b7�'EF��$7?%?1*.B�+�!G8�F������$�N.B7��A%�+ '�7-���3��1*+O'��(!G'����#!/.gD`7G4J'$D���8����?'$�37/���#%�.�!�+,�#+B[�®�c2���&+O7�uY!G�?P`%�!G'A!G)*!/+O��!/%:8��3�b�"+O'��(!#'$7�����#+OF*7��J+O�3)b�3� 467��_��!G�$�/��.V7��$F*7/�(!G'���7��&!#�����*.VP]%�!#'(!G)J!�+O�N+�C@�3�����38R8���%?�"!G'����3PR+O�>� '$D��TF*!G�A!G���3����+-D������'�7K'�D����3��%�!G'A!:[�« ��46'�����!G���^u?�$�#!#�3X6C7����"%E%�!#'(! �"+c2����P�%:���$',P � ¬

`¨ ��� F���7Gc?�"%?�#%�!E+�!G8�F���� 7G4�'�D����3�&%�!#'(!#)*!�+,��'$7�.B7��*%?1*.B'`'$D���+H+,'$1*%:PY[��D��R+$!#8�F��3�Yu C@Db�".(D.B7/�:'A!G���*+5'�D��L%�!G'A!�46��7�8 7��b�3PQ7/���]+,���$c?�".B�R7GU�.B�2u�D*!�+�r>s I u � � I �$�N.B7��A%�+�«�r��?[ � ��):P?'$�#+(¬([��D��>P!#�"+O7EF���7#c:��%:�#%]1*+_C@�3'$D]'�D������H.V1��$�����:'��3�J%:�3c?�"%:1J!G����%:���?'$�{�S.�!G'��37��]�?1�8T)*����467/�`�#!�.(D]�$�#.V7��(%]�3�]'�D��+�!G8�F����T« '$Db�H�?1�8K)*���@'�D*!G'ª+OD�7/1��"%�1��b�"021����3PR�"%:���?'$�<46P��#!/.gD�.gD����"%E�3��'�D�� %b!G'(!#)*!�+,��¬�!�.�.V7��(%?�3����'�7'�D����3��7GC@� !G�*!#�3Pb+O�"+V[��D��N+O� �¨ � ��Xy!�+�+O�3�/���#%���%:���?'$�<�*���(+�+O�>�$c2�R!�+_7�1��&)*!�+,�"+_467��&.B7�8RF*!G���3����'�D��!/.�.B1��A!�.BP�7#c2����c/!G�$P?�3�b�KC@���*%:7#C +,�3Z��N+B[�¡����1���� �I+,D�7#C�+�'$D�� %:��+O'��$�3)b1�'$��7��¤7#4 '�D��]�:1b8K)*��� 7#4 �$�N.B7��A%�+KF*�������*%:�3c?�"%?1*!G��%:��'��#.B'$�N%¤):P

`¨ ���`[���72+,'_�3�J%:�3c?�"%:1J!G�"+��3�]'$Db�T%�!G'A!G)*!/+O�E!#�$�T�$��F����#+O�>�:'��#%�7/�Q!�c2���A!G��� )?PQr '�7�r Z �$�#.B7/�(%�+��3�'�D��`%�!#'(!G)J!�+O�R«^!#F�F��$7#©?�38E!#'$����P s?u Z�Z�Z �3�*%?�3c?�"%:1*!#�"+�!G���`�$��F����#+O�>�:'��#%5)?PLr-�$�N.B7��A%K�3��'�D��`%�!#'(!#)*!�+,��¬([�-7/'$�T'$D*!#'H���*%:�3c?�"%?1*!G��+ª8�!NPL)*���$��Fb�$�#+,���:'��#%]):P !/+�8T1*.gD !/+H� Z X �OZ �$�N.B7��A%�+H!#�*%=u�!G��'$D�7/1���D���7/'+,D�7#C@�¤�3�Q�*�/1��$� �:u'�D�������!#�$��+O7�8R���3�*%?�3c?�"%:1*!#�"+`C@�3'$De8�7�����'$DJ!G� r Z�Z ���#.B7/�(%�+Vu!#�*%I7/����C@��'$D!#)S7/1�'�� Z�Z �$�#.V7��(%b+B[ �1��H'A!�+,����+�'$7�!GF�Fb�3P]7�1b� %�!#'(!].B���#!G�*+,�3���E'��#.gDb���"021��#+_'$7�.B7�8RF�1�'$�T!E����C���*%:�3c?�"%?1*!G����%:���?'$�{�S.�!G'��37��E�?1�8T)S�>�467��_�#!/.gDL�$�#.V7��(%L!G�*%].V7�8�F*!#�$�&�3'(+�!�.>.B1��(!/.BPE'$7�'�D*!G'ª!G'$'A!G�����#%)?P�'$Db� `¨ ��� F��$7#c?�"%:�#%T�"%:���?'$�<��.�!#'$�37/���?1�8K)*���>[

s��

Page 25: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

7500

8000

8500

9000

9500

10000

5 10 15 20 25 30 35 40 45 50

Indi

vidu

al C

lust

ers

Window Size (W)

Number of Individuals detected

OCAR’s Result1st Pass

2nd Pass3rd Pass

All Combined

�¡����1���� � ���-1�8T)*���7#4����*%:�3c?�"%?1*!G��+%:��'��#.B'��#%

��� � � "02" � �)�"���$'& ��: � �)� ��� $�3�"02"

`¨ ��� � +���*%:�3c?�"%?1*!G���"%:���?'$�<��.�!#'$�37/���?1�8K)*���A+!#�$�2u�7#4�.B7�1b�(+O�Yu���7�'�F*���O46�#.V'�[��D��"+@+,��'-7#4���%:���?'$�<�*���(+C�!�+H.V7�8�F�1b'$�#%E):P !L+O�3�b���3�>X^+�.�!G��.B�31J+O'$�>�$�3�b��'$�#.(D�����0 1b� )*!�+,�#%�1bFS7/��D*!�+,D��3���L'$D�� ���#.B7/�(%�+`1*+O�����'�D���*�(+,'�467�1����3�>'$'$�>�(+¡7#4�'$Db�@�"!�+,'��*!G8��Yu�'$D���J�(+O'�'�D��$���@����'$'����(+�7G4�'�D���*�A+O'��*!G8R�2uG'�D���)��3��'$D 8�7/�:'�D!#�*%KP2�#!#��u�!#�*%K'�D��`.�!/+O�_�?1�8T)S�>��!�+�D*!�+,D��3��� �2�>P�+V[��D���++O'��(!#'$���/PK��%:���?'$�{�J�#% I u � Z � �3�J%:�3c?�"%:1J!G�"+��3�'�D��&+$!G8RF��3�`%b!G'(!#)*!�+,�2[

�1����*�(+,'¡'A!�+O�&C@!/+ '�7`.B�$�N!G'$��!#� �#0 1J!G'$��7��*!#�2'$D��>7��$P`��� .B7/�*+O1���'(!#'$�37/�HC@��'$D !#� `¨ ��� � +=��©?FS�>�$'��>[�D�� ���#+O1b�3'(!#�:'��$1b�3�H)J!�+O�T.V7��*+,�"+O'A+-7G4�s � ��1��3�N+B[-  � !#F�F����3�#%E'$D���+-�#021*!G'��37��J!G��'$D���7/�$PL'$7�'�D�� %�!#'(!1*+,�3���`'�D��-)J!�+O��.-+,7���'$�#%:X6��������D?)*7��$Db727?%�8���'�D�7?%=u2!/+�C�����*!�+�'$D��@8T1��3'��3X6F*!�+�+¡8���'�D�7?%�467���!_�$�3�/7���7�1*+.B7/8�F*!#�(!G'��3c2����c/!G��1*!G'��37��¢[£  �`1*+O�#%�'�D��_467��3��7#C@�3��� �2��Pb+�467/�-�N!�.(D����*%:��F*���J%:���?'�$1b� �

r/[-¦�!/+O'��_!G8R�2u?�¡�3�A+O' �_!#8��2u � 7?.B��!G� � �#.B1����3',P �-1�8T)*����u?!#�*%�¨�!/+O����1�8K)*���>[

s?[-���3�(+,' �_!G8R�2u?¦�!�+O'��_!#8��2u � 7?.B��!G� � �#.B1����3',P �-1�8T)*����u?!#�*%�¨�!/+O����1�8K)*���>[

�?[ª¨�!/+O� �-1�8T)S�>��u?�¡�3�A+O' �_!G8��Yu:¦�!/+O' ��!G8��2u?!#�*% � 7?.V�"!G� � �#.B1����3',P���1�8K)*���>[

� ùû�5�þ% »ú��)+-$8�¡ÿ�� =*+<þ'5?��� ��Dÿ B �.²þ�ÿ�5U�� Öû¼þ%,+<þ'�ü��$� 2�*� R.²þ�ÿ ��+-/ C =��?ÿÖþ*0�û8����� Öú#����"�2�DüÖü2�¡ÿ��?�������Dÿ� »ûÉü��@ »þ �1�2P��� Öú��qÿ��$��,���¡ü��%L

s �

Page 26: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� ������� � ������� �� � ����� ����� ������� ����� ������ ����� ����� ��� ��� ����� ��� ���

� D � � � ������� �� � ����� ����� ������� ������� ������� ����� ��� ����� � ����� ��� ����

�q�e�6«W�¡�iª��]ª¬¨W¤���¥ ��¢��! �"$#% '&)(§��µ-¨D�e�¶«W���k¨D��©4Ñ®¥e�r¤�£����B���D�e�4�p©Ú 6�¡¨D�e�e©-¤²«�±r��¦e¥�¨k��© ª�«�ª Îr�B��«D«»¤��4���6 §¤²«D«DÏ�Á�q�e��¦e¥4¤���¥¸��¢*�! ,+-#% '.-#/ '0)( �! ,12#/ �3!4)(�¤²«1±r��¦e¥�¨k��©�ª�«�ª�Îr�B��«D«»¤��4����¢Öª��²«W�¡Ñ®�B��«»¤�¨W¤�¾���ÏeÁ

�¡����1���� I ��®�©�!#8�F����_7G4�'$D��&%:�V�*���3'��37/��7#4 �$F*7Y+$+O��)��3�`8���+$+,�#+ � !#�*% ��FS7Y+$+,�3)����ª4y!#�"+,��X F*7Y+O�3'��3c2�#+ �

�¡����1���� �L%:�"+,F��"!�Pb+�'�D����?1�8K)*���`7#4��3�*%:��c:��%:1*!#�"+H%?��'$�#.V'$�#%]):P �#!/.gDQ���*%:��F*���J%:���?'�FJ!�+$+ 7G4�'�D��)*!/+O��.�+,7���'$�#%:X6��������D?)*7��$Db727?%�8���'$Db7?%�!G�*%E'$D��`�?1�8T)S�>�£7#4����*%:��c:��%:1*!G��+!�46'$���@'�D��`.B��72+O1b�$�`F�D*!/+O�&!�+!5461b�*.B'$��7��L7G4�'�D��HC@���*%:7#C +O�3Z>��1J+O�#%=[��D�� .V7��*+,'(!G�?' I u � Z � �3�J%:�3c?�"%:1J!G�"+@%?��'$�#.V'$�#%�)?P `¨ ��� !#�$�F���7�'�'$�#%T!�+�!H+,'$�A!G�3�/D:'����3����!/+£!`8��#!#�*+¡7G4 .B7�8RF*!G���"+O7/��[ ��+¡C@�3'�DK'�D��_+,'(!#'$�"+,'$��.�!G���3PH�/�������A!G'��#%K%b!G'(!?u'�D��E�:1�8T)*���H7#4_���*%:��c:��%:1*!G��+ %:��'��#.B'$�N%�D������������3'��"!#�3�3P]�/72�#+T%:7#C@�M!�+ '$Db��C@���*%:7#C9+,�3Z������*.B���#!�+,�#+)�1b'_'$D��>�]+O'A!G)����3��Z��#+�!G�*%�����8E!G���*+@!G��8�72+,'�.B7��J+O'(!#�:'>[ �-7�'��".B�&!#�"+O7R'$D�� ��!G�$�/�H��8�F��$7#c2��8T���?'��3��'�D��F*���,467��$8�!G�*.B�EC@D��>�M.B7/8K)������3�b�]'$D��L�$�#+,1��3'A+57#4&!G���-F*!/+$+,�#+KC@�3'�D¤'�D���'��(!G�J+O�3'��3c2�L.B��72+O1b�$��FbD*!�+,� � [�D?1*+Bu@'�D������#+O1���'(+�%?��8�7��J+O'$�A!G'��#%Q1��*%:���R7�1��E.V7��?'$�$7/�3���#%�+O'$1J%:�3�#+R!G�$�Lc/!G�3��%�!G'��#%¤)?PI'�D��"+T+O�>'�7G4���#!G��X C�7��$��%E%�!G'A!:[��7���!HC@�3�*%:7#C +,�3Z��_7#4�r Z u�'$D���8K1b�3'$��X FJ!�+$+�F���7?.B�#+�+@%:��'$�N.B'$�#% I u�r�s �H�3�*%:��c:��%:1*!#�"+��3��'�D��`+�!G8�F����2[

�D���021��#+O'��37/� C�@8T1*+O'�'$D��>��!#�*+OC������"+¡C@D��>'$D�����'$D�7Y+O� I u3r>s �`�3�*%:��c:��%:1*!#�"+�!#�$��.B��72+O�>�£'�7`'$D���!/.B'$1*!#��?1�8T)S�>�£7#4����*%:��c:��%:1*!G��+£����'$D��&%�!#'(!H'�D*!G� �¨ � � � + I u � Z � ���*%:�3c?�"%?1*!G��+B[���7T!G�J+OC�>�@'$D���+@0 1��N+O'$��7���uC�����727��2�#%E!#'-'�D��&%:�{;��������:'�����7�1�FL7G4����*%:�3c?�"%?1*!G��+%:��'��#.B'��#%K)?P `¨ ��� !G�J%�7/1���+$!G8RF��3�_���#+O1b�3'(+V[  �E.�!G��� �$F*7Y+$+O��)��3�E8���+$+,�#+ �K'�D�72+,������7�1�FJ+H7G4��3�J%:�3c?�"%:1J!G�"+_'�D*!G'&7�1���%�!G'A!].B�3�#!#�*+O�����EF��$7/���A!G8

.B7/�*+O��%:�����#%�%:�<;����$���?'�C@D��3��� `¨ ��� .B7/�*+O��%:�����#%�+,�38����"!G�>[  � !G��+O7E.>!G�3� �$F*7Y+$+O��)��3�H4y!#�"+,��X F*7Y+O�3'��3c2�#+ �'�D�72+,�_����7�1�F*+7#4��3�*%?�3c?�"%:1*!#�"+¡'�D*!G' `¨ ���M%:�"%T��7�'�.B7��*+,�"%:�>�+,�38����"!#�¡)�1b'C@D������-�/�$7/1�F*�#%�'$7��/��'$Db���)?P�7/1��T+OPb+O'���8][]���3��1b�$� I +OD�7#C�+ !#�¤��©b!G8�Fb�3� 7G4ª! �$8R�"+$+ ��!#�*%¤! �,4y!G�"+,��X6FS7Y+O��'$�3c2����1��*%?��� '$D���+

5�6 0%� U »ú�þ%#&�ú§ý�� �ü���� Öú�ÿ���� ���¡üÖü��Dü�. þ�ÿ� Öú#�,�������kÿÖû�5?��� »üý�� �1�Dü��Wÿ»û����1ú��Dÿ��%=� ®ý�þ ���¡ü»ü��Dü��ü»û��&�þ%�$��7 »ú���P�ÿ»ü� �*�� Öú#�� »ú�û¼ÿ�� �%����ý<þ%#$S�½ú��"0%�9�?ÿÖþ�����2�"�7�*$�5�þ�ü� eüÖû�5Ðû4$8��ÿeÿ��Dü��$� Öü�LSùú#��ü����Wþ%�� �%���,���¡üÖüSþ'�$��)5 �¡ÿ�&�û���*$�$��û�5?��ÿ»þ*0%��� Öú��1ÿ��kü��$� Öü"L1ùú�û¼ü[üÖû�&'�û P ���*� �þ%��ü��Dÿ�0%�� Öû¼þ%X5U�"��þ����2?ÿ�û�6þ% »ú��Dÿqÿ�����$ D ý<þ�ÿ�$S� ���* 2��û���¬ûS� �* Öû��&7 »ú��* � »ú�� 57#$4 »û D ����üÖü�*���?ÿÖþ>�'�»ú 5U�"��ü»û456��$��7���7�/7� ®ý�þ D ���¡üÖü98?�*���?ÿÖþ>�'�»ú�=4üÖû�&%�û P � �*� �$���ÿ�������Aû4#&U »ú�� �Wþ'5?��$�����û� <��þ*.- Öú�� ��ÿÖþ��2�küÖüqýú�û�$��ü� »û4$�$��'�Öú?û4� 0¿û��&7�%� �2�ÿ��� ���ÿ��Dü�#$4 »ü�L

s �

Page 27: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

0

200

400

600

800

1000

1200

5 10 15 20 25 30 35 40 45 50

Mis

ses

Window Size (W)

Misses

1st Pass2nd Pass3rd Pass

All Combined

� ��� � û¼üÖü��Dü[ýû� Öú§ÿ��Dü������2 � Öþ?��+-/ C � üÿ��Dü��$� Öü0

100

200

300

400

500

600

700

800

5 10 15 20 25 30 35 40 45 50

Fal

se P

ositi

ves

Window Size (W)

False Positives

1st Pass2nd Pass3rd Pass

All Combined

� � ��(���$Éü�� :Bþ�ü»û4 »û�0%�Dü�ýû4 »ú6ÿ��kü������2 , »þ ��+-/ C � üÿ��Dü��$� »ü

�¡�3�/1��$� � ����.�.B1��A!�.BPT�$�#+,1��3'A+7G4�+,7���'$�#%:X6��������D?)*7��$Db727?%�8��>'$D�7?%K7#c2��� `¨ ��� � +�%�!G'A!

%:�V�*���3'��37/��[���3��1b�$� �K%?��F��".V'(+'$Db���?1�8T)*���7#4�F*72+$+,�3)����H8���+$+,�#+!#�*%�F*72+�+O��)��3�`4y!G�"+,��X6FS7Y+O��'$�3c2�N+C@D����.B7/8�F*!#�$�3�b��7�1����$�#+,1��3'A+-C@�3'�D `¨ ��� � +V[ �_+��3�]7�1b��Fb�$��c?�37/1*+-��©?F*���$��8����?'(+Bu?'$D��T'$7/'(!#���:1b8K)*����7G48���+$+,�#+£�/72�#+-%?7GC@�L!/+�'�D��_C@�3�J%:7#C +O��Z��_��72�N+�1�F¢u*!G�*%E%:��7�F*+�+OD*!#�$F���PE!N46'����@'$Db��'��(!#�*+O��'$�3c2��.B��72+O1b�$�F�DJ!�+O�Y[��D��-)*��DJ!Nc?�37/��7G4�'�D��@4y!G�"+,��X6FS7Y+O��'$�3c2�N+���+Bu?!�+���©?F*�#.B'��#%=u2.B7/�:'��(!#�$P '$7&'$D*!#'�7G4�'$Db�-8���+$+,�#+ �='�D���?1�8T)S�>�£�/�$7#C�+-C@��'$DE'$D��`C@���*%:7#C +,�3Z��&!#�*%���72�#+-1bF�!�46'$���@'�D��`'$�A!G�*+,�3'$��c2�`.B��72+O1b�$�`F�D*!/+O�2[��7��`'$Db� 8K1���'$��X F*!/+$+�+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%Q8���'�D�7?%�'$7E�38RF��$7#c2�`7�� `¨ ��� � +����#+O1b�3'(+_'�D��H467���X

��7GC@����� ',C7T.B7/�*%:��'$�37/�*+@8K1*+,'�)S�&8���' �

��Db���?1�8T)*���H7#4_F*72+�+O��)��3�L8��"+�+O�#+_7�1b��%�!#'(! .B�3�N!G�*+,�3���]F���7��/�(!G8 .B7/�$���#.B'$��PQ%?�"%Q��7�'T8��������+,D�7�1b�"%K)*���"!G��������'�D*!G��'�D����:1�8T)*����7#4 �$���#!G�*8���+$+,�#+ � « '�D�72+,�-'�D*!G' `¨ ���M.B7����$�#.V'$�3P&8��������#%)b1�'@7�1���F���7����A!G8z%:��%��b7�'�[<¬

��Db�]�:1�8T)*��� 7G4&F*72+�+O��)��3��4y!#�"+O�>X F*72+,�3'��3c2�#+ C@D������]�$�#.B7/�(%�+ C�>�$�].V7��$���#.B'��3P�8��������#%Q)?PI'�D��8T1���'$�3X6F*!/+$+�+O7���'$�#%?X ���>�3��D?)*7���D�727?%Q8���'$Db7?%�+ODb7�1���%�)*� �"!#�$�/���_'$DJ!G� '$D�� ���#!G�¡4y!#�"+,��X F*7Y+O�3'��3c2�#+«y.�!�+,�#+C@D������`7�1���!GF�Fb�$72!/.gDL�3�*.V7��$���#.B'��3PT8����$�/�#% �$�#.B7/�(%�+@'$DJ!G' `¨ ��� %:��%���7�'V¬([

��7�+,'$1*%?P�C@Db��'$D��>�@7�1����$�#+,1��3'A+8���'�'$D��&!G)*7#c2�&.B7��J%:�3'��37��J+Bu�C�&!#�*%�'�D�� �¨ � � �/�$7/1�F�8E!#�:1J!G�3��P���*+OF*�#.B'��#%�'�D��`F*72+$+,�3)���� 8��"+�+O�#+�!G�*%�'�D��HF*7Y+$+O��)��3�`4y!G��+O��X6F*72+O��'$��c2�#+�467/�-'�D�� .>!�+O�&C@D����L'$D��&C@�3�*%:7#C+,�3Z��_C�!�+`r Z [�D��`���#+O1���'(+7#4�'$D���+8E!G�?1*!#�=�3�J+OF*�#.B'��37��L!#�$�&!�+467����37#C�+ �

s �

Page 28: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

���åcè�è�ð���îÖâ�� ðÖè�è�âiè �]�D��]8T1��3'��3X6F*!�+�+ +O7/�$'$�N%:X �b���3�/D:)*7���D�727?% 8���'�D�7?% 4y!#�3�3�N% '�7�%:��'��#.B'�� ����*%:��c:��%:1*!G��+£'�D*!G' `¨ ��� %:��'��#.B'��#%=[ @4�'$D��N+O� � � F*72+$+,�3)����`8��"+�+O�#+ �

� � � « � �:[ I� ¬=C����$��.B7/�$���#.B'$��P`+O�>F*!G�A!G'$�N%�)?P_7�1���!GF�F���72!/.gD�!G�*%H'�D����$�V467��$����7/'¡���#!G�?8���+$+O�N+B[« `¨ ��� � +�$�N+O1���'(+7��L'$D��N+O�&!G����C@��7����b[{¬

� s �E«^s �Y[3r ¬�C����$�_���*.B7/�$�$�N.B'$��P +O�>F*!G�A!G'$�N%�)?PK7/1���!GF�Fb�$72!/.gDL!#�*%�'�D����$�V467��$���$�#!#�=8���+$+O�N+B[

� s �Q«^s �2[�r ¬_C�>�$�R+OF*�#.B��!G��.�!�+,�#+����:c27/�3c?�3��� �$��Db72+O' �����#.B7/�(%�+`7��H���#.B7/�(%�+`7G4�F*!�P?8����?'(+'$7E7�1�'A+O��%:�T!G�/���*.B���#+B[` ��T!#�������#%�C@�3'�D `¨ ��� '�7��>©�.B��1*%:�&'$D��#+,�T.�!�+,�#+�46��7�8 461b�$'$Db���.B7��*+,�"%:�>�(!G'��37/��[

���åcè�è�ð���îÖâ��ëSîÖè�â���åcè�ðßì¬ð���âiè ���D�������C�>�$��� I�Z �3�*+,'(!G�J.B�#+=7G4b'$Db�£8T1���'$�3X6F*!/+$+*+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%8R��'$D�7?% �,7������3�b�����#.B7/�(%�+`!�+`�3�*%?�3c?�"%:1*!#�"+_'$DJ!G' `¨ ��� � +�%:�"%��b7�'�[ @4�'$D��#+,� � I�Z .�!�+,�#+Bu�C�8�!G�?1*!G���3P �3�J+OF*�#.B'��#%Es�s �E«^� I [ � ¬7#4�'$D��>8 C@��'$DE'$D��_467/�3�37#C@����� �$�#+,1��3'A+ �

� r � [ Z� 7G4�'$Db��8§C�>�$�`�3�*.V7��$���#.B'��3P 8��������#%T):PT7�1���!GFbF��$7Y!�.(D�[

� I �:[ Z� C@D������&.B7����$�#.B'��3PT8��������#% ):PR7�1���!GF�Fb�$72!/.gD¢[

�P C@!�P 7#4�+O1�8�8�!G�$PYu � �:[ I 7#4�'$D���F*72+�+O�3)b�3�_8���+$+,�#+�!G���_��7/'�$�N!G�*8��"+�+O�#+�)�1�'@.V7��$���#.B'��3P .V�"!�+�+O��X�*�N%��$�N.B7��A%�+Bu2!#�*% !G�&�#+O'��38E!#'$�#% I �:[ Z 7G4�'$D���F*72+$+,�3)����£4y!#�"+O�>X F*72+,�3'��3c2�#+�!G�����7/'��$�#!#� 4y!#�"+,�F*72+,�3'$��c2�#+B[�D��N+O�H���#+O1b�3'(+��3�#!/% `¨ ��� '$7�)*�T.B7/�:��%:�>�:'�'$D*!#'_'$Db�H8T1��3'��3X6F*!�+�+-+,7��$'��#%:X6��������D?)S7/�$D�727?% 8���'$Db7?%C@���3�=��8�F���7Gc2��'$Db���3���3�*%:��c:��%:1*!#��%:��'��#.B'��37��EF���7?.B�#%:1b�$�2[

��� ��� � �������� `� � ���§��� �

�-���*c2���(+,�37��J+£7G4�'$Db�`+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%�8���'�D�7?%KC��`%:�"+�.B1*+�+O�#%K���L+O�#.B'��37/�Es +O'A!G�$'��#%K'�D��`F��$7?.B�>X%:1b�$�`):P �*�A+O'�.B7��*.>!G'$�>�*!G'��3��� '�D��`�3��F�1b'@�3�"+,'(+�7G4�'�1�F��3�N+B[��Db�"[email protected]/�*.�!G'����*!#'$�37/�]+,'$��FE�"+1b�*!�c27��"%b!G)����!#�*%�F��$�#+,1�8E!#)��3PT!/.�.B��F�'A!G)����_'$Db�-�*�(+,''��38���!H+,��'@7G4�%�!#'(!#)*!�+,�#+���+�$�#.V���3c2�#%�467/�F���7?.B�#+�+O�3�b��[ �-7#C@X��c2�>��u*7��*.B� '�D��T%�!#'(!�D*!�+_)*����� .V�3�#!#�*+O�#%Q«6c:��!K'$Db� 8����$�/����Fb1��$�/�HF���7?.B�#+$+(¬�!G�*% +O'�7��$�N%�467/�-461�'$1b�$�1*+,�2u�.B7��*.>!G'$�>�*!G'��37��e7G4�'$D���+HF��$7?.V�#+$+,�#%¤%�!#'(!]C@�3'�DI���#.B���?'$��PQ!#�$���3c2�#%Q%b!G'(!])*�B467���������X^!#F�F���P:����� !8��>�$���/��F�1������ F���7?.B�#+�+ª8R�3��D?'_��7/'`)S�T'$Db�K)*�#+,'H+,'$�A!G'$�>��P]'$7E467����37#C`[T\��]FJ!G�$'��".B1b�"!G�>u��3��+O�3'�1*!G'��37/�*+C@D��>�$�`����C ���*.B����8����?'(+�7G4£%�!G'A!�!G��� !�c/!G�3��!G)����`�3�L+OD�7/�$'_F*�����37?%�+@7G4�'$�38R�2u�.B7/�*.�!#'$���*!#'$������!#�3��%�!#'(!)*�B467/�$�]8������������Q!#�*%MF�1��$�/�3���e.B7/1��"%¤Fb�$7#c2��F���7�D���)��3'��3c2����PQ��©?F*���*+O��c2�����M)S7/'$D '$��8��L!G�*% +OF*!/.B�

s �

Page 29: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

���#0 1b�3�$�N%=[�\^�T'$D���++O�N.B'$��7��TC�`%:�N+$.B���3)*�_!#���3�J.B�$��8R���:'A!G�?c2���(+,�37/�K7#4�'$D��`+,7���'$�#%:X6��������D?)*7��$Db727?%�F���7�X.B�N%:1��$��!G�*%HFb�$7#c:��%:��+O7/8�������3'��"!G�2'��38���!G�*%T!�.�.V1��(!/.BP`�$�#+,1��3'A+¢467/��+O'A!G'$��+O'��".�!#�3�3P��������>�(!G'��#%H%b!G'(!/+O��'A+B[�¡����1���� r Z +O1�8�8�!G�$��Z��#+�!#���3�J.B�$��8R���:'A!G�b�����$�/��� ��1������`!#�3�/7��$��'$D�8�[��D��`!#�3�/7��$��'$D�8 +OF*�#.V�{�*�#+�!

��727�F �$��F*�#!#'$�#%�467��`�#!/.gD]���*.B�$�>8����?'7G4��3�:467/�$8E!#'$��7��]�$�N.B���3c2�N%�)?P�'�D��T+OPb+O'���8][&�D��T�3�*.B����8����?'��+.B7/�*.�!#'$���*!#'$�#%�'�7E!��$����!G'��37��L7G4�F����38���X6�$�>F��$�#+,���?'(!G'��3c2�#+�F��$�>X^.B7/8�F�1�'��#%K46�$7/8 '$Db� F��$��c?�37/1*+-��1��]7G4'�D��-���*.B����8����?'(!#����������������1��$�/�_!#�3��7/�$��'$D�8]uY!G�*%�!#�:PT8T1��3'��3X6F*!�+�+�+O7/�$'$�N%:X �b���3�/D:)*7���D�727?%�8R��'$D�7?%H��+!#F�F��3���#%�'$7E'�D�� �$�#+,1��3'��3���R�$����!G'$��7���[ �-�����HF����38��>X ����F��$�N+O���?'(!#'$�3c2�N+!G����!R+O��'`7G4����#.B7��A%�+_��©?'$�(!/.B'$�N%46��7�8 �N!�.(D .B��1*+O'����T7G4 ���#.B7/�(%�+�1*+,�#% '�7Q�$�>F��$�#+,���?'�'$D��]���:467���8E!G'��37/�M�3�M�3'A+E.B�31*+,'$���>[ ����7�8 '�D��F*!#'$'����$�E�$�N.B7��/���3'��37���.B7�8�8T1�����'^P2u#C�`.>!G�E'$D������T7G4�'$D��#+,�_F����38���X6�$�>F��$�#+,���?'(!G'��3c2�>+�!�+@!#�*!G��7��/7�1*+-'�7'�D�� �A.B�31J+O'$�>��.B���?'$��7��"%b+ � q<r Z t��/�������A!G�3��PH1*+,�#% '$7`�$��Fb�$�#+,���:'�.B�31*+,'$���A+¡7G4¢�3�:467/�$8E!#'$��7���u�7/��!�+�'$D���)*!/+O�������8����?'�7#4�!G�E�#021��3c/!#�3���*.V�`.B�"!/+$+V[\^���3'��"!#�3�3PYu �b7]F��$��c?�37/1*+H+,��'H7#4_Fb�$�38R��X ����F����#+O���?'(!#'$��c��#+@��©?�"+O'A+H!#�*%Q'$D��K�J�(+O'&�3�*.V�$��8��>�:'_��+ �,1*+,'

'�D����J�(+O'�����F�1�'��$�>�"!G'��37/��[��D���.B7/�*.�!G'����*!#'$�37/�E+O'���FTD*!�+Vu '�D������B467����2u2��7`�B;��#.B'�[ ��46'$�>��'$D�����©?�#.B1�'��37/�7#4_'�D���8����������>F�1�������F���7?.B�#%:1b�$�2u��#!/.gD��$�#.B7/�(%�46�$7/8 '�D��E�3��Fb1�'H�����"!#'$�37/�e.�!G�Q)*�L+O�>F*!G�A!G'$�N% ���:'�7.B��1*+O'����(+7#4�+,�38����"!#��$�N.B7��A%�+B[��D��`�*�(+,'@'$��8��_'$Db�H!#�3�/7��$��'$D�8 �"+1*+,�#%=u*!G�����$�#.V7��(%b+�C@���3�=�/7K���:'�7 ����C.B��1*+O'����(+V[��D�����ub+O'A!G�$'��3��� '�D��&+O�#.V7��*%�'$��8���'$D��`!#�3�/7��$��'$D�8 �"+��©?�#.B1�'��#%=u2�$�N.B7��A%�+C@�3���S)*�&!�%b%:�#%�'�7F�����c?�37�1J+O�3PT��©?�"+,'$�3�b�T.B�31*+,'$���A+!/+�C����3�¢!�+@����C�.B�31*+,'$���A+B[

@4�F*!G��'$��.B1��"!#�H��8�F*7��$'A!G�*.V�K'�7]'$D��R+O1*.>.B�#+$+`7G4�'$D���+����*.B�$�>8����?'(!G��F���7?.B�#%:1����2u��3��'$����8E+-7G4ª!�.VX.B1b�(!�.VPQ7G4`'�D������#+O1b�3'(+Vu£��+5'�D���h(i2dVdgf�h x +,���3�#.V'$�37/��7G4`'�D���F����38��>X ����F��$�N+O���?'(!#'$�3c/�#+_7G4`�N!�.(D 467/�$8��N%.B��1*+O'�����[ �_+�C@�3'$D 8E!#�:PL7�'$Db���`F�D*!�+,�#+_7G4�'�D�� 8����������>F�1��$�/� F��$7?.V�#%:1����2u¡'�D��"+_+,���3�N.B'$��7��]�"+`!#�"+O7�!�?��7#C@�3�#%?����X6�3�?'$���J+O�3c2��7�F*���A!G'��37��]C@Db���$�`'$Db�H%?7�8E!#�3�E7G4��N!�.(D�!#F�F����".�!#'$�37/�EC@�3�3��%?��'$����8��3�b�-C@D*!#'-��+!]��727?%M+,��' 7G4`Fb�$�38R��X ����F����#+O���?'(!#'$��c��#+V[]��B467����L%:�#+$.V�$�3)b�3����+O7�8R�E+O'��(!G'��������#+H467��T+O�>�3�#.B'��3���L'$D��N+O�����F��$�N+O���?'(!#'$�3c2�N+Bu=��7/'$��'�D*!G'&'$D��R%:�#+�.B�$��F�'$��7�� 7G4�+,'$��F � 7G4�'�D���!#�3�/7��$��'$D�8a�3���¡����1�����r Z !G��+O7]��8�XF����3�#+'�D*!G'�467��`+,7�8��&.B��1*+O'����(+Vu�'$D�� )*�#+,'-F����38��>X ����F��$�N+O���?'(!#'$�3c2���"+ m i�����F����#+O���?'(!#'$��c2�H!#'_!#�3�y[-��7/�`!F*72+�+O��)��3��Fb�(!�.V'$�".>!G����©b!G8RF��3�&C@D����$�T'$Db�"+H+,'$�A!G'$�>��P]�"+`'$��1��2u�.B7��J+O�"%?���`'$D�� `¨ ����%�!G'A!]%:�#+�.B�$��)S�N%���Q.(D*!GFb'$��� � [��D��>�$�2u�.B��1*+O'����(+`.B7/�:'A!G�3�b�3�������#.B7/�(%�+`%�!#'$�#%Q!/+_8�7���� '$D*!#�Mr Z P2�#!#�(+_7���%�!#�$�Tc2���$P1��b�3�3�2�>�3P�'�7����#.B����c2�&!��b��C �$�#.B7/�(%=[ � 1*.(D .B�31*+,'$���A+_.�!#��)*� �$�>8�7#c2�#%K46�$7�8 461b�$'$Db���`.B7/�*+O��%:���(!#'$��7��)?P���7/'�+O�����#.B'$�����T!HF����38���X6�$�>F��$�#+,���?'(!G'��3c2�467/�@'$D���8�[\^�]'$D��T.>!�+O� C@Db���$� 7/��� 7��`8�7/�$�HFb�$�38R��X ����F����#+O���?'(!#'$��c��#+F*���`.V�31*+,'$����!G��� ���#.B�#+�+$!#�$P2u=Db���$�T!#�$�

+,7�8��_F*7Y+$+O��)��3��+O'��(!G'��������#+£467��@'�D�������+O�����#.B'$��7�� �

s I

Page 30: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� â � ï[ðßì¬ð»åcï[è4é��� �a�D��`�3����'$��!G�=�����"!#'$��7���[� � �a�D�� X6'$D����*.B����8����?'��$�>�"!G'��37/��[!@� � � �$����!G'$��7��E7G4�7��b�3P ��F��$��8��_�$�>F��$�#+,���?'(!G'��3c2�#+ ��7#4�'�D��&.B�31*+,'$���A+

�"%:�>�:'��{�*�#%T):P�'�D��&�����$�/��� ��1������`F���7?.B�#%:1����2[�¿ï�ð®ì�ðÖëSîÖîßã�é

��� � ���! � � �

� Z

�¿ï�íeæ�âiõ)âBïcì�ëSî�¸îÖñcåcæ?ð®ì�[õ�é��7��@�>c2���$P � ��%?7 �)*���/�3�

r/[=¦=�>' � � � ��������������� ����� «&!�� � � �"¬A[s?[ ��F�F��3PR!G�?PE��������������1��$�/��Fb�$7?.B�#%?1��$�&'$7�� �y[��D��`�$�#+,1��3'@��+@!K.B��1*+O'����!/+$+,�3���b8����?'£467��@�>c2���$PT�$�#.V7��(%��������^[

�?[ � ��F*!G�A!G'����N!�.(D����#.B7/�(%��3��� �����:'�7 '$D��&.B��1*+O'����(+�!�+$+,�3�/���#%�)?P�'�D��Fb�$��c?�37/1*+@+O'���F�[

� [=��7/�@��c2���$PR.B��1*+O'����7#4��$�#.V7��(%b+Bu:�<4��b�#.B�#+�+$!G��P2u*+O�>�3�#.B'�7����`7/�-8�7/�$����#.B7/�(%�+@!/+�F����38����$�>F��$�#+,���?'(!G'��3c2�#+¡467/�-'�D��&.B�31*+,'$���>[£¨�!#�3��'$Db������"!#'$��7��K467/�$8��#%T7G4�!#�3��+O�>�3�#.B'��#% F��$��8��_�$�>F��$�#+,���?'(!G'��3c2�#+Vu ! ��� � [

���J%=[

�¡�3�/1��$�Tr Z �\^�*.V�$��8��>�:'A!G�*��������������1��$�/���-����7����3'�D�8

s �

Page 31: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

��yëSï�ç[åcõ �XëSõ)ô[î»â � � ���3�N.B'@!T+$!#8�F��3��7G4��$�#.B7/�(%�+@!#'-�A!G�*%?7�8§46�$7/8§�#!�.(DL.B�31J+O'$�>��[

��� ÷���ëBì�âiè�ì ���_!#'(!`�"+�+,7�8���'��38��N+SF�D?P�+,�".�!#�3��P�7/�(%:�>�$�#%H)?PH'�D��@'$��8��7#4=�>�:'��$PH���:'�7_'$Db�@�$����!G'$��7���[\^��8�!G�?PT+O1*.(DE.�!/+O�#+Vu�'$D��_8R72+O'����#.B���?'������8����?'(+����?'$�����#% �3�E'$D��ª%�!G'A!G)*!/+O�&.�!G�E)*�&!�+�+O1�8��N%'�7Q)*��'$'���� �$�>F��$�#+,���?'K'�D��].B��1*+O'����E« �Y[~��[�u'$Db� `¨ ���§%�!#'(!Q�"+T+O1J.gD�!G�¤�>©�!#8�F��3�/¬([e\��e'$D���++,'$�A!G'$�>��P2u�'�D�� D ��!G'$�N+O'@������8����?'(+�!#�$�&+O�>�3�#.B'��#%�!/+�F����38��>X ����F��$�N+O���?'(!#'$�3c2�>+B[

��� âBï[âiæ?ëQî»ð��eëBì�ðÖåcï � C �������A!G'��]'$D�� F��$��8���X6�$��Fb�$�#+,���:'A!G'��3c��N+H):Pe�������>�(!G���3Z������ '$D���%�!G'A!�.B7���X���#.B'��#%�46��7�8 +O��c2�>�(!G�*F*72+,�3'��3c2�_��©b!G8RF��3�#+�« �$�N.B7��A%�+g¬�7G4�'$D��`.V7��*.B�>F�'��$��F����#+O�>�:'��#%5)?PT'$D��`.V�31*+,X'�����[�� �N.gD��b�"021��#+¡467����������>�(!G���3Z������&.B7��J.B��F�'A+!G���_C�>�3���?��7#C@�K46�$7/8 8�!�.(D��3���@���#!G�����3�b�*q��?u*r I t^[

���ã[ïöì¬ëSí4ì�ðÖí �¨�D�7272+,�H'$Db����!G�����#+,'-7/�@8�7����`.B7�8RF��3��'��-���#.B7/�(%=[

��¸ì�ðÖîÖðßì¡ã���¨�D�7272+,�H'$Db�����#.B7/�(%�'$D*!#'-8�!G'(.(D��#% 7�'�D����A+�8�7/�$�-46���#021����?'$�3PY[

\^�]'$D���+`+O�#.B'��37/�]C� F����#+O���?'_�����3'��"!G���$�N+O1���'(+_.B7/8�F*!#�$�3�b��'$D�� '��38���!G�*% !�.>.B1��(!/.BP�F*���,467���8E!G�*.V�7#4`�3�*.V�$��8��>�:'A!G�������$�/��� ��1������LC@�3'$De'$D��L)*!�+,�".L�����$�/��� ��1������]!#�3�/7��$��'$D�8�[I  �]+,���3�#.V'$�#%�'�D�� ��X¦�!#'$�#+,'�Fb�$�38R��X ����F����#+O���?'(!#'$��c2�`+O'��(!G'�����P�467/�_7�1b���>©:F*�����38����?'(+£467/�`�3'(+��38�F�����8T���2'(!#'$�37/�L+O�38RF��3��.B�3',P/[®�©?FS�>�$�38R���:'A+`!G�$�L1��*%:�>�$C@!�PQ'�7�'��#+O'T!#�*%¤.V7�8�F*!#�$�L!G���@'$D��L!#)S7#c2�L+O'��(!#'$���/�3�#+V[ �@�#+O1b�3'(+HC@���3�@)*�%:�N+$.B���3)*�#%��3�L!�461�'�1��$�`�$�>FS7/�$'>[�C7L�38�F*7/�$'(!#�:'ª!�+$+,1�8�F�'��37/�*+_C����� 8E!�%:� C@Db�3�3�T%?�#+$.B���3)������E'$D��R\^�*.B����8����?'(!#�������$�/��� ��1������

!#�3��7/�$��'$D�8][��¡�3�A+O'>u ��'�C@!�+�!�+�+O1�8��N%5'�D*!G'���7 %�!#'(!`F��$��c?�37/1*+O��P 1*+O�N%K'$7�+O�����#.B'��#!/.gDR.B��1*+O'������ +�Fb�$�38R��X����F��$�N+O���?'(!#'$�3c2� C@���3��)S��%:���3�>'$�#%�« �y[~�2[�u¡��7 m f pYo�x^l�� f�j:f k xyo v(¬([ � �#.B7/�*%=u��3'&C@!/+ !G�"+,7 !�+�+O1�8��N%�'$D*!#'��7�.gD*!#�����N+�����'$Db����1��3�>X^+,��'-C@���3��7?.�.V1��_!�46'$����'$Db���*�A+O'��3�*.B����8����?'�7G4�%�!#'(!K��+�F���7?.B�#+�+O�#%=[@  �H��7#C%:��+$.B1J+$+Bu�)b�$�3�*P2u:'�D��`�38�Fb�3�".>!G'$��7��*+�7#4�'�D��#+O�`',C7T!/+$+,1�8�F�'��37��J+B[

�@��8�7#c:�����T�$�#.B7/�(%�+`!#�3�$�N!�%:P�.B�31*+,'$�����#%].B7/1��"% +OF����3'`+,7�8��T.V�31*+,'$���A+B[ \ 4�!�����8�7#c2�#%��$�#.V7��(%]C@!/+���#+OF*7��J+O�3)b�3�H467���8����$�/�3��� ',C�7E.B�31J+O'$�>�(+Bu*'$Db�H7����3�/�3�*!#��',C7E.B��1*+O'����(+�+O7R8����$�/�#%�C@�3���¡)*�#.B7/8��&+O��FJ!GX�A!G'$�N%=[��C7 ���>C¥F����38��>X ����F��$�N+O���?'(!#'$�3c2�>+¡8T1*+O'�)*�`.B7�8RF�1�'$�N%K)*�B467�����'�D��_���>©:'��3�*.B����8����?'�7#4�%�!#'(!!#�$�$��c2�#+�467/�-Fb�$7?.B�#+�+O������[��D��`F��$7?.V�#%:1�����'�75467/�3��7GC �3�L.�!/+O�`7G4£%:���3�>'$�37/�*+£��+'$D��_467/�3�37#C@����� �

r/[-�����"!�PR!G�3��%?���3��'��37/�*+1��?'$�3�¢!N46'�����+O'���FL�57#4�'�D��&\��J.B�$��8R���:'A!G� �-����7����3'�D�8 ���L�¡�3�/1��$�Tr Z [

s?[ �����O467/�$89!#�3��%?���3��'��37/�*+B[ �@��8���8 )*����.B�31*+,'$����\,�_+7#4�!G����.B��1*+O'����(+@!�;��#.B'$�N%=[

�?[ �@��Xy.B7�8RF�1�'$��'$Db�H.V�372+,1��$���3�L!G����.B��1*+O'����(+�!N;��#.B'��#%=u*+OFb�3�3'�'$�����H��©?�"+,'$����� .B��1*+O'����(+�!�+@���#.B�N+$+$!#�$P2[

� Z

Page 32: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

�D��>��uG'�D���\^�*.B����8����?'(!#� �-����7����3'�D�8¥���#+O1b8��#+*!G'�+O'���F � ):P��$�#.V7�8�F�1b'$�3�b�!�b��C�Fb�$�38R��X ����F����#+O���?'(!#'$��c2�467/�_!#�3��.V�31*+,'$���A+Bu:���*.B��1*%:�3�b� '$D��`����C 7��b��467���8��#%T!N46'����-'�D��&%:������'$��7��*+V[¨�D*!#�����#+`'$7E'$Db�T%�!G'A!�!G���T!��3�3'�'$���H8�7/�$�T%:�<UE.B1b�3'�[H¨�DJ!G���/�#+H.B7/1��"%])*� '$���#!G'��#%�!/+`!�%?���3��'��37/�

467/�3�37#C��#%5)?PT!G�R�3�*+,���$'��37��¢[ �-7#C�>c2����u���'��"+�7G46'�����'$Db�_.�!/+O� «6�3�TF*!G��'$��.B1��"!#��u2�{4¢�3'��"+�!�D?1�8E!#� 8E!G�?�3���'�D��@.(D*!G�b����¬*'�D*!G'�'�D�������CQ���#.B7/�(%H+,D�7�1b�"%�)*����7�����'$7�'$Db�@+$!#8���.B�31J+O'$�>��!�+�'$D����$��8�7#c2�#%@7��b�2[ �-�>�$��!1*+,���$Xy+O�>'F*!#�(!G8R��'$����+OD�7/1��"%�%?��'$����8��3�b�£Db7GC !#�*%K���KC@D*!#'@.B���(.B1b8E+O'A!G�*.B�N+�.gDJ!G���/�#+�'$7 %b!G'(! +,D�7�1b�"%)*��'��$�#!#'$�#%�!/+�!�%?���3��'��37/� 467/�3��7GC��#%�)?Pe!G�¤���*+O�>�$'$��7�� « '�7�)*�L��c/!G�31J!G'$�N%I�3��'�D������>©:' ���*.B�$�>8����?'��c/!#�31*!#'$�37/�=¬�7����,1*+,'�!K%:���$�#.V'@.(D*!G���/�H���:'�7 !G�L��©?�"+O'��3���T.V�31*+,'$���>[¨�D*!#�����#+�7G4*'�D����$1�����X )J!�+O��%:�V�*���3�b�-'�D����#0 1J!G'$��7��*!#�:'�D���7/�$P`!#�$��>c2���_8�7/�$��%:�<UE.V1��3'�'$7�.B7����$�#.B'��3P

���*.B7���F*7��(!#'$�T�3�?'$7�'�D��R\��J.B�$��8R���:'A!G� �-�3�/7��$��'$D�8�[`���3��7/�`.gDJ!G���/�#+_'$7E'$D�� ��1��3�>X )*!/+O�L« 467/���>©�!#8�F��3�Yu+,8E!G���@.(D*!G���/�#+K'�7Q+,7�8��E'$Db�$�#+,D�7���%�+K%?�B�*���������N0 1*!#�3��'OP 7#c2��� ',C7]�*����%�+Bu@%?���3��'��37/�I7#4`�$1b�3�#+ '$D*!#'D*!�c2�`�(!#�$����PK�*���#%S¬�!G�$�&��©?FS�N.B'$�#%�'�7KD*!�c2�&�3�3'�'$���_�38�FJ!�.B'�7���'�D�� .V7��?'$���?'(+7#4'�D��_467���8��#%E.B�31J+O'$�>�(+B[�-7/����'�D����3�N+$+Bu�%:��F*���J%:�3���R7�� '$D���%�!G'A!�7/�_�{4�8E! �,7���.gD*!#�����N+_!G��� 8E!�%:�&'$7�'�D�� �$1b�3��X6)*!�+,�2u�!K��!G������?1�8T)S�>� 7G4T.V1��$�����:'R.B��1*+O'����(+T.B7�1b�"%¤)*�]���$��7����>7�1*+V[ �-�?467��$'�1��*!#'$����P2u@'$D��]7/���3Pe+O7/�31�'��37/�¥'�7Q'$D���+F���7�)�����8 ��+ '�7`�$1��T!`��������������1b�$���@Fb�$7?.B�#%?1��$�@7/�*.B��!G�Y!G���K1*+,�3���ª!G�3�J!Nc/!#�3�"!#)��3��%�!G'A!:[ �� '$Db�@7�'$Db���D*!#�*%=u�%:��F*���*%?�3��� 7/��'$Db� !GFbF��3��.�!G'��37��¢u*!K+,�3�3�/D:'@�?1�8T)*����7G4����*.B7��J+O�"+,'$���J.B�3�#+�8��3�/D:'�)*� !�.>.B��F�'A!G)����'�D����$�V467��$�R!�c27���%:�3���E'�D��K�b���#%]'$7���1��Q'�D��K�>�:'��3�$� Fb�$7?.B�#%?1��$�2[������$�2u�7/�*.B�R!G�2!#�3��u�'�D��R%:�#.B��+O�37/����+D�����D���PE!GFbF��3��.�!G'��37��L%:�>FS�>�*%:���?'@!#�*%����#0 1b�3�$�N+£D?1�8E!G�E���:'����$c2���?'$��7��T'$7 ���#+O7/�3c2�2[

����� � ��& 0B&)"�� ��� �=�.B& � ��� 02"�� .2�$ � � 02$ ,�� 0 �5��� ��( .2� � ��� 0 " � � �):/, .B& 0B� �

  �E.B7/�*%:1*.B'��#%Q!��?1�8T)S�>��7#4_�>©:F*�����38����?'(+�'$7�'��#+O' '�D������*.B�$�>8����?'(!G������������� ��1������L!G����7����3'�D�8][\^� '$D��#+,�K�>©:F*�����38����?'(+C��KC����$� ���:'����$�N+O'$�N%��3��+O'$1J%:P:�����E'$D��T'$��8��HF*���,467���8E!G�*.V� 7G4@'�D��R%:�{;��������:'+,'(!G�/�#+@7G4�'�D��&!G�3�/7����3'$Db89!G�*%E'$D��`�B;��#.V'7��L'$D��&!/.�.B1��A!�.BP�7#4�'$Db�����#+O1b�3'(+V[��7H'$Db�"+¡���J%=u2C��+O'A!G��'$�#%KC@��'$D '�D�� `¨ ���e+$!#8�F��3��%?�#+$.B���3)*�#%H����+,�#.B'$��7�� � [3r`«$r>s I u � � �H�$�#.B7/�(%�+(¬

!#�*%�%?�3c?�"%:�#%���'_�3�?'$7��*c2�E« � ¬�F*!#�$'(+Vu ��� � � � � � � � � � � � � u C@��'$D�s � � Z�Z�Z u�s � � Z�Z�Z u�s � � Z�Z�Z u�s � � Z�Z�Z!#�*%Qs I � � � �����#.B7��A%�+Bu��$�#+,F*�#.B'$��c2���3PY[H�D��T�3�J.B�$��8R���:'A!G����������������1��$�/��!#�3��7/�$��'$D�8¯C�!�+_�38�Fb�3��8��V�?'!/+�! � �_\��9+,D�������+$.B���3F�'TC@D��".(DM.V7��*.�!#'$���J!G'$�N%¤!G�J%I46�#%I'�D���F���7�F*����FJ!G�$'A+5'�7Q'$Db��)*!/+O�".E8K1b�3'$��XF*!/+$+&+O7���'$�#%?X ���>�3��D?)*7���D�727?%I8��>'$D�7?%=[ �-� ��� � +$.B���3F�'&.B7/8K)������#%EC@�3'$D !]¨ F���7��/�(!G8aC@!/+�1*+,�#%'�7]�38�F�����8T�B�?'-'�D���F����38��>X ����F��$�N+O���?'(!#'$�3c2��+O�����#.B'��37�� F*!#�$'H7#4_'�D��E!#�3��7/�$��'$D�8][L�D���7/���3P�+O'��(!#'$���/P'��#+O'��#%�C@!/+-'$D�� ��X ��!G'$�N+O'`+,'$�(!#'$���/P2u�C@D������=D ��r�«6�^[ �2[3u*7�����P�'�D�� �"!#'$�#+,'_�$�#.V7��(%���� !�.B��1*+O'����_C@!/+

�:r

Page 33: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

Creating Clusters/Select Records

Incremental Merge/Purge

Total time (Clustering + Incremental M/P)

Incremental M/P Accumulative Time

Normal Multi-Pass Merge/PurgeIncrement (25,000 records each)

Delta 0 Delta 1 Delta 2 Delta 3 Delta 4

Tim

e (s

)

0.0

50.0

100.0

150.0

200.0

250.0

300.0

350.0

400.0

450.0

500.0

550.0

600.0

�¡����1����Kr/r ��\^�*.B�$�>8����?'(!G�bc�+V[��-7���8E!G�¢��1��3'��3X ��!�+�+@�����$�/��� ��1������ ���8��#+

1*+,�#%E!�+@F��$��8���X6�$��Fb�$�#+,���:'A!G'��3c2�#¬([�¡����1���� r�r`+,D�7#C�+£'$Db�_'$��8��@�$�#+,1��3'A+�467/�'$Db�-�*c2��X6F*!G��'���*.B�$�>8����?'(!G�b��������������1b�$����F��$7?.B�N%:1��$���3�

.B7/�:'��(!/+O'@'$7 '�D��`��7���8E!G��«6��7���X6�3�J.B�$��8R���:'A!G�6¬����>�$���/� ��1��$�/�2[��D��#+,�`�$�#+,1��3'A+£C�>�$�_7/)�'(!#�3���#%�C@��'$DL!'�D��$���>X F*!/+$+-)J!�+O��.�8T1��3'��3X6F*!�+�+@!GF�Fb�$72!/.gD]1J+O�3�b�K'�D��H�2��Pb+@%:�#+�.B�$��)*�#%����]+O�N.B'$��7�� � [ s?u=! C@�3�*%?7GC@Xy+O��Z��7#4�r Z �$�#.V7��(%b+Bu�!#�*%�1J+O�3�b��! � 1�� �  �7/�$�b+O'(!#'$��7�����1���������� � 7/�"!G���"+�s:[ �:[�D��T�$�#+,1��3'A+-�3� ���3��1b�$�Lr�rT!G����%:��c:��%:�#%E):P�%:���3'A!�+V[ �¡�3c2�&)*!G�A+Bu��#!�.(D]�$��Fb�$�#+,���:'��3���R'$D��T!/.B'$1*!#�

'��38��_467��&!�F*!#�$'$��.B1���!G�_8��N!�+O1b�$�#%EF�D*!�+,�2u�!G���KF����#+O�>�:'@467��`�#!/.gD %:��c:��+O��7��]�3� ���3��1b�$�Er�r/[ �D�� �*�(+,')*!#�@.B7/�$���#+OF*7��J%�+'$7&'$D��_'��38��@'A!G�2���T'$7�.B7����3�#.V'£'�D���F��$��8���X6�$��F����#+O�>�:'A!G'$��c2��+�7G4�'$Db�-F�����c?�37�1J+£�$1b��7G4'�D��@8K1b�3'$��X FJ!�+$+�!GF�F���72!/.gDL« ��7/'$��'$D���+�)*!G���"+ Z 467���'�D���*�(+,'�%:���3'A! ¬A[��D���+O�#.V7��*% )*!G������F��$�N+O���?'(+¡'�D��'��38��467/�@��©:�N.B1�'$�����H'�D��_8T1��3'��3X6F*!�+�+�!GF�F���72!/.gDL7Gc2�>�'$Db�`.B7��J.�!G'����*!G'��37/��7#4�'�D��`.B1b�$�$�>�:'�%:���3'A!�C@��'$D'�D��HF����38��>X ����F��$�N+O���?'(!#'$�3c/�#+��$�#.V7��(%b+B[@�D��`'�7�'(!#�¡'��38���467���'$D��&�3�*.B����8����?'(!#�*��������������1b�$���&F��$7?.V�#+$+��+£'$Db�`!�%�%?�3'$��7���7#4�'$D��N+O�_',C7&'$��8��#+�!#�*%��"+£����F����#+O���?'$�N%5)?P '$D���'$D����(%K)*!#��[��D���467�1���'$DE)*!G��+OD�7#C�+'�D��`!�.>.B1�8T1��"!#'$�#%H'�7�'(!#�='��38���!�46'$�����#!�.(D��3�J.B�$��8R���:'A!G�b�����$�/��� ��1������_Fb�$7?.B�#%?1��$�2[����3�*!#�3�3PYu�'$D����"!�+,')*!#��+OD�7#C�+£'�D��@'$��8��£467/��!ª�b7��$8�!G�*��������������1��$�/�-F���7?.B�#%:1b�$�@�$1b�����3�b��7#c2����!�%b!G'(!#)*!�+,�#+.V7�8�F*72+,�#%7#4�'$D��&.B7/�*.�!#'$���*!#'$��7��E7G4�!#�3�¢%:���3'A!�+Vu�1�F�'�7T!G�*%E�3�*.B��1*%:�����H'�D��&.B1��$�����?'@7����2[

�-7/'$�".V��'$D*!#'=467�����c2�>�$P�.�!/+O��!N46'�����'$D����*�A+O'�%:�>�3'(!?u�'$D���'$7�'A!G�?'$��8��=467���'�D����3�*.B����8����?'(!#�#��������������1b�$���F���7?.B�#+�+�"+.V7��*+,�"%:���A!G)���P �3�#+�+£'�D*!G��'�D��_'��38��467/�'$Db�_��7���8E!G�*F���7?.B�#+�+B[��J7/�@!#�3��.�!�+,�#+'$�N+O'$�N%5����'$D���+

��s

Page 34: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

0

2000

4000

6000

8000

10000

0 1 2 3 4

Num

ber

of In

divi

dual

Clu

ster

s

Delta

Incremental M/PNormal M/P

� ����+-$��ü� ��DÿÖü�.²þ�ÿ�5?���

0

200

400

600

800

1000

0 1 2 3 4

Num

ber

of P

ossi

ble

Mis

ses/

Fal

se-P

ositi

ves

Delta

Misses, Incremental M/PMisses, Normal M/P

False-Positives, Incremental M/PFalse-Positives, Normal M/P

� � �@:Bþ�ü»üÖû���$�� � û¼üÖü��Dü)����?(��*$¼ü�� D :Bþ�ü»û� Öû�0%�Dü

�¡�3�/1��$�Tr>s � �_.�.B1��A!�.BPT7G4�'$Db�H\^�*.V�$��8��>�:'A!G����� ��F��$7?.B�N%:1��$�

��©?F*���$��8����?'�u?'$D��T.B1b8K1���!G'��3c2�_'��38��_467���'$D�� ���*.B�$�>8����?'(!G�¢�����$�/��� ��1������ F���7?.B�#+�+ªC�!�+-��!G�������_'�D*!G�'�D��H'�7�'(!#�¡'��38��@467���'$Db�H��7/�$8E!#�������$�/��� ��1������2[��D��"+@�"+�%:1��&'$7T'$D��`��!G�$�/�H'��38��`.V72+O'�7G4£.B�31*+,'$�����3���!#�*%]+O�����#.B'��3��� '�D��HF����38��>X ����F��$�N+O���?'(!#'$�3c2���$�N.B7��A%�+�467/�_�#!/.gD�.B�31*+,'$���>[@\^��'�D�� .B1b�$�$�>�:'��38�Fb�3��8T���2'(!#X'��37��¢u�'$D��_�>�:'��3�$�ª%�!G'A!�+O�>'H«6'$D��&.B7/�*.�!G'����*!#'$�37/�E7G4�!G�3��%?���3'A!�+Bu�1bF�'�7T!G�L�3�*.B��1*%:�����H'�D��&.B1��$�����?'7��b��¬��+@+O7���'$�#%�'�7H�*�*%�'$D��&.B��1*+O'����(+�!G�*%L!G���=�$�N.B7��A%�+�3�E'$Db�`.B�31J+O'$�>�@!G���&.B7��*+,�"%:�>�$�#%�C@D����L+,���3�#.V'$�3�b��'�D��F����38��>X ����F��$�N+O���?'(!#'$�3c2�>+B[��D��"+-��+_.B���#!G���3P���7/'_'$Db� 7�F�'��38E!#��+O7���1�'$��7���467/�_'$D��T.V�31*+,'$�����3���T7G4��$�N.B7��A%�+!#�*%¤'$D���+O�����#.B'��37���7#4`F��$��8���X6�$��Fb�$�#+,���:'A!G'��3c��N+B[ � )*��'�'$���T�38RF��3��8T���2'A!G'$��7���.V7�1���%I�3�J.B�$��8R���:'A!G���{P+,���3�#.V'F����38���X6�$�>F��$�#+,���?'(!G'��3c2�>+�)*!�+,�#%�7/��'�D��`F��$�>c:��7�1*+,�3PE.B7/8�F�1�'��#%K7/���2[��D��&.B1����$���?'@�38RF��3��8T����X'A!G'$��7���u��b7�����'�D������#+$+Vu¡����c2�#+`! �$C�7��(+,'$Xy.�!�+,� ����©?�#.B1�'��37/��'��38��H467/� '$D���+�F�D*!/+O�2[ �-�:P]7/F�'$��8��3ZN!G'$��7��C@���3�=7/���3P�%:�#.B���#!�+,��'�D��`'$7/'(!G�����*.B����8����?'(!#�=���>�$���/� ��1��$�/�`'$�38R�2[�¡���*!G���3P2u?�¡����1����Kr>s .B7�8RF*!G���#+£'�D��`!�.>.B1��(!/.BP����#+O1���'(+�7G4�'$D��`�3�J.B�$��8R���:'A!G�*���>�$���/� ��1��$�/�`F��$7?.B�>X

%:1b�$�TC@�3'$D '$Db����7���8E!G��F��$7?.B�N%:1��$�Y[��D���'�7�'A!G���:1b8K)*���_7#4��3�*%?�3c?�"%:1*!#�"+H«y.B�31J+O'$�>�(+g¬�%:�>'$�#.B'��#%=u='�D���?1�8T)S�>��7G4¢FS7Y+$+,�3)����_8��"+�+O�#+�!G�*%K'�D����:1�8T)*����7#4�FS7Y+$+,�3)�����4y!#�"+O�>X F*72+,�3'��3c2�#+�C�>�:'�1�F�C@��'$DT'$D���1*+,�_7G4'�D��_�3�J.B�$��8R���:'A!G�b�����$�/��� ��1������_Fb�$7?.B�#%?1��$�2[���7�����'�D������#+$+Vu�'$D����3�*.B���#!�+,�-7#4�!#�3�*8��#!/+O1����#+��"+�!G�38R72+O'���>���3������)��3�&!G�J%]!G�$�/1*!G)b�3P !�.>.B��F�'A!G)������/�3c2���L'$D�� ����8E!#�$�/!G)����`�$�#%:1J.B'$��7���7#4�'$�38R�_F��$7#c?�"%:�N%�)?P�'�D�����*.B�$�>8����?'(!G�bF��$7?.B�N%:1��$�Y[

���

Page 35: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� §��� �5�#�����>���

�D��&+,7��$'��#%:X6��������D?)S7/�$D�727?%]8���'�D�7?%��"+��©?F*���*+,�3c2�`%:1b�H'$7 '�D�� +,7���'$�3�b�KF�DJ!�+O�Yu*!�+@C������!�+@'$Db���b���#%'�7T+O�#!#�(.(D����E�"!G�����`C@�3�J%:7#C�+£467��@D�����DL!�.�.V1��(!/.BP2[��-��'$�����*!G'��3c2��8���'$Db7?%�+£)*!/+O�#%E7��L%�!#'(!T.B�31*+,'$�����3���8�7?%?�#+O'��3PQ��8�F��$7#c2�#+_'�D���F���7?.B�#+�+5���¤'$��8��R!�+K����F*7��$'��#%I�>�"+O�>C@D����$�Y[ �-7#C���c2����u��b���3'�D����T!�.(D�����c2�#+D�����D�!�.�.V1��(!/.BP]C@�3'�D�7�1�'`���*+OF*�#.B'��3���E��!G�$�/�K�b���3�/D:)*7���D�727?%�+H7#4��$�#.B7/�(%�+V[ @4@FJ!G�$'��".B1b�"!G���3�?'$�����#+O'_��+'�D*!G'_F*���,467���8��3���T'$Db� %�!#'(!E.B�3�N!G�*+,�3���TF��$7?.V�#+$+_8T1��3'��3F����-'��38��#+7#c2����+O8�!G�3��C@���*%:7#C�+Bu*467��3��7#C�#%E):P'�D�� .B7/8�F�1�'A!G'��37��]7#4�'$D��&'$�(!#�*+O��'$��c2� .B��72+O1b�$�2u�%:7�8R�3�*!#'$�#+@�3��!�.�.B1b�(!�.VP�467/�_����'$D�����8���'�D�7?%=[� MD��3���8T1��3'��3F����-FJ!�+$+,�#+-C@��'$D]+,8E!G����C@�3�*%?7GC�+��3�*.B���#!�+,�#+'$Db�H�?1�8K)*���@7#4�+O1J.�.B�#+�+�461���8E!G'A.gDb�#+Bub+O8E!#�3��C@�3�bX%:7#C�+ !#�"+O7�4y!�c27/� %:�#.V�$�#!/+O�#+_�3� 4y!G�"+,��F*72+,�3'$��c2�#+Bu����#!�%?�3���L'$7�Db�3��D�7Gc2�>�(!G����!�.�.B1b�(!�.VP�7#4_'�D���8��������F�DJ!�+O�Y[ �-� !G��'$�����*!G'��3c2�`c:����C ��+-'$D*!#'`!E+O���������HF*!/+$+`!GF�Fb�$72!/.gD]C�7�1���%�)*�H4y!G�`+,�37#C����'$7L!/.gD�����c2�&!.B7/8�F*!#�(!G)b�3�`!/.�.B1��A!�.BPE!/+-! 8T1��3'��3X6F*!�+�+£!#F�F���72!�.(D�[�D������#+O1b�3'(+`C�E%?��8�7��J+O'$�A!G'��5467/�T+O'(!#'$��+O'$��.�!G���3P]�/�������A!G'$�N%Q%�!G'A!G)*!/+O�#+HFb�$7#c:��%:��'�D���8��#!#�*+_7G4

021*!G�?'$�<46P:�����E'$D��R!�.>.B1��(!/.BP 7G4�'$Db��!#�3'$�>�$�*!#'$�3c2� 8R��'$D�7?%b+B[E\^�Q�$�N!G�3X6C7/�$��%�%�!#'(!�C��KD*!�c2�T��7].V7�8�XF*!#�(!#)��3�E8��#!#�*+_7G4��$����7���7�1*+,�3PQ�>c�!#�31*!#'$������'�D��#+O�R�$�#+,1��3'A+B[ �-��c2����'$D��>�3�#+�+Bu='�D��L!GF�F����".�!#'$��7��Q7#4_7/1��F���7��/�(!G8a7#c2���_���#!G��X C�7��$��%]%�!G'A!�F���7#c:��%:�#%�)?P]'$D�� � 'A!G'��K7#4� Q!/+OD�������'�7��¤¨�D����"%�  ���{4y!#�$�T�-�>F*!G��'$X8��>�:'�D*!�+_c/!G���"%�!#'$�#%�7/1��&.B�"!#�38E+7#4@��8�F��$7#c2�#%E!/.�.B1��A!�.BPL7G4@'�D�� 8T1��3'��3X6F*!�+�+�8��>'$D�7?%�)*!/+O�#%]1�F*7������P2��X6)*!G���3�3�b� �H!T+O�������<��.�!#�:'�+$!G8RF��3�_7#4�%b!G'(!?[�D?1*+Vu�C@D*!G'@'�D��&.B7��?'$��7��3���#%K��8RF��3���".�!#�*+O'�1*%:�3�N+D*!�c2�+,D�7#C@�����*%:��.�!G'��#+£'�D*!G'@��8�F��$7#c2�#% !/.�.B1��A!�.BPRC@�3�3�*)*�`��©?D��3)���'$�#%H467��@���#!G��C7/�$�"%E%�!#'(!HC@��'$DE'$D��ª+$!G8R�+,7��$'A+�7#4������$7��A+@!G�*%L.B7�8RF��3��©?�3',P&7G4�8E!G'A.gD������ !/+-%?�#+$.B���3)*�#%��3�E'�D��"+F*!#F*����[�¡���*!G���3P2u='�D�� �$�N+O1���'(+-����F*7��$'��#%]D����$�H467/�$8¯'�D�� )*!�+,�"+_7G4�! � o�x^o���k<o j:f`��7?%:1b�3�T!�c/!G�3��!G)����H46�$7/8

\^�:467/�$8���© � 7#46'OC�!G����!/+H'$D�� � o�x^o ��k f o2m v#fVd � o�xyo��@k o j:f([Q�D��R'$�#.(D���7/�37��/P���+H)��$7Y!�%:��PQ!#F�F����".�!#)��3� �!�46'$����!#�3�^u?�$�#!#��C7/�$�"%E%�!#'(!K��+@%:�3��',P2[

� � ��������� �� H � � H���9�

× � ª��D�-£��]ª�¨D�r¢®¦4��¨D�J��¤� 6��¨k��µ%Ù�²ª��DÛSÔ1Ù[�� 6�e¦e¨D�¡��Ö¥4¢®���D ¯ª�¨W¤���¥FÙ[��¥i«W¦4��¨]ª¬¥�¨+¢³�?��Ü�Ù� ��Ô�¢®���¯¨D�e�¸�e�r�­��e�D��¾�¤²©4��©����e¨]ª�¤�¥4¤�¥e£¶¨k�e���D��«W¦4��¨]«½¤­¥¸«W��±r¨W¤���¥��iÁ��q�iª�¥eÛe«�ª��²«W�6¨D�¯¹1��Á¹O¤Ìª¬¥iª��¥e£��¼¤²«W�cÔöÜ�Ù� � � «�Ù[�iª�¤���Ô4¢®���ª��¼���¿Â½¤­¥e£¯¨D�e��¦i«W�Ð��¢¨D�e�r¤���©eª�¨]ª��iª?«W�1¤�¥���¦e��Âq���kÛQÁ

� �

Page 36: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

�� � `� H� �? �

����� �Ù#Ã{Á�� ��à Ü�¹F�k��±r���]©SÔi¹1��±r�¡ §�i�¡� ��� � Á����� ��Á 1£��]ª�Â�ª��Qª�¥i©��ÐÁ��§Á��?ª�£�ª�©?¤²«W�cÁÃ-¦4��¨W¤��e�D�p±r��«k«W�����q�]ª�¥i«»¤�¨W¤�¾��§Ùà�­�4«W¦e�D� O�­£?���W¤�¨D�e ¶«¡Á »¥���������� �"!$#�% &

')(�*,+ �-��!/.10�#204350�68796;:<!/�=0���0�&<&>7?&@0�!BAC.1:�6�#2�":23�DE#27FA ' ( 6�#27 * 6¡Ô4�iª�£���«HG�IKJ�I�IeÔe¹1��±r�¡ §�i�¡� �?�L�L Á��M�� Ù�ÁONqª�¨A¤­¥4¤ÖÔ§Ã{Á�ËS�¡¥eÀ¡�¡�W¤�¥4¤ÖÔ¶ª�¥i©P�iÁ1Q1ª�¾¿ª�¨D�e��Á Ù[�� +�iª��]ª�¨W¤�¾�� 1¥iª���µp«Þ¤Ì«Ú��¢¶Ã��¡¨k�e�p©4������£¬¤­��«�¢®���¹�ª�¨]ª��iª?«W�;��±k�e�¡ ¶ª Ö¥4¨D�¡£��]ª¬¨W¤���¥cÁSRUTSVWT�� *,+ D4#2:X!4Y ' DE�"Z?7�� ( 6¡Ô ��LE[ � \"] M���M J M I �eÔ�¹1��±r�¡ §�i�¡� ���L I�Á

� � � ¹§Á�N¤�¨D¨k��¥Íª¬¥i©¶¹§Á��eÁe¹1�¡×t¤�¨D¨�Á�¹1¦e�4�¼¤²±¡ª�¨D� �½��±r���]©��<�¼¤� §¤�¥iª�¨W¤���¥�¤�¥�Ëcª��D£���¹�ª�¨]ª_^ö¤¼�­��«�Á`RaTSVcbB��0�!�6Fd0���#2:X��! 6;��!/.e0�#20E30�6�7 ')( 6�#27 * 6 Ô LE[�� \"] � GfG?J � I�G�ÔK��¦e¥e� ��fL�M Á

� G � N1ÁiÆ<ÁBN�¦i±DÛ?����«�ª�¥i©�^qÁ ��ÁBÆ<�¡¨D�Dµ�Á %¢³¦eÀ¡À¡µ��k�¡�e�D��«W�¡¥4¨]ª�¨W¤���¥-��¢à©eª¬¨]ª�¢³���O�D�r�²ª�¨W¤���¥iª��X©eª¬¨]ª��iª�«W��«�Á=g@D�hFh (' 7?#X6i0�!BA ')( 68#27 * 6 Ôkj4] ����M J ��� IeÔ �?�L�� Á��1�¡¥e�¡�]ª��¼��µM�k�¡£�ª��]©4��©{ª�«Ð¨D�e�¯�iª��i�¡�6¨k�iª�¨����A¤­£¬¤­¥iª¬¨D��©l^�¦eÀ¡À¡µ¹�ª�¨]ª��iª?«W��«¡Á

� I � �eÁ�Æ<Á4N�¦i±kÛ����¡µ�Á m�½¤��¡�]ª��]±k�4¤²±¡ª��cÙ��¦i«W¨D�¡�A¤­¥e£n��¨D�rª�¨D�¡£�µ1¢®���S�1�¡�Dµ°Ëcª¬�D£��H^<¦eÀ¡À¡µ6¹�ª�¨]ª��iª�«A��«¡Á Ö¥��=�o�?�"7F7FA�d:<!EY�6p��q=#Xr47=�s�sps��"!$#27��F!B0�#2:X��!B0f&�Tp��!9q87?�o7?!B�F7p��! ' ( 6�#27 * 6FtBV�0�!U0�!BAUT ( 357��F!B7?#2:<�96 Ô¡�iª¬£���« M GEj M J M GEj L Ô��� G�Á

� j � ·§Á<×"Á<Ù���¦e�]±k�Jª�¥i© ×�Á §Á��Ī�����Á�Æ�D�?�iª��4¤¼�ɤ�¨Wµu��±r���W¤�¥e£-¢³���C���i�r�¼�¼¤�¥e£ÊÙ[�?�D�D��±r¨W¤���¥cÁ ' #20�#2:v68#2:X��6w0�!$ATp� *,+ DE#2:<!EY�Ô � ] �M J �?x�M Ô ��� � Á

��L�� ��Á�·§ÁBÙ�²ª��kÛQÁ 1¥iª���µ�Àr¤�¥e£i^<�4«W¨D�¡��Ù��4¤É�²©4�D�¡¥i« �B^<��«W¨D�¡�=���? 6��Æ[ª�µ4 6�¡¥4¨]«[¹�ª�¨rª��iª�«W��Á »¥Í·�¹�¹yQO¦e£�£��¡¨r« G�]>j [ �4¨D¨D�@]­Å�Å¡¤�¥4¢³�BÁ £�¨D��Á ±r�? �Å4z¡Ûe©e©BÅ�¥4¦e£�£��¡¨]«rÅ GpÅ�\DÔ�Æ<¤²ª�¨D�¡¨]«AÛ�µ4Ñ����iª��4¤��D�iÔe��©SÁÌÔ ��� G�Á

���� ��Á[¹O¤��¡¨D¨D�¡�A¤Ì±k� ª¬¥i© ��Á#Ã�¤²±k�iª��²«WÛ�¤ÖÁ Ù[�� 6�iª¬�]ª�¨W¤�¾����q�¡¾?¤­�¡Â:�¬¢{���r����±r¨D��©3Ã-�¡¨D�e�e©e«Ð¢³�?�¶ËS��ª��D¥4¤�¥e£¢³�k��  �XÓ�ª� +�4�­��«�Á »¥ ��Á�Ã�¤²±D�iª��²«WÛ?¤ÖÔp�eÁàÙ#ª��D�B��¥e�r�¼�ßÔ�ª�¥i©M��Á�Ã�¤�¨]±D�e�r�¼�ÖÔ��©?¤�¨D���r«¡Ô�V|0��9r4:<!$7w}@7F0��F!B:X!4Y�Ô¾�����¦e 6� � Ô4�iª�£���« � � J L�� ÁeÃ-���D£�ª¬¥Í·�ª�¦4¢® ¶ª�¥e¥�Æà¦e�4�¼¤Ì«A�e�¡�]«¡Ô Ö¥i±�ÁÌÔ ���L�M Á

����x�� ��Á�¹1¦e�i��«�ª¬¥i© §Á=��ª�¤�¥cÁwÙ��¦i«W¨D�¡�A¤­¥e£3�q��±k�e¥4¤Ì´?¦e��«�]J�q�e��~1«W�¡� � «¯¹O¤¼�­�¡ ¯ªeÁ���0f#2#27��F!���7F�"�FY�!$:<#2:X��!iÔL ] � � j�J � I x Ô �� jKIeÁ

������� ~�Á$^iª�µ�µ4ª�©SÔ$�°ÁiÆX¤Ìª¬¨D�¡¨]«WÛ4µ�Ñ����iª¬�4¤­�k�iÔiª�¥i©-Æ�Á��� °µ4¨D�cÁp^<�k��  ¹�ª�¨]ª§Ã�¤�¥4¤�¥e£¶¨D�¯·1¥e�¿Â½�­��©4£?�°¹O¤²«D±r��¾��¡�Dµ¤�¥y¹�ª�¨]ª¬�iª�«W��«¡ÁSR��HV|0�Yf0�h�:<!$7�Ô � j [oM \]Ô�^iª��¼� ��f IeÁ

������� ]Á=^e�r�¼���¡£�¤°ª�¥i© °Á,��¦e¥�¨k�¡��Á �q�e�¡���Dµ{¢®�����q��±r���]©tËB¤�¥eÛ¿ª�£?��Á�R * 7?�":X�F0�! ' #20�#2:v68#2:X�F0�&SR16F68�?��:X0�#2:X��!���fD4�F!B0�&¼Ôe�iª¬£���« ����LfM J �����?x Ô�¹1��±r�¡ §�i�¡� �� I Á

����M�� Ù�ÁSËÁ)^����D£�µ�ÁOÜ�Æ=�4G�~1«W�¡� � «�øª�¥�¦iª¿�ßÁ��ö��±k�e¥4¤Ì±¡ª¿� �q�¡�i���k¨§Ù#Ã�~�ÑWÙH��Ñ L � Ñ ��M GeÔBÙ#ª¬�D¥e�¡£�¤��6Ã��r�¼����¥�~O¥4¤­Ñ¾��¡�]«»¤�¨Wµ�ÔB��¦4��µ ��fL�� Á

� �

Page 37: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

��� � � ��Á$���¡���k£���Ô4^qÁ ��Á�Æ<�¡¨k�Dµ�Ô4N1ÁeÆ<Á4N�¦i±DÛ?����«¡Ôiª�¥i©���Á$���W¤�Û¿ª¬¥�¨D�cÁ-^e¦eÀ¡À¡µ¶¹�ª¬¨]ª��iª�«W����µp«W¨k�¡ ¶«-J�Ù[�iª��¼���¡¥e£���«ª�¥i©ÇÜ��e�i���D¨k¦e¥4¤­¨A¤­��«+��¢Äª/Q��¡Â �à�]ªeÁ �"!B#27?�"!$0�#2:<�f!B0�&-����DE�"!$0�&=��qi�F!B#27�&X&>: Yf7�!$# ')( 6�#27 * 6 Ô ��� ]�I � J�I�G Ô��� I�Á

��� G � �iÁH�1�iª�¥i©4�¡�iª��W¤�À�ª�©4�¡�cÁP��r ( 68:X�F0�&�.e0�#20E30�6�7�.17�6�: Yf! :X!uV|DE& #2: + �����F7�6F6����w.10�#204350�6�7 ')( 68#27 * 6 ÁÊÆà�i¹¨D�e��«»¤²«¡Ôi¹1�¡�iª¬�D¨D 6�¡¥4¨���¢qÙ[�� 6�e¦e¨k�¡�O��±k¤��¡¥i±r��Ô@~O¥4¤�¾��¡�]«»¤�¨Wµ���¢×ʤ²«D±r�?¥i«»¤�¥�Ñ[øª�©?¤²«W��¥cÔ �?��x Á

��� I � Ã{ÁB���¡�k¥ �ª�¥i©4�¡À°ª�¥i©/�iÁ ��¨D���¼¢®�iÁ[�q�e��Ã-�¡�D£?��ſƦe�D£?��Æ�D���4���¡  ¢³�?�½Ëöª��D£���¹�ª�¨rª��iª�«W��«¡Á »¥������?�"7F7"Af:<!EY�6��q{#XrE7��������URUTSV/d ' ���=V=.�Tp��!9q87?�o7?!B�F7�Ô4Ãyª�µ �?� GeÁ

��� j � ·§Á¿·1¦eÛ?¤²±D�cÁe�ö��±D�e¥4¤²´?¦e��«ö¢³�?� �¦e¨k�� ¶ª�¨W¤²±¡ª��¼��µ6Ù����D�D��±r¨W¤�¥e£�×3���r©e«S¤�¥°�½�rÓp¨�Á�RaTSV Tp� *,+ DE#2:X!4Y ' D4�FZ�7 ( 6¡Ô� � [ � \"] M j�j9J � M� Ô ���f� Á

����L�� Ã{ÁcËS�¡�i��Âq¤�¨DÀ�ÁUQ��?¨�¨D�e�6Æ[ª�¨D�¸¨D��Æ<�¡�]©?¤�¨W¤���¥@]��½�e�a~O¨W¤¼�¼¤�¨Þµ¸��¢ ��¤� §¤¼�̪¬�W¤�¨Þµ4Ñ Nqª�«W��©{ËS��ª��D¥4¤�¥e£iÁ »¥ ������d�"7F7FA�:<!EY�6O� q���#Xr��10�#2:X��!B0�&kTp��!�q�7���7?!B�F71��!�R1�"#2: ��?:<0f&B�F!B#27�&X&>: Yf7�!$�"7�Ô��iª�£���«HG MfM J�G M j4Ô ���L IeÁ

������ °ÁBÃ��?¥e£��Ī¬¥i©¸Ù�Á �<��Û�ª�¥cÁ�1¥ �<È�±k¤­�¡¥4¨�¹1�� ¶ª�¤�¥eÑ ¤�¥i©4�¡�i�¡¥i©4�¡¥4¨ ���£��?�W¤�¨D�e  ¢®����¹1�¡¨D��±r¨W¤�¥e£�1�e�e�D��Ó4¤­Ñ ¶ª�¨D�q¹1¦e�4�¼¤Ì±¡ª¬¨D��¹�ª�¨]ª��iª�«A���q��±r���]©e«¡Á »¥i�=�����F7"7FA�:X!4Y�6S��qH#Xr47�������� ' ���=V�=.���������6Fr4� + ��!a��7�6�7F0�����r�6F68DE7�61��!/.OV��1.ÄÔ��iª�£���« ��M J �� Ô ��� j�Á

����x�� Ù�Á Q�µ4�i�¡�D£BÔc��Á)Nqª��r±k�̪�µ�Ô���ÁöÙ[¾��¡¨]ª�¥e��¾?¤²±�Ô)�eÁ ���rª�µ�ÔSª�¥i©¸¹§ÁiËS�? 6�¡¨�Á ����e�iªE���?�D¨�] � �eٺøª�±k�4¤­¥e������D¨�Á »¥������?�"7F7"Af:<!EY�6O��q;#XrE7���������RaTSV d ' ���=V�=. Tp�f!�q�7���7�!$�"7�Ô��iª�£���« ��MfM J � � � Ô ��� �iÁ

������� �eÁ ��Á�Æ<���¼���p±kÛMª�¥i© °Á��Qª� 6���rªeÁ�1¦e¨D�� ¶ª¬¨W¤²±6«W�i�r�¼�¼¤�¥e£M±r���D�k��±r¨W¤���¥ ¤�¥J«D±k¤��¡¥�¨A¤ÉÒQ±�ª¬¥i© «D±k�e���²ª��W��µ ¨D�rÓe¨�ÁRUTSV Tp� *,+ DE#2:<!EY ' DE�"Z?7 ( 6¡Ô � j [ ��\"] M G L J M I L Ô ���L j�Á

������� ��Á ���¡¥iª�¨D����Ô@�ÐÁ �����²©4�i�¡�k£iÔ �eÁS× ����¨k��¥cÔ §ÁöÙ[��¨D¨W¤�¥4¤ÖÔ §Á ~� ¶ª¬��ÔcÙ1Ác·O�ɤ�¥e£��¡��Ôc×�ÁQËQ�̪¬ ¶ª�«¡Ô<ÃMÁSøª��DÑ�D��¥e��Ôiª¬¥i© ��ÁB× ��¥e£iÁq�q�e�;^ö¤�¥SÙ ��Q ��D¨A¤ÉÒQ±k¤²ª���»¥�¨k�r�É�¼¤�£��¡¥i±r����µe«W¨D�¡ /] Þ©4�¡¥4¨W¤¼¢³µ?¤�¥e£yÆ<��¨k�¡¥�¨W¤²ª���Ã-��¥e�¡µËcª�¦e¥i©4�¡�W¤�¥e£-¢®�D��  �q�¡�B���D¨]«���¢½Ëcª¬�D£��¯Ù#ª�«W�{�c�]ª¬¥i«Dª�±r¨W¤���¥i«¡Á Ö¥u�����?�"7F7"Af:<!EY�6;��qw#Xr47���#Xr Tp�f!�q�7���7�!$�"7��!/�"!B!$��Z�0f#2:<Z?7OR +�+ &>:<�F0�#2:X��!�6;� qOR1�]Ô 1¦e£�¦i«W¨ �?� GeÁ

����M�� � Á ��Áe×{ª�¥e£Íª¬¥i©��iÁ �OÁiøª�©4¥4¤²±DÛSÁ��q�e� »¥�¨k�¡�DÑÖ¹�ª�¨]ª��iª?«W� Ö¥i«W¨rª�¥i±r� Þ©4�¡¥4¨W¤¼ÒQ±¡ª�¨W¤���¥ Æ�D�?�4�­�¡  ¤�¥ Ö¥4¨D�¡Ñ£��]ª�¨A¤­¥e£�1¦e¨D��¥e�? 6��¦i«���µp«W¨k�¡ ¶«¡Á »¥ �������F7F7"A�:X!4Y 6e� qa#XrE7 ' :"!�#Xr �"!$#27��F!B0�#2:X��!B0f&pTp�f!�q�7���7�!$�"7_��!�.10�#20s�!EY�:X!B7F7��F:<!EY�Ô4^��¡�e�D¦iª��Dµ ���Lf Á

� �

Page 38: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� � ����� ����� ����� � ����� � ������� � ��������� ��� ������

"!!$#&%('*) +,#.-0/(#.10243657%(298:).#;-0<>=?%0+,'*).@&A(BC#D@&=;=D%0+,'*)EACFHGI5,JC-KF�@?GILM)ON!QPH-02R+�10#.)S10'I'T=D%0+,'*)U@VGI5C@?G*JC)S1WFHGI5,JC-KF;XZY"<V1[2\1]=_^?`aGI@;<b-]%(5,J7A!�^c10'I'C2\)U#D/]) =?%0+,'*).@03dNcX!b e(f0g*hiDjCk*l mCinf(oEinp0q rdg s:t6sCtujCmCk*lcv&wcgIsCt;vDt?p0i.tcw0gIsCt;x;vug*yclMz{i.lcoEg*vDt?l.iHgIsCt>g_w0|c}i.lcoEg*vDt?l.iV~�gIs,hCf0x;�HsCt_i.� ! m�lUinv?f0s��]w ! m�lUinv?f0s��]}� f�fEk*lcp0sav_gIqagIk*pEi vDvus,vcw]v_gIqagIk*pEi s,p0q\l&vcw(vugIqagIk*p0i p(hCh]i.v&}� f�fEk*lcp0sav_gIqagIk*pEi �.g*t_�Kw(v_gIqagIk*p0i v?t?p(tDlKw(v_gIqagIk*pEi y.gImH}� f�fEk*lcp0sae(l.i.� vugIqagIk*p0i p(hCh]i.lcv&w(e(l.i.� �.k*f(v?l p0m,tuq w

e(lUin� �Uk*f(vDl v?t_s]jCq w0s,f(t �.k*f(v?l(} d!R�,-0#S10'I'T=D%0+,'*)U@S%(5,JC)U#�^&-05C@DG*JC)U#n1:=bG*-05R!b � f0i�r |���v?tDp0i.t&}�|[��sCt_jCmCk*l&vc}O|n����z { b!�+�)U#[email protected],�O+H-0GI57=b@O=�-W="`,)��U�?=b`�=?%0+,'*)�!* m�l.i.v?f0s��$����tujCmCk*lcv&� |_�_} b![�,-0#S10'I'6-]="`,).#�=?%0+,'*).@>GI5C@DG*JC)�=b`,)[FHGI5,JC-KF�3uFH@DGIL0).�?�$=?%0+,'*).@!W8:)U<b-0#.)�="`,)6�.�?="`�=D%0+,'*)UNcX!" � f0i$rdg���|$��]}ag;��|&�;x;v_g*y&l$���g;� �C}ag_���Sz { d![+�).#[email protected]�>+�-0GI57=b@O=_-a="`,)OGI�D="` =?%0+,'*)S!" m6l.i.vDf0s�������t_jCmCk*l&vc� gI�_} d!�PH-02R+�10#.)>+�)U#[email protected]��FHG"="`\+H).#?@n-E5,��!" d!R¡$¢H£6¤S¥9BC5,J]�b@?GI2aGI'*10#?�"@D@?5�@¦!b vugIqagIk*p0i vDvus,v���vDpEq\l v?vus mHrdm�lUinv?f0s��(§¨v?vusHw m,l.i.vDf&s��(§¨v?v_s6w ©�zU} d!R¡$¢H£6¤S¥,^&-02R+�10#.).�"5,1&2\)?@ª!" vugIqagIk*p0i s,p0q\lcv;��&f0qam,p0i.l s,p0q\l&vSr

m�lUinv?f0s��(§�s,pEq\l0wcm6l.i.vDf0s��K§�s,p0q\l0wm�lUinv?f0s��(§ � s,p0qal(w&m�l.i.v?f0s��(§�qagIsCgItcw&m�lUinv?f0s��(§�kIs,p0qal(wm�lUinv?f0s��(§ � s,p0qal(w&m�l.i.v?f0s��(§�qagIsCgItcw&m�lUinv?f0s��(§�kIs,p0qal(wm�lUinv?f0s��(§ � s,p0qal gIsCg*t&w0m�l.i.v?f0s��(§ � s,pEq\l gIsCg*tzU}

d!R¡$¢H£6¤S¥[email protected]\).�"@?@D5C�_105,JK�"5,1&2\)V!" g � r"v_gIqagIk*p0i v?v_s,vO����vugIqagIk*p0i s,p0q\lcv.z {q\lUinoKl tujCmCk*lcv&rdm�l.i.v?f0s«�:w.m�lUinv?f0s��(zU}�&f0sCt_gIs]j,l(}¬ d!R¡$¢H£6¤S¥,^&-02R+�10#.).�_1(J]J]#n)?@?@n)U@H!b vugIqagIk*p0i p(hCh]invS���cfEqam,p0inl p(hCh]i.lcv?vDl&vcrdm�lUiDvDfEs��M§¨v?tus,pcq\lKw

m�lUinv?f0s��(§¨v?t_s,pEq\lMz?} d!�PH-02R+�10#.)S-]="`,).#>B,).'*J]@;-0<>=b`,)�1(JCJ]#.).@?@;!b vugIqagIk*p0i �.g*t_�\��vDpEq\l �.g*t_�7rdm�l.i.v?f0s«�K§¨�.g*t"�(w&m�lUinv?f0s��(§¨�Ug*t_�:zn}vugIqagIk*p0i y.gIm­�®vDpEq\l y.gIm6�cf]hCl(rdm�l?i.vDf0s,�(§¨yUgIm,�cf(hClKw

m�lUinv?f0s��(§¨yUgIm��cfKhClMz?}vugIqagIk*p0i vDt?p(t?l��

r"vDtui.�.qamHrdm�l.i.v?f0s«�K§¨vDt?p0tDlKw.m�lUinv?f0s��(§¨v?tDpKtDl0zH�����zU} d!R¡$¢H£6¤V@&¥,^.'*-0@.).#?�_1(JCJ]#D)U@D@.).@?�_%(@.).�dLcG +C@V105,J! ^U'*-0@.).#?��1KJCJ]#n)U@D@_�?%(@.)?�"@c=_1K=�)U@!b e(lUin� vugIqagIk*p0i p(hCh]i.v;�r"vugIqagIk*p0i p(hCh]i.vV���¯vugIqagIk*p0i �Ug*t_�a���r"v_gIqagIk*pEi v?tDpKtDla°I°(vugIqagIk*p0i yUgIm�zDzU}

"!R¡$¢H£6¤>@c¥\@.102\)U�b@?@?5C��1E5,J]�b1(JCJK#n)U@D@H105,J! @.102\)U�b5,1E2\)?��1E5:J]�_10JCJ]#D).@?@!" g � r?rbvugIqagIk*p0i vDvus,v$°I°]v_gIqagIk*pEi s,p0q\l&vnzT���e(l.i.� vugIqagIk*p0i p(hCh]i.v.z {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f&s��]w.m�lUinv?f0s��(zU}�cf0sCt_gIs]j,l(}¬s,f(t �.k*f(v?l$��Uk*f(vDl � j,t s,f(t qRj,�?±Hr*m6l.i.v_f0s��0§¨v?t_s,p0qal(w

m�lUinv?f0s��(§¨v?tus,p0q²l0z.}g � rdm�lUinv?f0s��(§¨v?t_s]j]q³����m�l.i.v?f0s��(§¨v?t_s]jCqZze(l.i.� �.k*f(v?l v?t_s]jCq4��e(l.i.� �.k*f(v?l s]jCq r*m6l.i.vDfEs«�(§¨v?tus�j]q w

m�l.i.v?f0s��(§¨v?t_s]jCqWzU}l.k*v?le(l.i.� �.k*f(v?l v?t_s]jCq4��´�µO¶�·]�O}g � rdm�lUinv?f0s��(§¨p0m,tuq¸����m�l.i.v?f0s��(§¨p0m,tuqZze(l.i.� �.k*f(v?l p0m,tuq4��e(l.i.� �Uk*f(vDl v?t_i0rdm�l.i.v?f0s��(§¨p0mCt_q w

m�lUinv?f0s��(§¨p0m,tuqZz?}l.k*v?le(l.i.� �.k*f(v?l p0m,tuq4��´�µO¶�·]�O} "!R¡$¢H£6¤>@c¥C^c-02R+�10#.).�_1(JCJ]#?).@?@n)?@?�?%(@n)?�"57%M298�).#?@D�d@c=_1]=b)EA! ^c-02R+�10#.).�_1(J]J]#.)?@D@.).@?�?%M@.).�"5C%(2a8C)?#D@?�"LcG +�^&-(JC)0AM1E5,J! @n102\)U�_1(JCJ]#n)U@D@u��)U¹:^.)n+�="�_^.Gd=Iº!" g � r?rbeKl.i.� �.k*f(v?l vDtus�jCq»����s,f(t �Uk*f(v?l����¯e(lUin� �Uk*f(v?l pEm,t_q

���¯vugIqagIk*p0i �Ug*t_�¼���rbvugIqagIk*p0i v?tDpKtDlR°I°�vugIqagIk*p0i yUgIm�zH����½ vugIqagIk*p0i pKhCh]inv.zS°I°rbvugIqagIk*p0i p(hCh]i.v>���¯eKl.i.� �.k*f(v?l v?t_s]jCq»���e(l.i.� �Uk*f(vDl p0m,tuq»���¯v_gIqagIk*pEi y.gIm�z?z {

e(l.i.� v_gIqagIk*pEi p(hCh]inv;��¾;¿;ÀS�O} b![¡$¢H£6¤>@c¥[email protected]\).�"@?@D5C�_105,JK�_1(J]J]#n)U@_@V105,J! @n1E2\).�"5,102\).�_105CJ]�_10JCJ(#.).@?@;3b10/]10GI5CN�!" g � r"vugIqagIk*p0i vDvus,v$°I°(vugIqagIk*p0i s,p0q\l&vnz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f0s��Kw&m�l.i.v?f0s��(zU}�cf0sCtugIs�j,lK}¬

¬ "!R¡$¢H£6¤O¥�Á0).#uº:�_^.'*-E@n)U�b@u@D5C�_^?'*-0@.)?�_1(J�J]#.)?@?@V!" g � r"v_gIqagIk*pEi p(hCh]i.v;���¸vugIqagIk*p0i v?v_s,v;����½ vugIqagIk*p0i s,p0q\lcv.zg � r"v?p0q\l vDvus mÂrdm�lUinv?f0s��(§¨v?vusHwcm6l.i.vDf0s��K§¨vDvusHwE�KzDz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f0s��Kw&m�l.i.v?f0s��(zU}�cf0sCtugIs�j,lK}¬

"!R¡$¢H£6¤O¥:`,1E#nJ]�_^c1E@n)U�D�;!" g � r"v_gIqagIk*pEi v?v_s,v;���¯e(lUin� vugIqagIk*p0i p(hCh]i.v;���¸vugIqagIk*p0i yUgImZ���vDpEq\l s,p0q\l f0i gIsCg*tug*p0k_rdm�lUinv?f&s��(§ � sCp0qal(w m,l.i.v?fcs��K§ � sCp0q²l0zDz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f&s��]w.m�lUinv?f0s��(zU}�cf0sCt_gIs]j,l(}¬

¬¬¬

ÃÅÄ

Page 39: Real-world Data is Dirty: Data Cleansing and The Merge/Purge ...

� � ����� ����� ��� ��� � ������� � ��������� ��� ������

"!!$#&%('*) +,#.-0/(#.10243657%(298:).#;-0<>=?%0+,'*).@&A(BC#D@&=;=D%0+,'*)EACFHGI5,JC-KF�@?GILM)ON!QPH-02R+�10#.)S10'I'T=D%0+,'*)U@VGI5C@?G*JC)S1WFHGI5,JC-KF;XZY"<V1[2\1]=_^?`aGI@;<b-]%(5,J7A!�^c10'I'C2\)U#D/]) =?%0+,'*).@03dNcX!b e(f0g*hiDjCk*l mCinf(oEinp0q rdg s:t6sCtujCmCk*lcv&wcgIsCt;vDt?p0i.tcw0gIsCt;x;vug*yclMz{i.lcoEg*vDt?l.iHgIsCt>g_w0|c}i.lcoEg*vDt?l.iV~�gIs,hCf0x;�HsCt_i.� ! m�lUinv?f0s��]w ! m�lUinv?f0s��]}� f�fEk*lcp0sav_gIqagIk*pEi vDvus,vcw]v_gIqagIk*pEi s,p0q\l&vcw(vugIqagIk*p0i p(hCh]i.v&}� f�fEk*lcp0sav_gIqagIk*pEi �.g*t_�Kw(v_gIqagIk*p0i v?t?p(tDlKw(v_gIqagIk*pEi y.gImH}� f�fEk*lcp0sae(l.i.� vugIqagIk*p0i p(hCh]i.lcv&w(e(l.i.� �.k*f(v?l p0m,tuq w

e(lUin� �Uk*f(vDl v?t_s]jCq w0s,f(t �.k*f(v?l(} d!R�,-0#S10'I'T=D%0+,'*)U@S%(5,JC)U#�^&-05C@DG*JC)U#n1:=bG*-05R!b � f0i�r |���v?tDp0i.t&}�|[��sCt_jCmCk*l&vc}O|n����z { b!�+�)U#[email protected],�O+H-0GI57=b@O=�-W="`,)��U�?=b`�=?%0+,'*)�!* m�l.i.v?f0s��$����tujCmCk*lcv&� |_�_} b![�,-0#S10'I'6-]="`,).#�=?%0+,'*).@>GI5C@DG*JC)�=b`,)[FHGI5,JC-KF�3uFH@DGIL0).�?�$=?%0+,'*).@!W8:)U<b-0#.)�="`,)6�.�?="`�=D%0+,'*)UNcX!" � f0i$rdg���|$��]}ag;��|&�;x;v_g*y&l$���g;� �C}ag_���Sz { d![+�).#[email protected]�>+�-0GI57=b@O=_-a="`,)OGI�D="` =?%0+,'*)S!" m6l.i.vDf0s�������t_jCmCk*l&vc� gI�_} d!�PH-02R+�10#.)>+�)U#[email protected]��FHG"="`\+H).#?@n-E5,��!" d!R¡$¢H£6¤S¥9BC5,J]�b@?GI2aGI'*10#?�"@D@?5�@¦!b vugIqagIk*p0i vDvus,v���vDpEq\l v?vus mHrdm�lUinv?f0s��(§¨v?vusHw m,l.i.vDf&s��(§¨v?v_s6w ©�zU} d!R¡$¢H£6¤S¥,^&-02R+�10#.).�"5,1&2\)?@ª!" vugIqagIk*p0i s,p0q\lcv;��&f0qam,p0i.l s,p0q\l&vSr

m�lUinv?f0s��(§�s,pEq\l0wcm6l.i.vDf0s��K§�s,p0q\l0wm�lUinv?f0s��(§ � s,p0qal(w&m�l.i.v?f0s��(§�qagIsCgItcw&m�lUinv?f0s��(§�kIs,p0qal(wm�lUinv?f0s��(§ � s,p0qal(w&m�l.i.v?f0s��(§�qagIsCgItcw&m�lUinv?f0s��(§�kIs,p0qal(wm�lUinv?f0s��(§ � s,p0qal gIsCg*t&w0m�l.i.v?f0s��(§ � s,pEq\l gIsCg*tzU}

d!R¡$¢H£6¤S¥[email protected]\).�"@?@D5C�_105,JK�"5,1&2\)V!" g � r"v_gIqagIk*p0i v?v_s,vO����vugIqagIk*p0i s,p0q\lcv.z {q\lUinoKl tujCmCk*lcv&rdm�l.i.v?f0s«�:w.m�lUinv?f0s��(zU}�&f0sCt_gIs]j,l(}¬ d!R¡$¢H£6¤S¥,^&-02R+�10#.).�_1(J]J]#n)?@?@n)U@H!b vugIqagIk*p0i p(hCh]invS���cfEqam,p0inl p(hCh]i.lcv?vDl&vcrdm�lUiDvDfEs��M§¨v?tus,pcq\lKw

m�lUinv?f0s��(§¨v?t_s,pEq\lMz?} d!�PH-02R+�10#.)S-]="`,).#>B,).'*J]@;-0<>=b`,)�1(JCJ]#.).@?@;!b vugIqagIk*p0i �.g*t_�\��vDpEq\l �.g*t_�7rdm�l.i.v?f0s«�K§¨�.g*t"�(w&m�lUinv?f0s��(§¨�Ug*t_�:zn}vugIqagIk*p0i y.gIm­�®vDpEq\l y.gIm6�cf]hCl(rdm�l?i.vDf0s,�(§¨yUgIm,�cf(hClKw

m�lUinv?f0s��(§¨yUgIm��cfKhClMz?}vugIqagIk*p0i vDt?p(t?l��

r"vDtui.�.qamHrdm�l.i.v?f0s«�K§¨vDt?p0tDlKw.m�lUinv?f0s��(§¨v?tDpKtDl0zH�����zU} d!R¡$¢H£6¤V@&¥,^.'*-0@.).#?�_1(JCJ]#D)U@D@.).@?�_%(@.).�dLcG +C@V105,J! ^U'*-0@.).#?��1KJCJ]#n)U@D@_�?%(@.)?�"@c=_1K=�)U@!b e(lUin� vugIqagIk*p0i p(hCh]i.v;�r"vugIqagIk*p0i p(hCh]i.vV���¯vugIqagIk*p0i �Ug*t_�a���r"v_gIqagIk*pEi v?tDpKtDla°I°(vugIqagIk*p0i yUgIm�zDzU}

"!R¡$¢H£6¤>@c¥\@.102\)U�b@?@?5C��1E5,J]�b1(JCJK#n)U@D@H105,J! @.102\)U�b5,1E2\)?��1E5:J]�_10JCJ]#D).@?@!" g � r?rbvugIqagIk*p0i vDvus,v$°I°]v_gIqagIk*pEi s,p0q\l&vnzT���e(l.i.� vugIqagIk*p0i p(hCh]i.v.z {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f&s��]w.m�lUinv?f0s��(zU}�cf0sCt_gIs]j,l(}¬s,f(t �.k*f(v?l$��Uk*f(vDl � j,t s,f(t qRj,�?±Hr*m6l.i.v_f0s��0§¨v?t_s,p0qal(w

m�lUinv?f0s��(§¨v?tus,p0q²l0z.}g � rdm�lUinv?f0s��(§¨v?t_s]j]q³����m�l.i.v?f0s��(§¨v?t_s]jCqZze(l.i.� �.k*f(v?l v?t_s]jCq4��e(l.i.� �.k*f(v?l s]jCq r*m6l.i.vDfEs«�(§¨v?tus�j]q w

m�l.i.v?f0s��(§¨v?t_s]jCqWzU}l.k*v?le(l.i.� �.k*f(v?l v?t_s]jCq4��´�µO¶�·]�O}g � rdm�lUinv?f0s��(§¨p0m,tuq¸����m�l.i.v?f0s��(§¨p0m,tuqZze(l.i.� �.k*f(v?l p0m,tuq4��e(l.i.� �Uk*f(vDl v?t_i0rdm�l.i.v?f0s��(§¨p0mCt_q w

m�lUinv?f0s��(§¨p0m,tuqZz?}l.k*v?le(l.i.� �.k*f(v?l p0m,tuq4��´�µO¶�·]�O} "!R¡$¢H£6¤>@c¥C^c-02R+�10#.).�_1(JCJ]#?).@?@n)?@?�?%(@n)?�"57%M298�).#?@D�d@c=_1]=b)EA! ^c-02R+�10#.).�_1(J]J]#.)?@D@.).@?�?%M@.).�"5C%(2a8C)?#D@?�"LcG +�^&-(JC)0AM1E5,J! @n102\)U�_1(JCJ]#n)U@D@u��)U¹:^.)n+�="�_^.Gd=Iº!" g � r?rbeKl.i.� �.k*f(v?l vDtus�jCq»����s,f(t �Uk*f(v?l����¯e(lUin� �Uk*f(v?l pEm,t_q

���¯vugIqagIk*p0i �Ug*t_�¼���rbvugIqagIk*p0i v?tDpKtDlR°I°�vugIqagIk*p0i yUgIm�zH����½ vugIqagIk*p0i pKhCh]inv.zS°I°rbvugIqagIk*p0i p(hCh]i.v>���¯eKl.i.� �.k*f(v?l v?t_s]jCq»���e(l.i.� �Uk*f(vDl p0m,tuq»���¯v_gIqagIk*pEi y.gIm�z?z {

e(l.i.� v_gIqagIk*pEi p(hCh]inv;��¾;¿;ÀS�O} b![¡$¢H£6¤>@c¥[email protected]\).�"@?@D5C�_105,JK�_1(J]J]#n)U@_@V105,J! @n1E2\).�"5,102\).�_105CJ]�_10JCJ(#.).@?@;3b10/]10GI5CN�!" g � r"vugIqagIk*p0i vDvus,v$°I°(vugIqagIk*p0i s,p0q\l&vnz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f0s��Kw&m�l.i.v?f0s��(zU}�cf0sCtugIs�j,lK}¬

¬ "!R¡$¢H£6¤O¥�Á0).#uº:�_^.'*-E@n)U�b@u@D5C�_^?'*-0@.)?�_1(J�J]#.)?@?@V!" g � r"v_gIqagIk*pEi p(hCh]i.v;���¸vugIqagIk*p0i v?v_s,v;����½ vugIqagIk*p0i s,p0q\lcv.zg � r"v?p0q\l vDvus mÂrdm�lUinv?f0s��(§¨v?vusHwcm6l.i.vDf0s��K§¨vDvusHwE�KzDz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f0s��Kw&m�l.i.v?f0s��(zU}�cf0sCtugIs�j,lK}¬

"!R¡$¢H£6¤O¥:`,1E#nJ]�_^c1E@n)U�D�;!" g � r"v_gIqagIk*pEi v?v_s,v;���¯e(lUin� vugIqagIk*p0i p(hCh]i.v;���¸vugIqagIk*p0i yUgImZ���vDpEq\l s,p0q\l f0i gIsCg*tug*p0k_rdm�lUinv?f&s��(§ � sCp0qal(w m,l.i.v?fcs��K§ � sCp0q²l0zDz {q\l.i.o(l t_jCmCk*l&vcrdm�lUinv?f&s��]w.m�lUinv?f0s��(zU}�cf0sCt_gIs]j,l(}¬

¬¬¬

��