Controle de Concorrência e Consistência Otimista – Operational Transformation
description
Transcript of Controle de Concorrência e Consistência Otimista – Operational Transformation
Controle de Concorrência e Consistência Otimista –
Operational Transformation
Lucas Augusto Scotta [email protected]
2
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
3
Introdução Autoria distribuída
Porque? Pessoas com um interesse em comum compartilhando
um documento. Agilidade e comodidade. Ganho da produção.
Problemas Necessidade de manter o documento atualizado e
consistente. Permitindo colaboração (no lock). Minimizando tempo de resposta e visualizações não
atualizadas.
4
Introdução(cont.) Controle de Concorrência e Consistência:
Pessimista. supõe que sempre ocorre conflito entre alterações;
bloqueio (locking) Otimista.
Supõe que não haverão muitos conflitos, mas se houver, uma forma de se recuperar será executada.
Operational Transformation.
5
Introdução (cont.) Comumente, a edição textual colaborativa
usa uma estrutura linear, com as seguintes operações: insert(p; c) - inserts character c at position p; delete(p) - deletes the character at position p;
Algumas definições para o melhor entendimento das abordagens para manter consistência:Relação de
ordem causal.
O1 -> O2
Operações concorrentes.
O1 || O2
6
Introdução (cont.) Há dois modos básicos para o merge das
informações. Baseado em estado (todo o documento deverá
ser trocado). Ex. CVS e SVN.
Onde o usuário é o auditor de conflitos. Baseado em operações (msg com operações são
trocadas). Melhor para resolver conflitos. Histórico das operações.
7
Introdução (cont.) Problemas genéricos de inconsistência:
divergência, violação de causalidade e, violação de intenção.
8
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
9
Protocolos sociais para mediação Segue a ideia que as pessoas conversam
entre si (chat, vídeo) para resolver os problemas.
Todos podem editar qualquer parte do objeto compartilhado.
Os 3 problemas citados acima, não são tratados por essa forma. Conflitos são descobertos, mas não tratados.
10
Optimistic locking Ao se solicitar o bloqueio inicia-se a edição.
Se negada, volta ao estado inicial. O que pode confundir o usuário.
Se permitido, continua a edição. Alto custo para implementação e possível
confusão devido a negação de aquisição dos locks.
11
Serialisation Executa a ordem das operações de forma
serial. Isto é, uma operação só pode ser executada
somente após todas operações precedentes a ela tiverem sido executadas.
Exemplo: Supondo que haja três operações que possuem ordem
causal, O1, O2 e O3. Se a ordem de operação é: O2->O1->O3, esta técnica
garante que nos sites participantes essa ordem não será alterada.
12
Multi-versioning Abordagem que tenta executar todos os
efeitos das operações de um objeto em comum em formas de versões.
Preservando a intenção do usuário e violação de causalidade. SVN, CVS,... .
13
Multi-versioning (cont.) A desvantagem dessa técnica é que não há
correlação entre as diferentes versões do mesmo objeto e do objeto base. Não ficando claro no fim da edição qual é a
versão correta. Gerando conflitos no final da edição se mais de
um usuário tentar resolvê-los.
14
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
15
Operational transformation (OT) Ellis et al, em 1989 propõem a utilização de
uma técnica diferente em seu sistema, GROVE (GRoup Outline Viewing Edit): OT. Sub-área de pesquisa há mais de 2 décadas no
contexto de edição em grupo. Mecanismo que mantém consistente as
cópias de objetos de uma forma otimista. Usuário alteram sua cópia localmente e recebem
/enviam alterações que devem ser transformadas e executadas nas cópias remotas.
16
Operational transformation (cont.) Abordagem mais apropriada para
arquitetura de sistema de edição colaborativa na qual a consistência das cópias compartilhada é algo que deve apresentar um bom tempo de resposta. A operação é executada imediatamente
localmente e depois são geradas as alterações que serão enviadas para as cópias remotas, onde serão transformadas e aplicadas.
Transformações são executadas de forma que a intenção do usuário seja preservada e ao final que as cópias convirjam.
17
Operational Transformation (cont.) Sua forma não bloqueante, faz que o tempo
de resposta seja quase o mesmo da latência de transmissão entre redes.
Seu uso é particularmente uma ótima escolha para autoria colaborativa na Web e no contexto da Internet.
18
Operational transformation (cont.)
19
Operational transformation (cont.)
20
Operational transformation (cont.) Abordagem baseada em operações. Para capturar as relações causais entre as
operações, foi criado um vetor baseado no esquema timestamping, chamado de vetor de estados (SV).
21
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
22
Modelos de consistência CC: Propriedade de Precedência (Causalidade):
assegura a execução das operações dependentes durante o processo de colaboração A relação causal entre as duas operações é
definida como relação de Lamport "happened-before".
Convergência: assegura que ao final da edição compartilhada os documentos são idênticos em todos os sites. O state-vector é usado para preservar a propriedade de precedência.
23
Modelos de consistência CCI: Proposto como um framework mais geral,
onde as seguintes propriedades devem ser seguidas: Preservação de Causalidade: mesmo do CC Convergência: mesmo do CC. Preservação de Intenção: assegura que o efeito
da execução da operação em qualquer site seja o mesmo.
24
Modelos de consistência CSM: Após estudos, foi formalizado um modelo
mais conciso que o modelo CCI: Causalidade: mesmo que CC. Single-operation effects: o efeito de executar
qualquer operação em qualquer estado de execução, atinge o mesmo efeito no seu estado de geração.
Multi-operation effects: a relação dos efeitos de quaisquer duas operações são mantidas depois que ambas são executados em quaisquer estados .
25
Modelos de consistência CA CSM, requer que a ordem total dos objetos
envolvidos sejam especificadas. Essa ordem deve ser mantida nas funções de
transformação e nos procedimentos, o que aumenta a complexidade de tempo e espaço do algoritmo.
CA é baseado na Teoria de Admissibilidade.
26
Modelos de consistência CA (cont.) Duas condições devem ser satisfeitas:
Causalidade: a mesma do CC. Admissibilidade: A invocação de cada operação é
admissível no seu estado de execução, ou seja, cada invocação não deve violar qualquer relação com os efeitos (ordenação de objeto) que tenham sido estabelecido por invocações anteriores.
27
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
28
Estrutura de um sistema de OT
29
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
30
Funções em OT Inclusion Transformation: IT(Oa, Ob) ou
T(op1,op2), a qual transforma uma operação Oa contrastando-a há uma outra operação Ob, de tal forma que o impacto do Ob é efetivamente incluído em Oa.
Exclusion Transformation ET(Oa, Ob) ou T− 1(op1,op2), a qual transforma uma operação
Oa contrastando-a há uma outra operação Ob, de tal forma que o impacto do Ob é efetivamente excluído de Oa.
31
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
32
Propriedades de Transformação Propriedade de Convergência
CP1/TP1: para cada par de operações concorrentes op1 e op2, definidas no mesmo estado(contexto), a função de transformação T, satisfaz as propriedades TP1 sse:
onde denota a sequencia de operações contendo opi seguido por opj, e onde denota a equivalência das duas sequencias de operações.
33
Propriedades de Transformação (cont.) Pré-requisito:
CP1/TP1 é necessária apenas se o sistema OT permitir que qualquer duas operações sejam executadas em ordens diferentes.
34
Propriedades de Transformação (cont.) CP2/TP2: Para cada três operações
concorrentes, op1, op2 e op3, definidas no mesmo estado do documento, a função de transformação T satisfaz as propriedades de CP2/TP2 sse:
35
Propriedades de Transformação (cont.) CP2/TP2 estabelece a igualdade entre duas
operações transformadas no que diz respeito a duas sequencias equivalentes de operações: a transformação de op3 contrastando a sequencia de operação op2 seguido por T (op1, op2) devem obter a mesma operação como a transformação de op3 contrastando a sequencia formada por op1 e T(op2, op1).
36
Propriedades de Transformação (cont.) Pré-requisitos:
CP2/TP2 é requerido se o sistema de OT permite que duas operações op1 e op2 sejam transformadas (IT) em dois estados diferentes do documento ou contexto.
37
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
38
dOPT (distribtuted Operational Transformation) Cada site mantém um history buffer (HB)
com todas operações que já foram executadas no site. Quando uma operação remota é recebida e não
é causally ready (interfere em outra), ela é enfileirada no HB. No caso de ser, ela é sequencialmente transformada em operações concorrentes no HB.
Entretanto este algoritmo, não funciona bem quando transformações têm de ser executadas entre duas operações que não são do mesmo contexto.
39
dOPT (cont.) Preservação de causalidade é obtida pelo
uso de vetores de estado. Convergência não é conquistada. Como na maioria das abordagem de OT,
preservação de intenção não é explicitamente definida, mas é incluída nas funções de transformação.
40
GOT (Generic Operation Transformation)
Estende a abordagem dOPT. A ordenação causal determina uma ordem
somente entre as operações precedentes, a ordem da execução de operações concorrentes são arbitrárias.
A ordenação entre as operações é usada para assegurar a convergência de operações concorrentes.
41
GOT (cont.) A ordem total entre as operações é definida
como a soma dos elementos do vetor de estados (SV).
Por exemplo, a O1 precede em ordem total a operação O2 se a soma dos elementos do vetor de estados associado com O1 é menor que a soma do vetor de estados associados a O2, ou as somas serem iguais, mas o identificadores do site onde O1 foi gerado é menor que o identificador onde a operação O2 foi gerada.
42
GOT (cont.) Baseado no ordenamento total entre as
operações, esquemas de undo/-do/redo foram definidos.
Os dois tipos de transformação usados, IT e ET são reversíveis.
43
GOT (cont.) Preservação de causalidade é obtida pelo
uso de vetores de estado. Convergência é alcançada a partir da
ordenação causal. Como na maioria das abordagem de OT,
preservação de intenção não é explicitamente definida, mas é incluída nas funções de transformação.
44
GOT(O) Versão otimizada do GOT. Aplica o mesmo algoritmo usado em SOCT2.
Quando uma operação remota é recebida, e esta precisa ser integrada ao HB, este é reordenado de tal maneira que as operações que precedem a operação remota fiquem situadas no HB antes das operações que são concorrentes dessas operações remotas.
Depois disso, as operações remotas devem ser transformadas de encontro as operações concorrentes a ela.
45
GOT(O) (cont.) Preservação de causalidade é obtida pelo
uso de vetores de estado. Convergência: Condition C1 e Condition C2 Preservação de intenção Inclusion
Transformation e Exclusion Transformation
46
SOCT2 Faz parte da classe de algoritmos que
seguem a linha do dOPT. Seja s o estado do objeto e O uma
operação, definimos como s.O o novo estado após a execução de O em s.
A intenção que é realizada pelo operação O em s, é denotada como: intention(O, s).
47
SOCT2 (cont.) A função de transformação que modifica O2
contrastando-a com outra operação é indicada como: O1 : O2
O1, a qual é definida sobre o estado resultante da execução de O1 e concretizando a intenção como em O2.
48
SOCT2 (cont.) Condição C1
Garante que o estado resultante após a transformação de duas operações concorrentes não dependem da ordem na qual as operações são executadas.
Tomando O1 e O2 duas operações concorrentes definidas em um mesmo estado, a transposição “forward” (IT) verifica C1, sse:
49
SOCT2 (cont.) Condição C2
Visa tornar a transformação de uma operação com uma sequencia de operações independente da ordem das operações em sequencia.
Dado O1, O2 e O3, a transposição “forward” verifica C2, sse:
50
SOCT2 (cont.) Site1, O1 ->O2 Site2, O3 é gerado concorrentemente. No site2, quando O1 chega, é contrastada com O3, porque O1 e O3 tem o mesmo estado de geração, sendo o resultado Mas, quando O2 chega no Site2, ela não pode ser contrastada usando transpose_fd com O3,como feito com O2 e O3 pois não possui o mesmo estado de geração. O estado geração de O2 inclui a execução deoperação O1, O3, enquanto a operação não sabe sobre a execução da operação O1.
51
SOCT2 (cont.) A fim de lidar com esses casos, uma outra
função chamada transposição transpose_bk foi definida.
52
SOCT2 (cont.) Em cada local S envolvidos na colaboração,
é mantido uma cópia local do documento e um HB que consiste de uma sequencia de n operações realizadas na cópia local do documento.
As operações no HS(n) são ordenados de acordo com sua ordem de execução. Quando uma operação local é gerada, é simplesmente anexada ao HB.
53
SOCT2 (cont.) Quando uma operação remota chega a um
site, é verificado se é conflitante ou não. Se a operação não é conflitante, é adicionada a uma fila e executada quando torna-se conflitante, isto é, todas as operações que precedem forem executadas.
54
SOCT2 (cont.) Integração das operações conflitantes ao
HB: A primeira etapa do processo de integração
consiste na reordenação do HB de tal forma que todas as operações que são causalmente precedente à operação remota, venham antes das operações que são concorrentes para a operação remota no HB.
O segundo passo no mecanismo de integração, consiste em transmitir a transformação da operação remota de acordo com a sequencia de operações concorrentes.
55
SOCT2 (cont.) Preservação de causalidade é obtida pelo
uso de vetores de estado. Convergência: Condition C1 e Condition C2 Preservação de intenção: Forward
Transformation e Backward Transformation
56
treeOPT Representa os documentos em forma de
árvore, aplicando mecanismos de transformação operacional recursivamente sobre os diferentes níveis do documento.
Mantém o histórico distribuído pela árvore, quando há uma operação a ser transformada, apenas aquele caminho é varrido e não o histórico como um todo, reduzindo-se a complexidade.
57
treeOPT (cont.) Cada site armazena uma cópia local da
estrutura hierárquica do documento compartilhado.
Cada nó (excluindo os nós folhas) mantém um histórico de operações de inserções e deleções associadas com os nós filhos.
58
treeOPT (cont.) Finalmente a nova operação é enviada para
todos os outros sites, e marcada no vetor de estados.
Após receber uma operação remota, o site receptor irá testá-la para ver se é causally ready.
Se a operação não é causally ready, ela será colocada na fila, caso contrário, ela será transformada e então executada.
59
treeOPT (cont.) A operação remota deve ser transformada
contrastando as operações anteriores, as quais estão mantidas no HB. GOT ou SOCT2
Cada nó de uma sub-árvore, ao ser inserida, contém este histórico (HB) vazio. Ao se gerar a operação de composição, a mesma é executada no site imediatamente. A operação é então gravada no HB associando
seus nós pai de inserção ou deleção.
60
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
61
Exemplo treeOPT
62
Exemplo treeOPT (cont.)
63
Exemplo treeOPT (cont.)
64
65
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT Exemplo com treeOPT
Conclusão
66
Conclusão OT é uma técnica muito eficaz no controle
de controle de concorrência e consistência otimista principalmente para internet/web.
Os principais algoritmos estudados conseguem resolver os problemas de inconsistência.
Dependendo do problema somente o uso de OT (ou qq outra abordagem otimista) não é eficaz, sendo necessário o uso de uma abordagem pessimista.
67
Questões... OT tem sido usado para edição em tempo
real para autoria colaborativa. Quem necessita realmente de editores em tempo real?
Funções de Transformação são difíceis de se desenvolver e prova.
O que é realmente são as intenções?
68
Agenda Introdução Resolução de conflitos de forma otimista
OT Modelos de consistência Estrutura de um sistema de OT Funções em OT Propriedades de Transformação Algoritmos para OT
Exemplo com treeOPT Conclusão
69
Referências http://en.wikipedia.org/wiki/Operational_transformation Customizable Collaborative Editor Relying on treeOPT Algorithm - Claudia-
Lavinia Ignat and Moira C. Norrie C. A. Ellis, e C. Sun, “Operational Transformation in Real-Time Group Editors:
Issues, Algorithms, and Achievements”, Proceedings of the 1998 ACM conference on Computer supported cooperative work, p.59-68, November 14-18, 1998, Seattle, Washington, United States.
C. L. Ignat, “Maintaining Consistency in Collaboration over Hierarchical Documents”, Tese apresentada ao "Swiss Federal Institute Of Technology Zurich", Switzerland, Julho de 2006
Uwe M. Borghoff, Johann H. Schlichter “Computer-Suppor ted Cooperative Work: Introduction to Distributed Applications” Springer Verlag ,2000. ISBN: 9783540669845.
Li, D., Li R. “Preserving Operation Effects Relation in Group Editors”, Proceedings of the 2004 ACM conference on Computer supported cooperative work table of contents.
70
Obrigado!