Mediátor - home.mit.bme.huhome.mit.bme.hu/~strausz/KomplexMIalkalmazások/Előadások/2....

2

Szolgáltatások

Web lapok

Strukturált adatok

Szenzorok(soros adatok)

Végrehajtás

Forrás fúzionálás/Lekérdezés

tervezés

Forrás leírás

Válasz

Monitor

Mediátor

3

Szolgáltatáso

Weblapok

Strukturáltadatok

Szenzorok(sorosadatok)

VégrehajtásKezel: forrás és hálózati

kapcsolatokat, futtatási

bizonytalanságokat,újratervezést

Forrás fúzionálás Lekérdezés tervezés

Számos cél együttese,Szolgáltatások kompozíciója,

Forrás minőség, átfedés

Forrás leírásOntológiák,Forrás és

szolgáltatás leírások

Válasz

Teszt lekérdezések

Monitor

• Felhasználói lekérdezések megfogalmazása a mediált sémán.

• Adatok tárolva lokális sémában.

• A tárolt információ (tartalom) ismerete alapján megfogalmazható a leképezés a sémák között.

• A mediátor alkalmazza a leképezést a felhasználói kérdés lefordítására a forrás lekérdezésekre.

Információmenedzser

4




Forrás fúzionálás Lekérdezés tervezés





Válasz


Monitor

Tudásreprezentáció- Ontológiák- Metaadatok- Következtetés- Lekérdező nyelvekAutomata tervezés

-Nyelvek tervezése-Szolgáltatások kompozíciója-Reaktív tervezés/

terv monitorozás

Tanulás/bányászás-Forrás felkutatás-Forrás statisztikák-Wrapper tanulás

Hol az MI szerepe?

Forrás leírások Minden meta‐adat információt

tartalmaz Forrás tartalom logikai leírása(könyvek, új autók).

Forrás képességek (pl. SQL lekérdezés feltehető)

Forrás teljesség (minden könyvet tartalmaz).

Fizikai jellemzők (forrás, hálózat). Statisztikák az adatokról Source reliability

Tükör források Frissítési frekvencia.

5

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok





Forrás fúzionálásLekérdezés tervezés





Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor

Statisztikák frissítése


Lekérdezé

s

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok


Szolgáltatások

Weblapok

Strukturáltadatok










Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor










Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor



Forrás elérések Hogyan kapunk n‐eseket

Számos forrás strukturálatlan adatokat ad Néhány inherensen strukturálatlan, mások természetes nyelvi köntösben vannak

Vissza kell csomagolni az adatokat Wrapper építés/információ kinyerés Kézi munka/fél‐automatikus

6

Forrás fúzió/ lekérdezés tervezés Feldolgozza a felhasználói lekérdezést és

előállítja a végrehajtási tervet Költség és hatékonyság közti optimalizáció

Forrás elérési korlátok kezelése Információ a forrásminőségről

7

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok










Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor



Lekérdezé

s

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok


Szolgáltatások

Weblapok

Strukturáltadatok










Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor










Újratervezési

kérések

Prefere

nciák

/Eléé

rsimod

ell

Válasz


Forrá

s elér

ések

Monitor



Monitoring/ Végrehajtás Lekérdezési terv alapján elvégzi a

feladatot a forrásokon Forrás késleltetések kezelése Hálózati, tranziens kimaradások Forrás elérési korlátok Szükséges lehet újratervezések elvégzése

8

QueryQuery

Services

Webpages

Structureddata

Sensors(streamingData)

Services

Webpages

Structureddata


ExecutorNeeds to handleSource/network

Interruptions,Runtime uncertainty,

replanning

Source Fusion/Query Planning

Needs to handle:Multiple objectives,Service composition,

Source quality & overlap

Source TrustOntologies;

Source/ServiceDescriptions

Replanning

Requests

Prefere

nce/U

tility

Model

Answers

ProbingQueries

Sour

ce C

alls

Monitor

Updating Statistics

Méretek figyelembe vétele Hány forrást kell elérni? Mennyire autonómok ezek? Van ismeretünk a forrásokról? Strukturáltak az adatok? Csak lekérdezés lehetséges vagy módosítás is? Követelmények: pontosság, teljesség, teljesítmény, inkonzisztenciák kezelése

Zárt vagy nyílt világ feltételezés?

9

Deduktív adatbázisok Relációkat predikátumokkal írjuk le. Relációk közti relációkat datalog szabályokkal írjuk le (Horn klózok, függvényszimbólumok nélkül) Lekérdezések megfelelnek egy datalog programnak

Emprelated(Name,Dname) :‐ Empdep(Name,Dname)

Emprelated(Name,Dname) :‐ Empdep(Name,D1), Emprelated(D1,Dname)

10

Kis forrás szám melletti integráció Általában ad‐hoc programozás:

speciális eset megvalósítása minden esetre, sok konzultáció.

Adattárházak: minden adat periódikus feltöltése az adattárházba. 6‐18 hónap bevezetési idő Operációs és

döntéstámogatási RDBMS elválasztás. (nem csak adatintegrációra megoldás).

Teljesítmény jó, adat lehet, hogy nem friss;. Rendszeres adattisztítás

szükséges.

Adat-forrás

Adat-forrás

Adat-forrás

Relációs adatbázis (tárház)

Felhsználóilekérdezések

Adat kinyerőprogramok

Adat tisztítás

OLAP / Döntéstámogtás/Adatkockák/ Adatbányászat

Adat-forrás

Adat-forrás

Adat-forrás


Felhsználóilekérdezések

Adat kinyerőprogramok

Adat tisztítás


11

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok










Újratervez ési

kérések

Prefe

renc

i ák/E

léérsi

modell

Válasz


Forrá

s elér

ések

Monitor

Statisztik ák friss ítése


Lekérdezé

s

Lekérdezé

s

Szolgáltatások

Weblapok

Strukturáltadatok


Szolgáltatások

Weblapok

Strukturáltadatok










Újratervez ési

kérések

Prefe

renc

i ák/E

léérsi

modell

Válasz


Forrá

s elér

ések

Monitor










Újratervez ési

kérések

Prefe

renc

i ák/E

léérsi

modell

Válasz


Forrá

s elér

ések

Monitor



Integrátor séma

12

Adat-forrás

Adat-forrás

Adat-forrás


Felhasználóilekérdezések

Adat kinyerő programok

Adat tisztítás


Virtuális integrációs séma Adatok a forrásokban

maradnak Lekérdezés végrehajtásakor:

Releváns források meghatározása

Lekérdezés szétválasztása forrásokra vonatkozó lekérdezésekre.

Válaszok begyűjtése a forrásokból, és megfelelő kombinálása a válasz előállításához.

Friss adatok A megoldás skálázható

QueryQuery

Services

Webpages

Structureddata


Services

Webpages

Structureddata



Interruptions,Runtime uncertainity,

replanning






Replanning

Requests

Prefere

nce/U

tility

Model

Answers

ProbingQueries

Sour

ce C

alls

Monitor

Updating StatisticsExecutor

Needs to handleSource/network


replanning






Replanning

Requests

Prefere

nce/U

tility

Model

Answers

ProbingQueries

Sour

ce C

alls

Monitor

Updating Statistics

13

Garlic [IBM], Hermes[UMD];Tsimmis, InfoMaster[Stanford]; DISCO[INRIA]; Information Manifold [AT&T]; SIMS/Ariadne[USC];Emerac/Havasu[ASU]

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:

Felhasználói lekérdezésMediált (globális)séma

Adatforráskatalógus

Fordító motor

Optimalizáló

Végrehajtó gép

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

Virtuális integrátor architektúra

14

Források: relációs adatbázisok, weblapok, szövegek.

QueryQuery

Services

Webpages

Structureddata


Services

Webpages

Structureddata




replanning






Replanning

Requests

Prefere

nce/U

tility

Model

Answers

ProbingQueries

Sour

ce C

alls

Monitor

Updating StatisticsExecutor

Needs to handleSource/network


replanning






Replanning

Requests

Prefere

nce/U

tility

Model

Answers

ProbingQueries

Sour

ce C

alls

Monitor

Updating Statistics

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

Projektek

Garlic (IBM), Information Manifold (AT&T) Tsimmis, InfoMaster (Stanford) The Internet Softbot/Razor/Tukwila (UW) Hermes (Maryland) DISCO (INRIA, France) SIMS/Ariadne (USC/ISI) Emerac/Havasu (ASU) BibFinder (ASU)

15

Forrás‐mediátor relációs sémával szembeni elvárások Kifejező erő: hasonló

adattartalommal rendelkező források megkülönböztetése, irreleváns források felismerése.

Egyszerű bővíthetőség: tegyük könnyűvé források hozzáadását.

Fordítás/átalakítás: felhasználói lekérdezés lefordítása forrásokon értelmezett lekérdezésekre hatékonyan és eredményesen.

Vesztességmentesség: minden lehetséges adatelérés biztosítása

16

Lekérdezés átalakítás

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

• Adott:– Egy Q lekérdezés a mediátor sémára

vonatkozóan– Adat források leírása

• Létrehozandó:– Egy Q’ lekérdezés az adat forrásokra

vonatkozóan, amely:• Q’ csak helyes válaszokat ad a Q lekérdezéshez és• Q’ minden lehetséges választ megtalál Q-hoz az

elérhető forrásokból.

Fordítási/átfogalmazási probléma

Adott: Egy Q lekérdezés a mediátor sémára vonatkozóan

Adat források leírása Létrehozandó:

Egy Q’ lekérdezés az adat forrásokra vonatkozóan, amely: Q’ csak helyes válaszokat ad a Qlekérdezéshez és

Q’ minden lehetséges választ megtalál Q‐hoz az elérhető forrásokból.

17

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

Adatforrás

wrapper

Adatforrás

wrapper

Adatforrás

wrapper

Mediátor:



Fordító motor

Optimalizáló

Végrehajtó gép

Forrás és felhasználói sémák reláció leírásának megközelítései

Globális mediált sémák(Global‐as‐view,GAV): a mediált séma kifejezése a forrásokra vonatkozó nézetek relációjaként

Lokális mediált sémák (Local‐as‐view, LAV):forrás relációk kifejezése a mediált sémákon értelmezett relációkkal.

Módszerek kombinációja…?

18

Virtual vsMaterialized

“Nézet” frissítésCREATE VIEW Seattle-view AS

SELECT buyer, seller, product, storeFROM Person, PurchaseWHERE Person.city = “Seattle” AND

Person.name = Purchase.buyer

A nézet felhasználása:

SELECT name, storeFROM Seattle-view, ProductWHERE Seattle-view.product = Product.name AND

Product.category = “shoes”

Mintapélda Egy mediátor egy film adatbázishoz

Információk szolgáltatása filmekről, illetve mozi programról

19

Globális mediált nézetGAV (Global‐As‐View)

Mediált/felhasználói séma:Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

Create View Filmek ASselect * from S1 [S1(cím, rendező, év, típus)]unionselect * from S2 [S2(cím, rendező, év, típus)]union [S3(cím,rendező), S4(cím,év,típus)]select S3.cím, S3.rendező, S4.év, S4.típusfrom S3, S4where S3.cím=S4.cím

20

Mediált séma kifejezésea forrásokra vonatkozó nézetek relációjaként.

GAV

21


A mediátor séma relációk virtuális nézetek a forrásrelációkon.


Create View Filmek ASselect * from S1 [S1(cím, rendező, év, típus)]unionselect * from S2 [S2(cím, rendező, év, típus)]union [S3(cím,rendező), S4(cím,év,típus)]select S3.cím, S3.rendező, S4.év, S4.típusfrom S3, S4where S3.cím=S4.cím

GAV: példa 2.Mediált/felhasználói séma:

Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

Create View Filmek ASselect * from S1 [S1(cím,rendező,év)]select cím, rendező, év, NULL from S1union [S2(cím, rendező,típus)]select cím, rendező, NULL, típusfrom S2

22

Null értékek


GAV: példa 2.Mediált/felhasználói séma:Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

Forrás S4: S4(mozi, típus)

23

Create View Filmek AS

select NULL, NULL, NULL, típus

from S4

Create View Műsor AS

select mozi, NULL, NULL

from S4.

De mit lehetne tenni, ha minket a vígjátékokat játszó mozik érdekelnének?


LAV: példa 1Mediált/felhasználói séma:Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

24

S1(cím, rendező, év, típus)

S3(cím, rendező)

S5(cím, rendező, év), év >1960

Create Source S1 AS

select * from Filmek

Create Source S3 AS

select cím, rendező from Filmek

Create Source S5 AS

select cím, rendező, év

from Filmek

where év > 1960 AND típus=“vígjáték”A források “materializált nézetek” a mediált sémák felett.

Forrás séma kifejezésea mediált nézeteken értelmezett relációkként.

LAV: példa 1Mediált/felhasználói séma:Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

25

Forrás séma kifejezésea mediált nézeteken értelmezett relációkként.

S4(Mozi,Típus)Create Source S4 AS

select mozi, típus

from Filmek m, Műsor s

where m.cím=s.címVan remény a vígjátékokat játszó mozik felderítésére!

GAV vs. LAVMediált séma:

Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő).

Create View Filmek AS

select NULL, NULL, NULL, típus

from S4

Create View Műsor AS

select mozi, NULL, NULL

from S4.

De mit lehetne tenni, ha minket a vígjátékokat játszómozik érdekelnének?

26

Forrás S4: S4(mozi, típus)

Veszteséges mediáció

Create Source S4 AS

select mozi, típus

from Filmek m, Műsor s

where m.cím=s.cím

GAV vs. LAV Nem moduláris

Források hozzáadása módosítja a meglévő mediált séma definícióját

Nehézkes lehet veszteségmentes mediátort készíteni.

Lekérdezés átalakítás egyszerű Nézetek kibontását jelenti

(polinomiális) Hierarchikus mediátor sémák

létrehozása lehetséges

Hatékony, ha Kis számú, ritkán változó

adatforrás van Feladat teljesen ismert a

mediátor tervezésekor (pl. vállalati adatintegráció) Garlic, TSIMMIS, HERMES

Moduláris—új forrás hozzáadása egyszerű

Igen rugalmas – a lekérdező nyelv közvetlenül alkalmazható a források leírására

Lekérdezés átalakítás bonyolult Válaszokat a nézeteken

keresztül kell előállítani (nem mindig megoldható)

Hatékony, ha Sok, kevéssé korrelált forrás Források dinamikus

hozzáadása és törlése Information Manifold,

InfoMaster, Emerac, Havasu

27

Lokális mediált nézetek átalakítása Adott nézetek egy halmaza V1,…,Vn, és egy Qlekérdezés.Megválaszolható‐e a Q lekérdezés a V1,…,Vnnézetek felhasználásával? A lekérdezéseket materializált nézeteken futtatjuk végül!

Megközelítések Veder algoritmus (Bucket algorithm [Levy; 96]) Inverz szabályok algoritmusa [Duschka, 99] Hibrid algoritmusok

SV‐Bucket [2001], MiniCon [2001]

28

29

Lekérdezés átalakítás (LAV)

Lekérdezés: Találjuk meg az összes évet, amikor Zhang Yimou filmet készítettSelect year from movie Mwhere M.dir=yimou

Q(y) :- movie(T,D,Y,G),D=yimou

Q(y) :- S1(T,D,Y,G) , D=yimou (1)

Q(y) :- S1(T,D,Y,G) , D=yimou Q(y) :- S5(T,D,Y) , D=yimou (2)

Melyik a legjobb terv?Valójában mit keresünk?

- ekvivalenciát?--tartalmazást?

Cél: Maximális tartalmazás, legegyszerűbb terv

Create Source S1 AS


Create Source S3 AS


Create Source S5 AS


from Filmek

where év > 1960 AND genre=“vígjáték”A források “materializált nézetek”a mediált sémák felett.

Create Source S1 AS


Create Source S3 AS


Create Source S5 AS


from Filmek

where év > 1960 AND genre=“vígjáték”A források “materializált nézetek”a mediált sémák felett.


Maximális tartalmazás Lekérdezési tervnek helyesnek és teljesnek kell lennie Helyes akkor, ha az új tervet tartalmazza az eredeti lekérdezés (Például minden n‐es válasz az eredeti lekérdezésben is megtalálható

Teljesség? Eredeti adatbázis megközelítés teljességre törekszik Itt a megközelítés: maximális tartalmazás!

30

Tartalmazás (lekérdezések) LegyenQ1(.) :‐ B1(.) Q2(.) :‐ B2(.) Q1 Q2 (“tartalmaz”) ha a Q1‐re kapott válasz részhalmaza a Q2‐re

kapott válasznak Igaz, haf B1(x) |= B2(x)

Ha adott egy Q lekérdezés, és egy Q1 , válasz lekérdezési terv, akkor: Q1 helyes lekérdezési terv ha Q1 –t tartalmazza Q Q1 teles lekérdezési terv, ha Q‐t tartalmazza Q1

Q1 egy maximálisan tartalmazó lekérdezési terv, ha nem létezik olyan Q2 amelyik helyes és olyan, hogy Q1, ‐t tartalmazza Q2

31

Tartalmazás ellenőrzése Tekintsünk két lekérdezést: Q1(.) :‐ B1(.) Q2(.) :‐ B2(.) Q1 Q2 („tartalmazó”, “contained in”) ha Q1 lekérdezésre kapott minden

válasz (n‐es) részhalmaza Q2 ‐nek A tartalmazás áll, ha B1(x) |= B2(x) (de a vonzat reláció helyessége általánosságba nem eldönthető…)

Konjunktív lekérdezések (select/project/join lekérdezések, kényszerek nélkül) ellenőrzését az egyes kifejezések közötti leképezések megadhatóságával ellenőrizzük (exponenciális időigényű algoritmus)

m legyen egy (tartalmazási) leképezés Vars(Q2) változókról Vars(Q1) változókra, ha m leképezi Q2 törzsében (feltétel részében) található minden részcélját

egy Q1 törzsében található részcélra m leképezi Q2 fej részét (kvetkezmény részét) Q1 fej részéreEg: Q1(x,y) :‐ R(x), S(y), T(x,y) Q2(u,v) :‐ R(u), S(v)

Kapcsolódó leképezés: [u/x ; v/y]

32

Átalakítási algoritmusok

Veder algoritmus Vedrek kombinációjából előállított terv Utána tartalmazási ellenőrzés

Inverz szabályok Rész lekérdezések tervezés

33

V1 V2

Q(.) :- V1() & V2() S11() :- V1() S12 :- V1()S21() :- V2() S22 :- V2()S00() :- V1(), V2()

S11S12S00

S21S22S00

V1() :- S11()V1() :- S12()V1() :- S00()V2() :- S21()V2() :- S22()V2() :- S00()

Q(.) :- V1() & V2()Veder algoritmus Inverz szabályok

[Levy] [Duschka]P1 contains P2 ifP2 |= P1

Forrás elérés korlátok A források nem feltétlenül relációs adatbázisok

Jogosultsági korlátok Korlátos elérési minták

(Pl. telefonkönyv lekérdezése) Korlátos kiszolgáló erőforrás

(Csak attribútumokon értelmezett szűrésen keresztül érhetőek el adatok.)

Elérési korlátozások modellezhetőek:‐ b: kötelezően megadandó keresési attribútum

‐ f: szabadon elérhető attribútum

Kambhampati & Knoblock Information Integration on the Web (MA-1) 34

Elérési korlátok – rekurzív algoritmusokCreate Source S1 asselect *from Citesgiven paper1

Create Source S2 asselect paperfrom ASU‐Papers

Create Source S3 asselect paperfrom AwardPapersgiven paper

Query: select * from AwardPapers

35

Rekurzív terv

S1bf(p1,p2) :- cites(p1,p2)S2(p) :- Asp(p)S3b(p) :- Awp(p)

Q(p) :- Awp(p)Awp(p) :- S3b(p)Asp(p) :- S2(p)Cites(p1,p2) :- S1bf(p)

Dom(p) :- S2(p)Dom(p) :- Dom(p1), S1(p1,p)

Dom(p),

Dom(p),

Mediátor - home.mit.bme.huhome.mit.bme.hu/~strausz/KomplexMIalkalmazások/Előadások/2....

Documents

Transcript of Mediátor - home.mit.bme.huhome.mit.bme.hu/~strausz/KomplexMIalkalmazások/Előadások/2....