Minimum Spanning Tree. Wat is MST? • Minimum spanning tree • De meest efficiënte manier vinden...
-
Upload
matthias-kuipers -
Category
Documents
-
view
229 -
download
1
Transcript of Minimum Spanning Tree. Wat is MST? • Minimum spanning tree • De meest efficiënte manier vinden...
Minimum Spanning Tree
Wat is MST?
• Minimum spanning tree• De meest efficiënte manier vinden om een verbonden
netwerk op te bouwen
Wat is een tree/boom?
• Graaf :– een verzameling knopen (vertices): – een verzameling kanten (edges):
• Een boom is een graaf waarin er één uniek simpel pad is tussen elk paar knopen
• Een boom is verbonden (connected): je kunt vanuit iedere knoop in iedere andere knoop komen
• Een boom bevat geen cykels: je kan niet in een rondje lopen
Hoeveel kanten heeft een boom?
• Een boom op knopen heeft kanten• Basisgeval: triviale boom met knoop heeft kanten• Inductiestap: stel iedere boom met knopen heeft kanten.
Voor een boom met knopen geldt dan dat…
Hoeveel kanten heeft een boom?
• Een boom op knopen heeft kanten• Basisgeval: triviale boom met knoop heeft kanten• Inductiestap: stel iedere boom met knopen heeft kanten.
Voor een boom met knopen geldt dan dat…
…hij bestaat uit een kant die twee losse bomen verbindt, één met knopen, de ander met knopen. Met de IH hebben ze en knopen.De boom heeft dus knopen
Definitie MST
• “Bepaal de boom met het minste aantal kanten” is dus niet zo spannend…
• Gewogen graaf: samen met een wegingsfunctie kent aan iedere kant een gewicht toe (“lengte”)
• Minimum spanning tree van een verbonden, gewogen graaf is een deelverzameling zodat een boom is en minimaal is
Voorbeeld MST
Gewicht:
MST als optimaliseringsprobleem
• Invoer: verbonden, gewogen graaf
• Zoekruimte: alle deelverzamelingen van :
• Toelaatbaarheid: het moet een boom zijn
• Doelfunctie:
Bomen bouwen 1
• Je kunt een bestaande boom aanpassen:– Voeg een kant toe cykel dus geen boom meer– Haal een kant van de cykel weg het is weer een boom
Bomen bouwen 2
• Iedere verbonden graaf heeft een deelverzameling zodat een boom is
• Als verbonden maar geen boom is dan bevat een cykel• Gooi willekeurig een kant van die cykel weg• Is het resultaat een nog geen boom? Herhaal!
• Gevolg: graaf verbonden en kanten is boomAls geen boom zou zijn zou er een deelverzameling
zijn van minder dan kanten die een boom zou zijn ↯
Hoe bepaal je een MST?
• Algoritmische trukendoos:– Divide & Conquer
• Verdeel de graaf in twee deelgraven?• Verbind de deel-MST’s met de lichtste kant?• Fail…
– Dynamisch Programmeren
Hoe bepaal je een MST?
• Algoritmische trukendoos:– Divide & Conquer
• Verdeel de graaf in twee deelgraven?• Verbind de deel-MST’s met de lichtste kant?• Fail…
– Dynamisch Programmeren• Optimal Substructure: een optimale oplossing bevat
een optimale deeloplossing• Een MST bestaat uit MST’s verbonden door edge
Hoe bepaal je een MST?
• DP heeft naast OSS ook overlapping subproblems nodig• Het kan wél, maar…
• Het probleem heeft een greedy choice property!
Algoritme van Prim
• Bouw de boom op door steeds 1 kant toe te voegen
• Kies een beginknoop• Bekijk de knopen die je in 1 stap kunt bereiken• Kies de lichtste van de uitgaande kant
• Je kiest steeds de lichtste boomverlatende kant
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Algoritme van Prim
Implementatie van Prim
• Hoe kun je snel de lichtste kant vinden? Priority Queue!
• Representatie van het resultaat? Parent Pointers
Pseudocode van Prim
foreach(Vertex v in graph.Vertices) v.Key = ∞;root.Key = 0;PQ = new PriorityQueue(graph.Vertices);
while(!PQ.Empty)u = PQ.ExtractMin();foreach(Vertex v in u.Neighbors)
if(PQ.Contains(v) && w(u,v) < v.Key)v.Parent = u;PQ.DecreaseKey(v, w(u,v));
Algoritme van Prim
Priority QueueB: 4H: 8
Algoritme van Prim
Priority QueueB: 4C: 8H: 8
Algoritme van Prim
Priority QueueC: 8I: 2F: 4D: 7H: 8
Algoritme van Prim
Priority QueueI: 2F: 4G: 6D: 7H: 8 H: 7
Algoritme van Prim
Pseudocode van Prim
foreach(Vertex v in graph.Vertices) v.Key = ∞;root.Key = 0;PQ = new PriorityQueue(graph.Vertices); O(n)
while(!PQ.Empty) O(n)u = PQ.ExtractMin(); O(log
n)foreach(Vertex v in u.Neighbors) totaal
O(m)if(PQ.Contains(v) && w(u,v) < v.Key)
v.Parent = u;PQ.DecreaseKey(v, w(u,v));
O(log n)
Looptijd is dus . Het kan nog sneller in met een Fibbonacciheap – die doet decreasekey in .
Pseudocode van Prim Dijkstra
foreach(Vertex v in graph.Vertices) v.Key = ∞;root.Key = 0;PQ = new PriorityQueue(graph.Vertices); O(n)
while(!PQ.Empty) O(n)u = PQ.ExtractMin(); O(log
n)foreach(Vertex v in u.Neighbors) totaal
O(m)if(PQ.Contains(v) && w(u,v) + u.Key <
v.Key)v.Parent = u;PQ.DecreaseKey(v, w(u,v) + u.Key);
O(log n)
Looptijd is dus . Het kan nog sneller in met een Fibbonacciheap – die doet decreasekey in .
Bewijs van Prim
• We moeten de GCP bewijzen• GCP: Zij een MST van en stel dat . Als een lichtste kant is
die een knoop in met een knoop niet in verbindt ( is -verlatend), dan is deelverzameling van een MST .
• Als dan is het goed. Stel dus dat .• Dan bevat een cykel. Bekijk de kanten van die cykel.• De cykel bevat naast nog een -verlatende kant .• dus is een minimale(re) spanning tree ()
Algoritme van Kruskal
• Prim: laat één boom steeds verder groeien• Kruskal: werkt met een woud met allemaal losse stukjes
boom• Iedere verbonden graaf heeft een deelgraaf die boom is:
– Herhaald kanten van cykels weglaten• Kan ook andersom: maak een boom door steeds toe te
voegen:A = ;foreach(Edge e in graph)
if(A ∪ e bevat geen cykel)A = A ∪ {e};
• Het resultaat hangt af van de volgorde!
Algoritme van Kruskal
• Bekijk de kanten van licht naar zwaar• Voeg steeds de kant toe als hij geen cykel introduceert• Cykels testen: Union-Find!
Sort(edges); foreach(Vertex v) MakeSet(v);
foreach(Edge e) if(FindRep(e.A) ≠ FindRep(e.B))
resultaat.Add(e);Union(e.A, e.B);
Algoritme van Kruskal
• Bekijk de kanten van licht naar zwaar• Voeg steeds de kant toe als hij geen cykel introduceert• Cykels testen: Union-Find!
Sort(edges); foreach(Vertex v) MakeSet(v);
foreach(Edge e) if(FindRep(e.A) ≠ FindRep(e.B))
resultaat.Add(e);Union(e.A, e.B);
Sort is . union find-operaties kosten .Sorteren domineert. Totaal:
Voorbeeld Kruskal
HGICGFABCFIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IICGFABCFIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGFABCFIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHABCFIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCFIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIGCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCDHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHIAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHI: niksAHBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHI: niksAH: ABCDFGHI EBCDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHI: niksAH: ABCDFGHI EBC: niksDEFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHI: niksAH: ABCDFGHI EBC: niksDE: ABCDEFGHIFE
Voorbeeld Kruskal
HG: A B C D E F GH IIC: A B CI D E F GHGF: A B CI D E FGHAB: AB CI D E FGHCF: AB CFGHI D EIG: niksCD: AB CDFGHI EHI: niksAH: ABCDFGHI EBC: niksDE: ABCDEFGHIFE: niks
Correctheid van Kruskal
• Lemma: gegeven MST van graaf . Stel dat . Zij een lichtste kant zodat cykelvrij is (en ). Dan bestaat er MST zodat en . Bovendien geldt dat .
• Bewijs:– Als neem – Als bevat een cykel– is cykelvrij dus de cykel bevat kant , – is cykelvrij: en is een boom– is een lichtste kant met die eigenschap dus – Dus is een minimale(re) MST want .
Correctheid van Kruskal
• Het lemma is niet genoeg. Bewijs met invariant (soort inductie)
initialisatie:
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else
• In het begin is de invariant waar ( is een verbonden graaf)
Wil: invariant is nu waar voor
Correctheid van Kruskal
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else Formeel “er is MST zodat ”• Stel de invariant is waar voor zekere • Dan is er een MST zodat
Correctheid van Kruskal
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else Formeel “er is MST zodat ”• Stel de invariant is waar voor zekere • Dan is er een MST zodat
– Als het if-statement false is ( bevat een cykel):• is zeker waar want • geldt ook want kan geen element van zijn, is cykelvrij
en bevat en is niet cykelvrij
Correctheid van Kruskal
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else Formeel “er is MST zodat ”• Stel de invariant is waar voor zekere • Dan is er een MST zodat
– Als het if-statement true is ( is cykelvrij) roepen we het lemma in. Er is een MST met .
Lemma: gegeven MST van graaf . Stel dat . Zij een lichtste kant zodat cykelvrij is (en ). Dan bestaat er MST zodat en . Bovendien geldt dat .
Correctheid van Kruskal
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else Formeel “er is MST zodat ”• Stel de invariant is waar voor zekere • Dan is er een MST zodat
– Als het if-statement true is ( is cykelvrij) roepen we het lemma in. Er is een MST met .
– dus we hoeven enkel te checken dat – Dat kan:
Correctheid van Kruskal
initialisatie:
for(i = 1 to n)invariant: is uit te breiden met t/m tot MSTif( voegt geen cykel toe)
else
bewezen: invariant is nog steeds waar (na ophogen i)
Zodra de for-loop klaar is dan “is met en+1 t/m en uit te breiden tot MST” dus is een MST.
Is de MST uniek?
• Nee, maar wel als de kantgewichten uniek zijn!
Stel is een ongerichte gewogen graaf en is injectief (verschillende kanten naar verschillende waarden).Stel we hebben MST’s van en ze zijn niet hetzelfde.
Dan zijn er kanten die in precies van zitten.Bekijk de laagste kant die niet in beide zit.Stel z.v.a. dat . Dan bevat een cykel. en bevat géén cykel dus cykelkant zit alleen in .
Is de MST uniek?
• Nee, maar wel als de kantgewichten uniek zijn!
Stel is een ongerichte gewogen graaf en is injectief (verschillende kanten naar verschillende waarden).Stel we hebben MST’s van en ze zijn niet hetzelfde.
Dan zijn er kanten die in precies van zitten.Bekijk de laagste kant die niet in beide zit.Stel z.v.a. dat . Dan bevat een cykel. en bevat géén cykel dus cykelkant zit alleen in .Per constructie dus is een MST met lager gewicht dan . Tegenspraak! en zijn hetzelfde.
Kroegentocht of TSP
• Travelling Salesman
• Bepaal een volgorde (rondtocht) om zo snel mogelijk een aantal knopen te bezoeken in een graaf.
• Handelsreiziger: wil zijn product in een aantal steden verkopen, wat is de kortste route.
• Is een “moeilijk” probleem: NP-compleet
• Waarschijnlijk kost het exponentiële tijd om op te lossen
TSP-Approximatie
• Met behulp van MST kunnen we TSP benaderen
TSP-Approximatie
• Met behulp van MST kunnen we TSP benaderen• TSP is hoogstens zo lang als MST
TSP-Approximatie
• Met behulp van MST kunnen we TSP benaderen• TSP is hoogstens zo lang als MST
• Maar ook: MST is hoogstens zo groot als TSP• Laat kanten weg uit TSP tot je een MST hebt• Ergo: MST TSP MST• MST approximeert TSP
• Werkt alleen als symmetrisch
• Approximatie (begrensd) vs. heuristiek
Prim VS Kruskal
Prim Kruskal
Datastructuur Priority Queue Union-Find
Looptijd of (sorteren)
Extra ruimte
• Prim: breidt 1 boom steeds verder uit (als Dijkstra)• Kruskal: laat boom groeien uit meerdere stukjes
• Ik vind Kruskal beter: makkelijk te implementeren en vaak betere constante in de grote
• Het is een kwestie van smaak
Conclusie
• Minimum Spanning Tree: lichtste, verbonden deelgraaf• Algoritme van Prim of Kruskal• Je kan van alles bewijzen als je een kant toevoegt en de
cykel weer doorbreekt• Lokale eigenschappen greedy algoritme
• Toepassingen van MST:– Lege collegezaal (LAN-party!)– Netwerk-broadcast– Handschriftherkenning– TSP-approximatie (kroegentocht)