A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source,...
Transcript of A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source,...
![Page 1: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/1.jpg)
A/B-testing med UnleashOpen source, multi-plattform rammeverk for feature toggles og eksperimentering
![Page 2: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/2.jpg)
FINN.no er stort og komplekst
• Etablert i 1998• 60 millioner daglige sidevisninger• 350 mikrotjenester• 120 utviklere• 1000+ utrullinger til prod hver uke
![Page 3: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/3.jpg)
Økning i antall utrullinger i produksjon
![Page 4: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/4.jpg)
Feature toggles er en viktig del av løsningen
![Page 5: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/5.jpg)
decouple deployment of code from
release of features
![Page 6: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/6.jpg)
3) Buyer pays FINN1) Agree on price 2) Start “Safe Payment”
4) FINN tells seller to ship
Det lar oss gradvis rulle ut nye produkter
5) Buyer get & verify goods
6) FINN gives money to seller
![Page 7: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/7.jpg)
Migrere sømløst til ny infrastruktur
Load balancer
App X
App X
fiaas
legacy
90%
10%
![Page 8: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/8.jpg)
Teste effekten av forbedringer vi gjør
Kontroll Variant
![Page 9: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/9.jpg)
Mer kontroll (kort fortalt)
● Allows us to test a new feature on a limited group● Verify that the new feature solves real user problems● Lightning fast rollback if problems are detected● Iterate the new feature to make it better
(Test, Verify, Rollback, Iterate...)
![Page 10: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/10.jpg)
if (unleash.isEnabled("AwesomeFeature")) { // some new magic } else { // old boring stuff }
![Page 11: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/11.jpg)
![Page 13: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/13.jpg)
Tilfeldig (og sticky) fordeling av brukere
![Page 14: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/14.jpg)
Fritt valg av tracking og analytics-løsning
![Page 15: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/15.jpg)
System Overview
![Page 16: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/16.jpg)
Native apps (iOS & Android)
![Page 17: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/17.jpg)
Kort oppsummert
Feature toggles framework● All toggles in one dashboard● Extensible model
Multi-platform● Official SDKs for Java, Node.js and Go● (Contributors working on a PHP and Python SDKs)
Open Source● https://github.com/Unleash
![Page 18: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/18.jpg)
Status og retning
Unleash 3.0● Authentication support ● Lots minor fixes
A/B testing strategies● Current implementations is not shared outside FINN● We are looking into generalize it
![Page 19: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/19.jpg)
Unleash vokste fra grasrota i FINN
![Page 20: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/20.jpg)
Folk som bruker Unleash i dag
● FINN.no● Prisjakt.no● VG Next● Blocket.se● NAV● NRK Super
![Page 21: A/B-testing med Unleash - FINN.no Blogtech.finn.no/images/2018-02-06-fagkveld... · Open source, multi-plattform rammeverk for feature toggles og eksperimentering. FINN.no er stort](https://reader034.fdocument.pub/reader034/viewer/2022042410/5f28a297b2c98130352df65d/html5/thumbnails/21.jpg)
Prøv det selv
● Kildekode○ https://github.com/Unleash/unleash
● Blogpost ○ http://bytes.schibsted.com/unleash-features-gradually/
● Spør meg○ [email protected]