Analyzing resource usage on multi tenant cloud cluster for invoicing

Abstract

Software development is a complex and challenging process. Throughout the history of software development organizations have tried to implement various methodologies to ease this process. Technological solutions like microservice based architecture and virtualization have spun that embrace Agile thinking principles. Virtualization technologies have made running multi environment solutions very appealing and significantly reduced host management. Lightweight and isolated application containers have taken this even one step further. They have become so popular that systems for managing the life cycles of these containers, also known as container orchestration systems, have emerged.

Codemate Ltd, a company specialized in mobile and web development, also researched a possibility of running a cloud based cluster computing system for application containers. The company decided to build this system on top of one of the most prominent container orchestration systems called Kubernetes. A shift into this kind of system proposed various challenges, billing a customer being one of them.

The main focus of this thesis is to describe the process of designing and implementing a software solution that would analyze multi-tenant cloud cluster resource usage metrics on customer level and then use the information to bill customers accordingly. This thesis also presents all the necessary background information to what has gone into building this kind of tool. It also delves into challenges that the process presented. Finally this thesis presents and evaluates the tool that was created as a part of this process.

Ohjelmistojen kehitys on monimutkainen ja haastava prosessi. Sen historian aikana organisaatiot ovat pyrkineet kehittämään erilaisia menetelmiä tämän prosessin helpottamiseksi. On syntynyt teknologisia ratkaisuja kuten microservice arkkitehtuuri ja virtualisointi, jotka toteuttavat agile-ajattelun periaatteita. Virtualisointitekniikat ovat tehneet usean ympäristön ratkaisuista erittäin houkuttelevia ja vähentäneet huomattavasti ylläpitovaatimuksia. Kevyet ja eristetyt kontit ovat vieneet tämän askeleen pidemmälle. Niiden suosion myötä on syntynyt myös niin sanottuja konttien orkestrointi työkaluja, joilla konttien elinkaarta voidaan hallita.

Codemate Ltd, joka on mobiili ja web-kehitykseen erikoistunut yritys, tutki myös pilvipohjaisia konttiteknologiaan perustuvia laskentaklusteri ratkaisuja. Yritys päätti rakentaa tällaisen systeemin hyödyntäen Kubernetesta, joka on yksi lupaavimmista konttien orkestrointi järjestelmistä. Siirtyminen tämänkaltaiseen järjestelmään on luonut erilaisia haasteita, kuten asiakkaiden laskuttamisen hoitaminen.

Tämän diplomityön päätarkoitus on kuvata sitä suunnittelu ja toteutus prosessia, jonka tuotoksena on työkalu pilvipohjaisen laskentaklusterin resurssien analysoimiseen ja tämän tiedon hyödyntämiseen asiakkaiden laskuttamisessa. Tässä työssä esitellään myös tarvittavat taustatiedot tällaisen työkalun rakentamista varten, prosessin aikana kohdatut haasteet, sekä lopuksi esitellään ja arvioidaan luotu työkalu.