Predicting error vector magnitude measurement values from test data using machine learning techniques

Abstract

Error Vector Magnitude (EVM) measurement in radio testing plays a crucial role in ensuring signal quality. This thesis explores the application of machine learning (ML) techniques for predicting EVM measurement values using radio test data.

Three models - Extreme gradient boosting regressor (XGBoost), Random Forest regressor, and Multi-layer perceptron regressor (MLP) - were tested to evaluate their prediction performance. All models performed well, with R2 values above 0.8. XGBoost was selected for further optimization due to its strong performance and computational effciency.

To enhance prediction accuracy, separate XGBoost models were trained for different EVM measurement categories and target value ranges. An XGBoost classifier was also introduced as part of the prediction process to determine which model should be used for each test case based on target value range classifcation. These refinements signifcantly improved performance, with R2 values reaching 0.97 for Max Over EVM and 0.98 for Modulation Type EVM categories. The classifier also performed well, achieving an F1 score greater than 0.9.

Although excellent performance was achieved, certain challenges and limitations were encountered. Computational limitations, combined with the large volume of data, prevented the use of automated hyperparameter tuning and cross-validation at this stage of development. Additionally, some challenges remained with extreme value prediction within the Max Over EVM category. Future work should focus on refining the classifier by addressing unbalanced classes, further optimization of hyperparameters, and exploring deep learning approaches.

This thesis demonstrates that ML models can effectively predict EVM values, providing greater efficiency, early fault detection, and test process optimization in radio testing. The proposed solution provides a foundation for further development and practical implementation.

Virhevektorin suuruuden (EVM) mittauksilla on radiotestauksessa tärkeä rooli signaalin laadun varmistamisessa. Tämä diplomityö tutkii koneoppimistekniikoita EVM-mittausarvojen ennustuksessa käyttäen radiotestidataa.

Kolmea menetelmää - Extreme gradient boosting-regressiota (XGBoost), satunnaismetsäregressiota (Random Forest), sekä monikerroksista perseptroniverkkoregressiota (MLP) - testattiin ja niiden suorituskykyä arvioitiin. Kaikki menetelmät toimivat hyvin, R2-arvon ollessa yli 0.8 kaikille malleille. XGBoost valittiin jatkokehityksen kohteeksi sen hyvän suorituskyvyn ja laskennallisen tehokkuuden vuoksi.

Erilliset XGBoost-mallit koulutettiin eri EVM-mittauskategorioille, sekä ennalta määrätyille mittausarvon tasoille ennustustarkkuuden optimoimiseksi. Myös XGBoost luokittelijan toimintaa esiteltiin osana lopullista ennustusprosessia. Luokittelijan tehtävänä on määrittää kumpaa mittausarvon tasolle optimoitua mallia käytetään lopullisen ennustuksen tuottamisessa testikohtaisesti. Nämä hienosäädöt paransivat suorituskykyä merkittävästi R2-arvon ollessa Max Over EVM-mittauskategorialle 0.97 ja Modulation Type-kategorialle 0.98. Myös luokittelija suoriutui hyvin F1-arvon ollessa yli 0.9.

Erinomaisista tuloksista huolimatta muutamia haasteita ja rajoituksia kohdattiin tutkimusten aikana. Laskennalliset rajoitteet sekä datan suuri määrä estivät hyperparametrien automatisoidun optimoinnin sekä ristiinvalidoinnin tässä kehityksen vaiheessa. Lisäksi Max Over EVM-kategorian korkeimpien arvojen ennustustarkkuutta voisi vielä pyrkiä parantamaan. Seuraavien kehitysaskelten tulisi keskittyä luokittelijan paranteluun epätasaisen luokkajakauman osalta, hyperparametrien optimoimiseen, sekä syväoppimismallien tutkimiseen.

Tämän diplomityön tulokset osoittavat, että koneoppimismalleja voidaan tehokkaasti hyödyntää EVM-mittausarvojen ennustuksessa. Koneoppimiskeinoilla voidaan optimoida radiotestauksen prosesseja ja parantaa tehokkuutta sekä aikaistaa virheiden havaitsemista. Ehdotettu ratkaisu tarjoaa perustuksen jatkokehitykselle sekä käytännön toteutukselle.