Enhancing Soccer Performance Analytics with XSEED: Data Collection and Validation

🇮🇹 La versione italiana dell’articolo è disponibile in fondo.

In the pursuit of advancing soccer performance analytics, our team, in collaboration with Club Milano, has undertaken a comprehensive data collection initiative utilizing the XSEED smart shinguards. The XSEED device, equipped with high-dynamic accelerometers, gyroscopes, and magnetometers, is designed to capture a full range of athletic and technical metrics during both training sessions and competitive matches. These sensors allow XSEED to detect technical events such as kicks, passes, and shots by capturing detailed motion data.

How it works

At the heart of XSEED‘s capability is its integration of advanced artificial intelligence models, including neural networks. These neural networks are sophisticated algorithms designed to process complex data and identify patterns. In the context of XSEED, the neural network is responsible for two primary tasks: detecting whether a technical event has occurred and classifying the specific type of event, such as a kick, pass, or shot.

The neural network within XSEED operates by analyzing motion data captured by the device’s sensors. When an athlete performs an action, the accelerometers, gyroscopes, and magnetometers record detailed information about the movement. This data is then processed by the neural network, which has been trained to recognize different types of technical events based on previously collected data. Continuous improvement of XSEED is achieved through the collection and analysis of new data. The more data we gather, the better the neural network becomes at identifying and classifying events accurately. This iterative process is essential for refining the AI models and ensuring that XSEED remains at the forefront of performance analytics.

Increasing the Dataset with Club Milano

As stated previously, a critical component of our data collection initiative is the expansion of the dataset, on which the AI models can be trained. This dataset is composed of events localized using both Inertial Measurement Units (IMU) and GPS data. By incorporating a wide range of movements captured through IMU and accurately locating these events via GPS, we enrich the dataset with diverse and comprehensive performance metrics.

The collaboration with Club Milano has been particularly beneficial in this regard. By collecting data from a diverse group of players during both training sessions and competitive matches, we have been able to significantly expand our dataset. This increased volume of data has allowed us to train the neural network more effectively, leading to noticeable improvements in its performance. To quantify the impact of this collaboration, we have observed a substantial increase in our dataset. Specifically, the number of recorded events has grown by 150%, providing a richer resource for training and refining our AI models.

Validation with Video-Tagged Events

To validate the accuracy of our AI models, we compare their outputs with video-tagged events manually identified by our match analysts. The events are provided by the video analysis system, supplying high-definition footage of training sessions and matches. These tagged events are then matched with the events detected by XSEED, allowing us to assess and refine the performance of our AI models. This comparison ensures that the models are reliable and they effectively support automated match analysis.

Participants and Data Acquisition

Our research involved three diverse teams to ensure a comprehensive dataset:

Semi-Professional Team: Club Milano, a Serie D team in Milan, with 28 players aged 18-25.
Amateur Team 7a side: an amateur 7-side league team, with 15 players aged 21-33.
Youth Team: Under-15 team from Club Milano, consisting of 19 players aged 14-15.

This diverse participant pool allowed us to capture a wide range of skill levels, playing styles, and age groups, essential for robust validation of the XSEED monitoring technologies.

Results & Conclusion

Our comprehensive data collection initiative has yielded significant results, enhancing the capabilities of the XSEED smart shinguard and its associated AI models.

Dataset Expansion: We have successfully compiled a dataset comprising over 25,000 events, both technical and athletic. This extensive dataset includes detailed motion data captured through Inertial Measurement Units (IMU) and accurately localized via Global Navigation Satellite System (GNSS) coordinates, providing a rich resource for training and refining our AI models.
AI Model Validation: Through rigorous validation, our AI models have demonstrated high accuracy in detecting technical events. The models correctly identified 80% of the technical events performed during training and matches. Notably, the performance of XSEED’s event detection has improved significantly over time, with the F1-score increasing by 12% from 0.73 to 0.82 between September 2023 and March 2024 models. This improvement underscores the effectiveness of our continuous data collection and model refinement process.
Robust Algorithm Evaluation: The robustness of our algorithms has been thoroughly evaluated not only on training data, where conditions are typically controlled, but also on realistic match data, which presents more challenging and dynamic conditions. This comprehensive evaluation ensures that our models are capable of performing accurately in real-world scenarios, providing reliable support for automated match analysis.

🇮🇹 VERSIONE ITALIANA

Miglioramenti nell’analisi di performance calcistiche con XSEED: raccolta dati e validazione

Il nostro team, in collaborazione con il Club Milano, ha effettuato una vasta raccolta dati utilizzando i parastinchi tecnologici XSEED, con l’obiettivo di migliorare le performance dei nostri dispositivi. XSEED, dotato di accelerometri, giroscopi e magnetometri ad alta dinamica, è progettato per analizzare numerose metriche atletiche e tecniche durante allenamenti e partite. I sensori all’interno del dispositivo, sono in grado di rilevare gli eventi tecnici eseguiti dal giocatore, tra cui cross, passaggi e tiri.

Come funziona

All’interno di XSEED abbiamo integrato dei modelli avanzati di intelligenza artificiale, tra cui reti neurali progettate per elaborare dati complessi e identificare eventi specifici. In particolare, la rete neurale è responsabile di due compiti principali: rilevare gli eventi tecnici eseguiti e classificarne le specificità, sottolineando se questo è un cross, un passaggio o un tiro.

I modelli di intelligenza artificiale di XSEED analizzano i movimenti effettuati dal giocatore grazie ai sensori all’interno. Quando l’atleta esegue un gesto tecnico, gli accelerometri, i giroscopi e i magnetometri (IMU) registrano informazioni dettagliate, che vengono poi elaborate dalla rete neurale. Quest’ultima è stata addestrata a riconoscere diversi tipi di eventi tecnici basandosi su un ampio database di dati precedentemente raccolti. La raccolta dati contribuisce al continuo miglioramento di XSEED; più dati vengono raccolti, migliore diventa la rete neurale nell’identificare e classificare accuratamente gli eventi. Questo processo è fondamentale per migliorare i modelli di intelligenza artificiale e assicurare che XSEED sia uno strumento utile per analizzare le prestazioni calcistiche.

Ampliamento del dataset con il Club Milano

Come affermato in precedenza, è importante ampliare il dataset su cui vengono addestrati i modelli di intelligenza artificiale al fine di migliorarne l’accuratezza. Questo dataset è composto dai segnali acquisiti dalle Unità di Misurazione Inerziali (IMU), e localizzati tramite dati GPS. Raccogliendo diversi tipi di movimenti, riusciamo ad arricchire il database con dati tecnici eterogenei e rappresentativi.

In questo contesto, la collaborazione con il Club Milano è stata particolarmente produttiva. Infatti, siamo stati in grado di ampliare il dataset ricavando dati da diversi cluster di giocatori, sia in fase di allenamento che di partita. L’aumento di volume dei dati ci ha permesso quindi di allenare i modelli di IA con più efficacia, portandoci ad ottenere importanti miglioramenti riguardo le loro performance. L’impatto della collaborazione sull’aumento del dataset è stato importante, infatti abbiamo osservato che il numero degli eventi registrati è aumentato del 150%, garantendo una solida base per migliorare i nostri modelli di intelligenza artificiale.

Validazione degli eventi di video-tagging

Per verificare l’accuratezza dei modelli di IA, compariamo i loro output con analisi video-tagging, in cui gli eventi vengono tracciati manualmente dai nostri match analysts. I sistemi di video tagging, infatti, ci offrono riprese ad alta definizione di sessioni di allenamento e match, in cui le azioni di gioco vengono meticolosamente taggate dai nostri analisti. Questi eventi vengono poi associati ai dati raccolti da XSEED, aiutandoci a perfezionare i nostri modelli di IA. Questa comparazione assicura che i modelli siano affidabili e che possano effettivamente supportare l’automazione della match analysis.

Partecipanti e acquisizione dati

La nostra ricerca ha coinvolto tre diverse squadre, per assicurare un’acquisizione di dati completa:

Squadra semi-professionistica: Club Milano, squadra di Serie D, con 28 giocatori di età compresa tra i 18 e i 25 anni.
Squadra amatoriale: squadra amatoriale di calcio a 7, con 15 giocatori di 21-33 anni.
Squadra giovanile: squadra under-15 del Club Milano, con 19 giocatori di 14-15 anni.

La diversità dei giocatori ci ha permesso di analizzare diversi livelli di competenza, stili di gioco, e gruppi d’età, essenziali per validare correttamente la tecnologia di monitoraggio di XSEED.

Risultati e conclusioni

Con questa iniziativa abbiamo raggiunto grandi risultati, migliorando le capacità di XSEED e i modelli associati di IA.

Ampliamento del Dataset: Abbiamo costruito un dataset di oltre 25,000 eventi, sia tecnici che atletici, includendo dati di movimento registrati grazie alla Unità di Misurazione Inerziali (IMU) e accuratamente localizzati dalle coordinate del GPS, garantendo una solida base per migliorare i nostri modelli di IA.
Validazione modelli di IA: attraverso un’analisi approfondita, i modelli di IA hanno dimostrato grande precisione nell’identificare eventi tecnici. Infatti, questi hanno identificato l’80% degli eventi avvenuti durante allenamenti e match. In questo contesto, la performance di XSEED nel rilevare gli eventi è migliorata significativamente nel tempo, con il punteggio del F1-score aumentato del 12%, da 0.73 a 0.82 tra Settembre 2023 e Marzo 2024. Questo miglioramento sottolinea l’efficacia dei nostri continui processi di raccolta di dati.
Valutazione solidità dell’algoritmo: La solidità del nostro algoritmo è stata valutata non solo su dati d’allenamento, in cui le condizioni sono tipicamente controllate, ma anche su dati realistici di match, caratterizzati da condizioni di gioco più dinamiche. Questa valutazione completa assicura che i nostri modelli siano in grado di performare al meglio in scenari realistici, fornendo uno strumento affidabile per l’analisi automatizzata delle partite.