Multimodal AI

The aim of the project is to advance state-of-the-art research on different Natural Language Processing (NLP) and Computer Vision methodologies in order to develop a multimodal decision engine that can automate decision-making (human-like) by intelligently fusing individual modalities such as text, image, audio and video (human senses) for operations and maintenance of machines and devices in industrial and enterprise facilities.

The result of the project will be the world's first Machine-2-Service product that augments workflow digitization and OEE enhancement, minimizes movement of material and people to reduce risk and unsafe actions as well as enables full automation of the Maintenance, Repairs and Operations (MRO) processes in manufacturing, commercial real estate, energy & utilities, oil & gas sectors helping them realize savings on the operations & maintenance budget and reduce unplanned downtime.

The research & development project carried out as part of the Fast Track competition conducted by NCBiR’s Intelligent Development Operational Program 2014-2020 being implemented during the period Jan 2022 – Dec 2023

Celem projektu jest rozwój najnowocześniejszych badań nad różnymi metodologiami przetwarzania języka naturalnego (NLP) i wizji komputerowej w celu opracowania multimodalnego silnika decyzyjnego, który może zautomatyzować podejmowanie decyzji (podobnych do ludzkich) poprzez inteligentne łączenie poszczególnych metod, takich jak tekst, obraz, audio i wideo (ludzkie zmysły) w celu obsługi i konserwacji maszyn i urządzeń w obiektach przemysłowych i przedsiębiorstwach.

Rezultatem projektu będzie pierwszy na świecie produkt Machine-2-Service, który zwiększy cyfryzację przepływu pracy i poprawi wskaźnik OEE, zminimalizuje ruch materiałów i ludzi w celu zmniejszenia ryzyka i niebezpiecznych działań, a także umożliwi pełną automatyzację procesów konserwacji, napraw i eksploatacji (MRO) w sektorach produkcji, nieruchomości komercyjnych, energii i usług użyteczności publicznej, ropy i gazu, pomagając im uzyskać oszczędności w budżecie operacji i konserwacji oraz skrócić nieplanowane przestoje.

Projekt badawczo-rozwojowy realizowany w ramach konkursu Szybka Ścieżka prowadzonego przez NCBiR w ramach Programu Operacyjnego Inteligentny Rozwój 2014-2020 realizowanego w okresie styczeń 2022 - grudzień 2023.