Egyedi AI fejlesztés lépésről lépésre – 1. rész :: Hogyan mérjük a hatékonyságát?

Ha eldöntöttük, hogy egyedi AI fejlesztésére van szükségünk (lásd: Egyedi AI-megoldás: A versenyképesség titkos fegyvere), kulcsfontosságú, hogy a projektben pontosan definiáljuk a célkitűzéseket. Tegyük fel, hogy ez megtörtént, és fókuszáljunk most azokra a szempontokra, amelyek egyedivé teszik az AI elemeket is magában foglaló fejlesztési projekteket.

Az egyes lépések szemléltetésére egy egyszerűsített, hipotetikus AI fejlesztési projektet használunk, amelynek célja az almák és körték megkülönböztetése képeken.Elképzelhetjük úgy is, mint egy alma- és körteosztályozó gép „agyát”. Bár a példa meglehetősen egyszerűsített, világosan szemlélteti egy AI fejlesztési projekt kulcsfontosságú aspektusait.

A célértékek mérése

A mérhető célkitűzések bármely projekt esetében hasznosak, de az AI projekteknél egyenesen nélkülözhetetlenek. Hogyan tudjuk jól meghatározni egy AI projekt céljait? Íme a lépések:

  • Határozzuk meg a fejlesztés céljait
  • Formalizáljuk a célkitűzéseket
  • Határozzuk meg a mérés módszertanát

  • Hozzuk létre a teszt- és validációs halmazokat 
  1. Határozzuk meg a fejlesztés céljait
    Első lépésként meg kell határozni a projekt céljait úgy, hogy abban minden érdekelt és résztvevő  fél egyetértsen. 
  2. Formalizáljuk a célkitűzéseket
    Ez elsősorban olyan kulcsfontosságú teljesítménymutatók (KPI-ok) kidolgozását jelenti, amelyek matematikailag meghatározzák, hogyan mérjük a projekt sikerét. Előnyös, ha ezekhez a KPI-okhoz olyan reális célértékeket rendelünk, melyek üzleti szempontból is értelmezhetők és értékteremtők. 
  3. Határozzuk meg a mérés módszertanát
    Állapítsuk meg, hogyan tudjuk pontosan mérni a KPI-okat. A puszta definíció nem mindig jelent egyszerű mérhetőséget. 
  4. Hozzuk létre a teszt- és validációs halmazokat
    A teszthalmaz a projekt sikerének mérésére szolgál a végén, míg a validációs halmaz segít becsülni a projekt céljainak elérése felé tett előrehaladást a fejlesztés során.

Most nézzük meg, mit jelentenek pontosan ezek a lépések a képválogatós projektünkre:

  1. Projekt célja
    Az almákat és körtékat ábrázoló képek pontos osztályozása.
  2. KPI
    Hibaarány: azaz, hogy mennyi almát soroltunk be körtének és fordítva.
  3. Mérési módszer
    Létrehozunk egy felvételekből álló teszt és validációs halmazt. A felvételeket közvetlenül a “válogató géppel” készítjük, hogy minden körülmény a majdani használatnak feleljen meg.
  4. Teszt- és validációs halmazok
    Azért, hogy könnyű legyen a besorolás, berakunk a “válogató gépbe” 1000 db almát majd 1000 db körtét és rögzítjük a képeket. Majd a véletlenszerűen rakunk 500 almát és 500 körtét tartalmazó képet a teszt és validációs halmazba.

Ebben az egyszerű esetben a célok meghatározása egészen a mérési korpuszok létrehozásáig 1-2 hetet vehet igénybe. Összetettebb problémáknál ez a folyamat akár több hónapig is eltarthat.

Megjegyzendő, hogy ez az egyszerűsített példa nem tartalmazza az olyan nem funkcionális követelményeket, mint például a döntéshozatal sebessége, memóriahasználat, képfelbontási korlátok, elmosódott képek toleranciája stb.

A cikksorozat 2. részben a modell betanításának gyakorlati lépéseit fogjuk tárgyalni.