Miten opetetaan tietokone tunnistamaan keittiö?

Jokaisen asuntoilmoituksen mukana tulee kymmeniä kuvia: keittiöstä, makuuhuoneista, joskus myös puutarhasta tai pohjapiirroksesta.

Kuvat saadaan ilman tietoa siitä, mitä ne esittävät. Samaan aikaan hakutoiminnot ja suosittelujärjestelmät hyötyisivät siitä, että tiedettäisiin, esittääkö kuva esimerkiksi keittiötä, pohjapiirrosta vai puutarhaa.

Jotta kuviin voidaan lisätä tällaista tietoa, tarvitsemme luokittelijan eli koneoppimismallin, joka ottaa kuvan syötteenä ja lisää siihen semanttisia tunnisteita, kuten keittiö tai puutarha.

Kolme lähestymistapaa

Luokittelijan rakentamiseen on kolme realistista vaihtoehtoa.

Ensimmäinen vaihtoehto on hyödyntää suurta kielimallia, samanlaista teknologiaa kuin ChatGPT:n tai Clauden taustalla. Mallille lähetetään kuva ja kysymys, johon se vastaa. Ratkaisu toimii, mutta kustannukset kasvavat nopeasti: miljoonan kuvan käsittely maksaa noin 1 500 dollaria.

Toinen vaihtoehto on kouluttaa oma luokittelija vapaasti saatavilla olevan konenäkömallin päälle. Tämä on huomattavasti edullisempi ratkaisu käyttää: miljoonan kuvan käsittely maksaa laskentatehon osalta noin 37 senttiä. Siinä on kuitenkin yksi heikkous, johon törmäsimme käytännössä.

Kolmas vaihtoehto on mennä vähän pidemmälle ja hienosäätää pohjamallia. Käytännössä tämä tarkoittaa mallin koulutuksen jatkamista omalla aineistollamme, joka meidän tapauksessamme koostui 40 000 käsin luokitellusta asuntojen kuvasta. Hienosäätö auttaa näkömallia erikoistumaan juuri kiinteistökuvien luokitteluun.

Yksinkertaisuudella on hintansa

Ensimmäisessä luokittelijassamme oli sitkeä ongelma: matala luottamusarvo. Luottamusarvo kertoo, kuinka varma malli on kustakin kategoriasta. Tunniste lisätään kuvaan vain silloin, kun malli on riittävän varma ennusteestaan. Lähes yksi kymmenestä kuvasta jäi ilman tunnisteita liian matalan luottamusarvon vuoksi.

Löysimme ongelmalle useita syitä.

Pohjamalli oli oppinut maailmasta internetistä kerättyjen kuvien ja niiden kuvatekstien avulla, joten se tunnistaa hyvin esineitä, kuten sohvia, uuneja, autoja ja koiria. Osa kategorioistamme ei kuitenkaan perustu yksittäisiin esineisiin lainkaan. Puutarha on pääosin taustaa. Eteinen on ennen kaikkea tilaa ja arkkitehtuuria. Malli ei aina kiinnittänyt huomiota olennaisiin asioihin.

Mukana oli myös rajatapauksia: oviaukon läpi näkyvää makuuhuonetta ei pitäisi tunnistaa makuuhuoneeksi, mutta olohuoneessa oleva ruokailuryhmä pitäisi tunnistaa. Ilman lisäkoulutusta pohjamalli ei osannut tehdä tällaisia erotteluja.

30 dollarin ratkaisu

Kun koulutimme mallia lisää omilla, käsin luokitelluilla kuvillamme, puutteellisen tunnistamisen ongelma käytännössä katosi. Esimerkiksi puutarha-kategoria, jonka kanssa alkuperäinen malli kamppaili, parani merkittävästi. Koko koulutuskokeilu maksoi laskentakustannuksina noin 30 dollaria.

Milloin oma malli kannattaa?

Oman mallin rakentaminen ei ole aina oikea ratkaisu. Jos luokittelet vain muutamia satoja kuvia päivässä, kustannukset ovat niin pienet, ettei toteutustavalla ole suurta merkitystä. Jos kielimallin käyttäminen vastaa tarpeisiisi, se on täysin varteenotettava vaihtoehto. Lisäksi sitä on yleensä helpompi ylläpitää.

Kun käsiteltävien kuvien määrä kasvaa miljooniin, oman mallin rakentaminen alkaa kuitenkin olla perusteltua.

Vaikka rakentaisit oman mallisi, sitä ei välttämättä tarvitse hienosäätää. Jos matalat luottamusarvot muodostuvat ongelmaksi, kuten meille kävi, hienosäätöä kannattaa harkita.

Kuvien luokittelu nyt tuotannossa Almalla

Kuvien luokittelu on nykyään osa Alman tuotantoympäristöä. Koska jokainen kuva tunnistetaan ja merkitään automaattisesti, tunnisteet ovat käytettävissä laajassa mittakaavassa Alman asumisen ja kiinteistöalan tuotteissa.

Jos haluat lukea koko teknisen tarinan, mukaan lukien käytetyt mallit ja tulokset, tutustu Towards Data Science -julkaisuun kirjoittamaamme artikkeliin.

Kirjoittajat ovat Miikka Silfverberg, Senior Data Scientist, sekä Max Silfverberg, Data Scientist ja AI Solutions Lead. He työskentelevät Alma Marketplaces -segmentissä, joka keskittyy erityisesti digitaalisiin markkinapaikkoihin asumisen ja autoilun toimialoilla. Segmentin tunnetuimpia palveluita ovat muun muassa Etuovi, Nettiauto, Objektvision ja Suomenlaki.com. Segmentti toimii Suomessa ja Ruotsissa.

Jaa artikkeli