Som en av Norges ledende tilbyder av EMS (Electronics Manufacturing Services), er Hapro kjent med både avansert elektronikk og mekatronikk, og med prosessen fra protofase til industrialisering av ulike produkter. Med SINTEF Manufacturing på laget har man tatt utviklingen ett steg videre for å ivareta norsk konkurransekraft.

Lav-kost inspeksjonscelle
Prosjektets idé var å utvikle en «lav-kost inspeksjonscelle» for elektromekaniske produkter basert på åpen kildekode og tilgjengelig hardware. Slik skulle det være mulig å utvikle en kostnadseffektiv og skalerbar inspeksjonscelle. Og ved å basere inspeksjonen på en generisk metode som maskinlæring, kunne det være mulig å realisere en effektiv og generell metode uten omprogrammering av inspeksjonen under omstilling til nytt produkt.

– På stort produksjonsvolum har vi egne maskiner som utfører kontroll, men på mindre serier og ved manuell jobbing, er ikke dette hensiktsmessig. For oss vil det være svært nyttig med en inspeksjonscelle som kan benyttes til feilsøk og for å sjekke skader på feks. kretskort med overflateskader og manglende komponenter, sier Jon Eilert Liane som er ansvarlig for prosjektet ved Hapro.

Med en vellykket løsning vil man kunne redusere produksjonskostnadene og unngå at produksjonen eventuelt blir flyttet til et lavkostland. I tillegg redusert introduksjonstid for nye produkter, og potensielt nye anvendelsesområder innenfor automatisert inspeksjon.

Bildebasert inspeksjon
Dagens AOI er noe mer tidkrevende å programmere, men hovedfordelen med den nye løsningen er at den i prinsippet kan plasseres hvor som helst i produksjonsprosessen, ikke bare før og etter lodding. Med en slik løsning kan man utvide mulighetene for kvalitetskontroll.

– Hovedmålet med prosjektet er å verifisere om en generisk metode innenfor bildebehandling kan anvendes til kvalitetskontroll av elektromekaniske produkter, med en fleksibel programmeringsmetode der hvor produkter og komponenter endres ofte, sier Mats Larsen ved SINTEF Manufacturing sin avdeling for produksjonsteknologi, som har jobbet med prosjektet med sin kollega Christian Øien.

Bildetekst: Mats Larsen (t.v) og Christian Øien har stått for prosjektet i SINTEF Manufacturing

 

Larsen er forsker ved SINTEF og er ingeniør og robotteknolog fra NTNU og Syddansk Universitet I Danmark. Gjennom to år har de jobbet med prosjektet, det første av sin sort på Hapro. Nå skal den ferdige prototypen få teste seg på reelle case i Hapro sin produksjon for å få et større datagrunnlag.

 

– Med velkjent teknologi, et kamera, lys og en boks – utstyr for knappe 10.000 kroner – kan vi med hjelp av 30 bilder tatt i forkant av inspeksjon, utføre en brukbar kvalitetskontroll av elektromekaniske produkter. Dette gir oss ny forståelse for maskinlæring og kompetanse innenfor kvalitetskontroll, understreker Larsen.

 

MTNC

Hapro har selv bygd den nevnte boksen. SINTEF har programmert software, satt det i system og utført kvalitetskontroll for anvendelse i elektronikkbransjen. Datasettet ble lagd i Katapulten på Raufoss, med godkjente produkter hos Hapro og skadede versjoner for testing i Katapulten. Med minst mulig innsats og kostnader, finne en brukermetodikk for gjennomføringen av inspeksjon med tilfredsstillende resultater.

 

Bildetekst: Jon Eilert Liane (høyre) er automasjonsingeniør i Hapro. Sammen med lærlingene Oskar Jensen Lilleengen (midten) og Martin Toldnes bygget de boksen til prototypen.

 

 

Stiftelsen Teknologiformidling

Dette prosjektet er delvis finansiert av Stiftelsen Teknologiformidling. Stiftelsen støtter små og mellomstore bedrifter gjennom delfinansiering av forbedringsaktiviteter, og hvor hensikten er at stiftelsens midler skal komme til nytte og fremme teknologiutvikling i norsk næringsliv. Formålet er å øke produktivitet, verdiskapning og konkurransekraft!

Sverre Narvesen er styreleder i Stiftelsen Teknologiformidling

 

– Stiftelsen ønsker å bidra til at små og mellomstore etablerte bedrifter lykkes i omstillingen, og som ser nødvendigheten av et utviklingsløft for å hevde seg videre. Her fokuserer vi spesielt på digitalisering, robotisering og kunstig intelligens. Og prosjektene som støttes må vise evne og vilje til delingskultur slik at resultatene fører til verdiskapning for flere, fremhever Sverre Narvesen som er styreleder i stiftelsen.

 

Hapro Electronics er en elektronikkprodusent, og produserer alt fra kretskort til større komplette enheter, både med elektronikk og mekatronikk. Kvalitetskontroll og andre inspeksjoner er en vesentlig del av produksjonen. Kvalitetskontroll er en kritisk prosess, da man har mange typer kretskort, komponenter og loddinger som må verifiseres. Per i dag utføres kvalitetskontrollen eller inspeksjonen enten av operatører eller AOI. AOI er en bilde-basert inspeksjon, som ofte utføres etter kretskort sammenstillingen.

 

AOI er en kostbar maskin og den anvendes til større volumer med små komponentvariasjoner. Ved endring av et kretskort kreves omprogrammering og omkonfigurering av AOI-maskinen. Programmerer må implementere en ny metode per endret komponent. Det betyr, at AOI har noen begrensinger innenfor produksjon av utviklingskretskort, som typisk har små volumer og mye endring.

 

Hapro har behov for en effektiv og fleksibel programmeringsmetode til inspeksjon på alt fra loddekontroll av hull-monterte komponenter etter en selektiv loddeprosess, til en enkel kontroll av tilstedeværelse og posisjonering på komponenter/deler på en mekanisk sammenstillingslinje. Samtidig at inspeksjonen skal være lav-kost hardware med kort implementeringstid for å gjøre løsningen konkurreredyktig på pris og ressursforbruk.

 

Prosjektforslag

Prosjektets problemstilling er hvordan man kan lukke gapet mellom automatisert kvalitetskontroll av utviklingsprodukter med små produksjonsvolumer og produkter med høye produksjonsvolumer.

 

I dag blir problemstillingen ofte løst ved å iverksette en operatør-basert kvalitetskontroll i stedet for en automatisk prosess. Operatør-basert kvalitetskontroll er ikke ensartet i kvalitet, og det er en tidskrevende og tung prosess for operatøren.

 

Prosjektets idé er en lav-kost inspeksjonscelle for elektromekaniske produkter basert på åpen kildekode og åpen hardware. Ved bruk av åpen kildekode og åpen hardware er det mulig å realisere en kosteffektiv og skalerbar inspeksjonscelle og ved å basere inspeksjonen på en generisk metode som maskinlæring er det mulig å få realisert en effektiv og fleksibel programmeringsmetode.

 

Hovedmålet med prosjektet er å verifisere om en generisk metode innenfor bildebehandling kan anvendes til kvalitetskontroll av elektromekaniske produkter realisert med en lav-kost inspeksjonscelle. De aktuelle produkter er i grenselandet mellom prototyping og ettertraktet produkter med høye produksjonsvolumer. Med en generisk metode menes, at metoden er generell, og en programmerer ikke trenger å programmere en spesifikk metode per komponent, som er virkeligheten til en AOI-maskin. Utgangspunktet er å benytte maskinlæringsmetoder til å oppnå en effektiv og fleksibel metode for kvalitetskontroll.

 

For å nå frem til hovedmålet, bygges en inspeksjonscelle samt software som utvikles og implementeres. En inspeksjonscelle som er konkurreredyktig på pris vil bestå av belysning, et kamera og en Raspberry PI.

 

Kvalitetskontrollen baserer seg på komponentnivå, det vil bety at presentasjonen av komponenter vil bli segmentert basert på informasjon om komponentplassering. Bildebehandlingen skal kunne korrigere for produktets rotasjon og automatisk komponentsegmentering. Datasettene bygges ved å ta bilder av produktene i inspeksjonscellen. Datasettene forteller oss om den generiske metoden vil kunne finne produksjonsfeilene.

 

Bildetekst:

• image: Et testbilde av en komponent
• Ground truth: Det hvite arealet (piksler) presentere en eller flere feil på en gitt komponent. Svart betyr ingen feil.
• Predicted Heatmap: Det er systemets prediksjon, hvor hver piksel har fått predikert en anomali score. Jo høyere score, jo større sansynlighet for at pikselen representerer en komponent feil.
• Predicted mask: Predicted Heatmap er vist som et binært bilde (svart/hvit). Hvite piksler er med feil ifølge systemet/modellen.
• Segmentation result: Det predicted mask vist i testbildet, som viser hvor på bildet feilen er.

Bildetekst: Eilert Liane og Øien ved den installerte prototypen i Hapro sine produksjonslokaler