« The vOICe Home Page
« The vOICe for Windows

Copyright © Ingeniøren. Archived transcript of an article by Jan Skøt in News Magazine Ingeniøren (ing.dk, and weekly newspaper for the Danish Engineering Society, print edition January 28, 2005, pp. 20-21).

Af | fredag 28.01.2005

Lydbillede. Sådan ser et ansigt ud, når det er blevet lagt ind i 64x64 matrix og lavet om til 64 gråtoner, altså det samme billede, som derefter bliver omkodet til lyd. Klik for større foto

Sæt et kamera på hovedet af en person, der ikke kan se. Tag billedet fra kameraet og lav det om til et kvadrat af punkter, hvor de enkelte punkter får en lyd efter, hvor de er placeret, og hvad indholdet af punktet er. Send lyden ind i ørerne på folk, der er blinde eller bare har bind for øjnene, og så kan de lære at se med lydene. Langt fra så godt, som vi kan med vores øjne, men alligevel med en forbløffende evne til at skelne forskellige objekter.

Eksperimentet er foretaget af en gruppe ledet af Petra Störig, der er professor i eksperimentel biopsykologi ved universitetet i Düsseldorf. Formålet var dels at se om konverteringen af billede til lyd kunne bruges som hjælpemiddel for blinde og dels at undersøge, hvordan hjernen bearbejder synsindtryk, hvis de kommer ind ad ørerne.

Der har været en lang række af forsøg på at lære mennesker at se med andre sanser end synet for eksempel ved at lave en matrix af små stave, der »printer« et billede på ryggen eller på tungen. Der er også mere indgribende forsøg på at forbinde kameraer direkte til synsnerverne eller indoperere elektroniske nethinder i folks øjne.

Men hvis man leder efter en måde at afhjælpe synsmangel med ikke-operative indgreb, så mener Petra Störig, at hørelsen er den indlysende kandidat:

»Hørelsen er i forvejen godt udstyret til at skelne fine detaljer. Det gør vi for eksempel, når vi lytter til stemmer. Desuden er det en distancesans, som også har et vist begreb om rumlighed.«

Selvom syn og hørelse er meget forskellige, så har de mere til fælles end de har med gruppen af nærsanser – smag, lugt og følelse.

Testudstyr. Udstyret, som forsøgspersonerne brugte, var denne kombination af kamera og hovedtelefon. Men i princippet kan et almindeligt webkamera, en computer og et sæt hovedtelefoner bruges. Klik for større foto

Et kamera og to højttalere
Eksperimentet brugte udstyr udviklet af Peter Meijer, et af medlemmerne af forskergruppen som i flere år har arbejdet på et praktisk projekt med hjælpemidler til blinde. Det er en slags stor hovedtelefon, hvor der oven på sidder et videokamera.

Den centrale del af udstyret er software, der konverterer videobilledet til lyd. Det er et ret simpelt program, som inddeler billedet i en matrix på 64x64 felter med 16 gråtoner. Derefter generer det en lyd for hvert felt.

Lyden skanner hen over billedets punkter i hurtig rækkefølge, så resultatet er en to sekunder lang lydserie, der umiddelbart ligner støj. Hver lyds placering i stereoperspektivet definerer billedpunktets placering i forhold til højre og venstre. Tonehøjden giver punktets placering over horisonten, mens lydstyrken definerer lysstyrke af punktet. Så en lys prik i nederste højre hjørne giver altså en høj baslyd udelukkende i højre kanal.

Eksperimentet varede tre uger og omfattede fire personer. To havde øjnene dækket i hele perioden, mens to andre var seende, så de bagefter kunne sammenligne lydbilledet med det visuelle billede. Denne opdeling skulle undersøge, om det visuelle indtryk hjalp med at fortolke lydbilledet fra hovedtelefonerne.

I hver gruppe havde den ene person mulighed for at bruge udstyret hele tiden, mens den anden kun havde adgang til det i forsøgssituationen – det vil sige nogle få timer hver uge. Formålet med denne opdeling var at undersøge, hvilken form for træning, der var mest effektiv – kunne en massiv ustruktureret træning give væsentlige ændringer?

Forsøgspersonerne viste sig at kunne tolke simple geometriske figurer alene ud fra forklaringen om, hvordan systemet virkede. I første forsøgsrunde lykkedes det dem i omkring tredive procent af tilfældene at beskrive figurer som trekanter og firkanter korrekt. Interessant nok blev de ikke bedre til at genkende geometriske objekter i løbet af forsøget.

Komplekse objekter som billeder af en potteplante eller en handske gav forsøgspersonerne langt større problemer i starten. De fik under fem procent rigtige svar – lidt bedre end de ville kunne opnå med simpelt gætteri.

I løbet af de tre uger blev de til gengæld betydeligt dygtigere – men kun de forsøgspersoner, der brugte apparaturet hver dag. Den bedste af dem nåede op på at genkende op til 30 procent af de komplekse objekter. Man skal huske på, at de informationer, der kan gemmes i et lydbillede på 64x64 punkter svarer nogenlunde til de data, der er i et s/h billede på 1x1 cm på en avisside. Det giver nogle klare begrænsninger for, hvor komplekse billeder, det er muligt at genkende.

Forsøget. Billedrækken viser udviklingen for den forsøgsperson, der fik lov til at tjekke sine synsindtryk med lydbillederne og brugte udstyret hele tiden i forsøgsperioden. Øverste række viser de billeder, som vedkommende skulle gætte. Anden række kommentarer og trejde række forsøg på at tegne det hørte. Læg mærke til at vedkommende til sidst er i stand til at skelne mellem to forskellige typer af blomster. [fotos: Petra Störig] Klik for større foto

Hjernen bruger synsdelen
Der er flere interessante konklusioner på eksperimentet. For eksempel at hjernen tilsyneladende kan lære at behandle de fremmedartede data ved at blive udsat for en massiv strøm af dem. Forsøgspersonernes hjerner blev skannet under forsøget, og det gav en interessant ekstra vinkel på dette. I løbet af forsøget brugte hjernen flere og flere af de områder i hjernebarken, der normalt domineres af synssansen.

»Tidligere undersøgelser har vist, at mennesker, der er blevet tidligt blinde er i stand til at inddrage en stor del af den visuelle del af hjernebarken til brug for hørelsen. De får ofte en stærkt forbedret evne til at placere lyde rumligt. Vores forsøg antyder, at hjernen meget hurtigt begynder denne proces.« fortæller Petra Störig.

Så på en måde kan man sige, at forsøgspersonerne begyndte at »se« lyden. En af de blindede personer rapporterede også mod slutningen af forsøget, at han af og til fik visuelle indtryk, når han hørte lydbillederne.

»Nogle af resultaterne er overraskende positive, næsten utrolige. Men vi er langt fra et brugbart værktøj. Hvis jeg var blind, ville jeg stadig foretrække at bruge en stok, hvis jeg skulle orientere mig i et rum,« lyder Petra Störigs kuldslåede vurdering af eksperimentets succes som erstatning for synet.

Men hun mener også, at der er rige muligheder for at ændre på både hardware og software, så det fungerer bedre. I øjeblikket er konverteringen fra billede til lyd primitiv. Skanningen fra højre til venstre virker unaturlig. Vores syn opfatter normalt et billede fra midten og ud, så måske ville en cirkulær skanning fra midten af billedet være langt mere naturlig.

Lydbillederne mangler også helt essentielle dele af vores syn, for eksempel evnen til at skelne sammenhængende objekter. Bevægelse – som vores syn er rigtigt godt til at håndtere – er også praktisk umulig i lydbillederne.

Men Petra Störig tror, at det kan blive langt bedre, hvis man ændrer på konverteringen af billede til lyd ved at udnytte den store viden, man allerede har om, hvordan mennesker opfatter billeder. Jo mere computeren konverterer billedet efter synets principper, jo lettere vil det være at forstå billedet.

For eksempel skærper vores syn automatisk kontraster, og hvis softwaren gjorde det samme, vil det sandsynligvis hjælpe på vores forståelse af billedet.

Det centrale spørgsmål er, hvordan vi overhovedet kan få noget ud af at lytte til en strøm af lyde.

Selvom forsøgspersonerne havde en intellektuel forståelse af systemet, så er det næppe den, de bruger til at forstå lydene. De personer, der havde adgang til at se de visuelle billeder efter at have hørt lydene, var nemlig kun en smule bedre end dem, der ikke havde – og det var især i starten af eksperimentet

Men den person, der forbedrede sin billedforståelse mest, var ham, der var blindet hele tiden under forsøget og som havde fuld brug af udstyret. Selvom professor Störig selvfølgelig advarer om, at forsøget havde så få testpersoner, at man ikke må drage endelige konklusioner. Individuelle forskelle mellem personerne kan have drejet resultaterne.

Hjernen er klog
Forsøget viser, at vores hjerne ubevidst og automatisk forsøger at bearbejde indtryk, der kommer til den – eller som Petra Störig formulerer det:

»Hjernen er klog. Hvis den får et signal, som den har en chance for at forstå, vil den arbejde på at forstå det. Undervejs laver den om på sig selv og inddrager dele af hjernen, der måske ellers bruges til noget andet.«

Til daglig føles vores sanser så naturlige og korrekte, at vi aldrig tænker på deres verdensbillede, som en konstruktion lavet inde i vores hjerne.

Men Petra Störigs forsøg demonstrerer tydeligt i hvor høj grad, det er tilfældet. Det lydbillede, som i forsøget bliver sendt til hjernen, er i den grad et unaturligt og mekanisk kunstprodukt af vores virkelighed. Alligevel formår vores hjerne at lave –primitiviteten af dette første forsøg taget i betragtning – et ret korrekt billede af verden.

Det er selvfølgelig gode nyheder for alle, der har mistet en sans, fordi det tyder på, at hvis man bare kan lede en nogenlunde acceptabel datastrøm til hjernen fra et kamera, en mikrofon eller hvad som helst andet, så vil hjernen forsøge – og sandsynligvis lykkes – med at danne et verdensbillede.

Det åbner også spændende muligheder for, at vi en gang i fremtiden kan forstå datastrømme fra vores apparater. Hvis vi har brug for at tolke dataflowet fra en sonde på Titan eller en MRI-scanner, kan vi sende det direkte ind i hjernen. Hvis vi er tilstrækkeligt trænede, kan vi se det på en »naturlig« måde og måske opdage flere kvaliteter i det, end hvis vi er nødt til at omsætte det til billeder på en computerskærm.

Links
> Besøg Petra Störigs hjemmeside her
> Download konverteringsprogrammet her
> Hør lydeksempler fra den virkelige verden her
> Tegn selv lyde via Java-program her

Source URL of original publication appearing online on January 28, 2005:
http://www.ing.dk/article/20050128/NATUR/101280068