Voor blinden en slechtzienden bevatten smartphones en andere elektronica al jarenlang software die voorleest of omschrijft wat er op het scherm staat. Dat is ook broodnodig: zonder zo'n screenreader zouden mensen met een visuele beperking niet verder dan het thuisscherm komen.

Voor doven en slechthorenden zijn de meeste functies van smartphones goed te gebruiken, maar telefoneren en de consumptie van media met geluid kunnen nog altijd een obstakel vormen. Met de snelle verbetering van spraak-naar-tekst-technologie begint daar verandering in te komen.

Op zijn ontwikkelaarsconferentie I/O presenteerde Google onder meer Live Caption. Later dit jaar zal het op de nieuwste Pixel-telefoons van Google mogelijk worden om liveondertiteling aan te zetten bij alle video's en geluidsbestanden. Nu is ondertiteling alleen beschikbaar bij sommige video's, bijvoorbeeld op Netflix of de site van de NPO, maar met Live Caption moet het mogelijk worden om overal ondertiteling bij te genereren.

Dat werkt bovendien zonder internetverbinding. Google heeft de complexe taalmodellen die nodig zijn om spraak te ontcijferen dusdanig weten te verkleinen, dat ze nu op een smartphone kunnen worden geïnstalleerd. Dat maakt spraakherkenning niet alleen beschikbaar in meer situaties, maar ook een stuk sneller.

De demonstratie van Live Caption was een van de hoogtepunten van Googles jaarlijkse perspresentatie, afgelopen dinsdag. "Het heeft de show gestolen", zegt productmanager Brian Kemler, die werkt aan Live Caption. "We wisten dat het cool was, maar niet dat de reactie zó positief zou zijn."

Een testversie van de technologie werkt al indrukwekkend goed. Live Caption wordt geactiveerd door op de volumeknop van de smartphone te drukken, en vervolgens op een ondertitelingsicoon te tikken.

De Engelse ondertitels zijn bijna compleet nauwkeurig, zowel bij een radio-item van de Amerikaanse publieke omroep NPR, een Fortnite-livestream op Twitch, als een fragment uit een talkshow op YouTube. Alleen sommige namen worden incorrect gespeld.

Door twee keer snel op de ondertiteling te tikken, kan worden gekozen tussen een weergave van twee regels tegelijk of een groter blok tekst. De Live Caption kan over het scherm worden gesleept, zodat hij video's of knoppen op het scherm niet blokkeert.

Omdat de ondertiteling geheel op het apparaat plaatsvindt, verschijnen teksten zodra ze zijn uitgesproken bijna zonder vertraging. De functie werkt ook offline, bijvoorbeeld met podcasts die al eerder zijn gedownload. Nadeel van de offlineverwerking is dat hiervoor een taalmodel naar de smartphone moet worden gedownload. Voorlopig is alleen voor het Engels zo'n model beschikbaar, dus Nederlanders zullen nog even op de functie moeten wachten.

Dat de Live Caption-functie waardevol is voor mensen die niet goed horen is evident, maar ook voor andere smartphonegebruikers kan het inschakelen van ondertiteling handig zijn. Wie bijvoorbeeld in de trein zit zonder koptelefoon, maar toch even een video wil kijken, kan dat doen zonder andere passagiers te storen.

De ontwikkelaars van Google noemen dit het 'curb cut effect', vernoemd naar verlagingen in stoepranden die het mogelijk maken voor rolstoelgebruikers om het voetpad op en af te komen. Dat ontwerp is weliswaar bedacht om de toegankelijkheid te verbeteren voor mensen met een beperking, maar heeft vervolgens ook voordelen voor ouders met een buggy of reizigers met een zware rolkoffer.

"Wanneer wij nadenken over toegankelijkheid, willen we zorgen dat iedereen ervan profiteert, niet alleen de mensen met een zware handicap", zegt Google-productmanager Patrick Clary, die zelf een rolstoel gebruikt.

Tegelijk moet de toegankelijkheid voor mensen met een beperking centraal blijven staan, zegt Kemler. Hij werkt ook aan Live Transcribe, een Android-app die sinds eerder dit jaar wordt getest. Met Live Transcribe is het mogelijk om - weliswaar alleen met een internetverbinding - gesprekken in zeventig talen live om te zetten in tekst.

Kemler zegt dat zijn team ontwikkelaars meteen doorhad dat die functie ook voor mensen zonder gehoorprobleem handig kan zijn, bijvoorbeeld voor journalisten die tijdens een interview direct een transcript willen aanmaken. "We moesten echt een stap terug doen en zeggen: 'We kunnen ons niet laten verleiden door al die geweldige mogelijkheden en moeten eerst focussen op toegankelijkheid'", zegt Kemler. (Goed nieuws voor interviewers: inmiddels wordt er wel gewerkt aan een functie om de tekst uit Live Transcribe te exporteren.)

Een laatste toegankelijkheidsproject dat misschien wel een bredere aantrekkingskracht zal hebben, is Project DIVA. Dat is een initiatief van de Italiaanse Google-ontwikkelaar Lorenzo Caggioni, wiens broer Giovanni het Down-syndroom heeft en bovendien blind is.

Hij kan de slimme Google Home-speaker niet met zijn stem bedienen, dus bouwde Caggioni een manier om met knoppen in verschillende formaten opdrachten door te geven aan de Home. Een knop kan bijvoorbeeld worden gebruikt om muziek te starten, en een andere om Finding Nemo af te spelen op de televisie.

Met zogenoemde RFID-sensoren is het bovendien mogelijk om acties uit te voeren door een object op een scanner te leggen. Leg een Peppa Pig-knuffel op de scanner, en de serie wordt gestart op de tv.

Caggioni denkt dat nieuwe inputmogelijkheden voor slimme speakers voor iedereen nuttig kunnen zijn. Knutselaars kunnen hun eigen Project DIVA-knoppen en scanners in elkaar draaien met instructies die online zijn geplaatst. Caggioni verwacht dat daar allerlei nieuwe toepassingen uit zullen voortkomen: "Als iets werkt voor Giovanni, werkt het voor de rest van de familie nog beter."