Original story
DataWeekly 1.9.2003. FOCUS: Ocular Interfaces
Eye-controlled software - the answer to mouse fatigue?
*The long wait is over and Microsoft has finally unveiled its new eye-controlled WINK software plug-ins for Windows 2001. The software can be downloaded from Microsoft servers for immediate installation at a very reasonable upgrade charge of EUR 2.99. Microsoft predicts that ocular control will rapidly put mice back where they belong, as playthings for cats. *
Our test-team gave the new system the once-over in three micros. Ocular control proved to be a very promising idea, but still rather rough around the edges.
The WINK control system is based on a camera - installed either in the VDU itself or in a pair of virtual reality goggles - which monitors the position of the user’s eyes. The data provided by the camera allows WINK to gauge which part of the screen the users eyes are focused on. Additionally, the software is capable of recognizing certain gestures and expressions, with which the user can perform a number of basic functions. Menu selections, for example can be made by nodding, move commands by a shake of the head, and deleting can be achieved with a simple turning up of the nose. These functions work most smoothly in those programmes that have been devised specifically for use with ocular control. Traditional mouse-driven software can also be adapted for use with the eyes, when the control operates much as a mouse, and the expressions and gestures correspond to standard menu commands.
We found that virtual goggles gave the best results. This technology has in fact been around for some time in some industrial and military applications. The recognition of gestures and standard expressions, however, is more difficult than when using a built-in VDU camera.
In its advance press releases, Microsoft had claimed that ocular control would also work with the conventional mini-cams used in videotelephony. The resolution given by older analog cameras is not really sufficient for accurate tracking, however. The cursor does move across the screen, if one stares at it and concentrates, but the wobbling effects are rather disturbing. On a couple of occasions we even managed to produce the so-called “video lap” phenomenon, in which the cursor began to orbit crazily around a single point on the screen. This completely confused the system and caused it to crash. By contrast, the new DAV-003 standard digital cameras gave just as precise results as the virtual goggles used.
It must be said at the outset that ocular control places great demands on CPU performance. Only HP-Intel’s new Merced II processor was fully up to the task, allowing other operations to continue unhindered. Help for slower machines has been promised in the form of add-on pattern recognition cards, but we were not able to experiment with these, so at least at this stage ocular control is not really a feasible household application.
Our team’s opinions on the usefulness of ocular control varied widely. Clearly, some had a natural gift for behaving exactly as the system requires, while for others a good deal of practice was necessary, and even then the results were less than inspiring.
For example, one tester suffering from mouse-related tendosynovitis assured us that she would be taking up the new Microsoft system immediately. She gave an impressive practical demonstration of the potential speed of ocular control by playing out a traditional seven-row solitaire game according to Vegas rules in just 104 seconds. The other members of the team could only produce times over 3 minutes with the mouse, and over 5 minutes with WINK control. These poor results stemmed largely from the fact that users could not fix their gaze accurately enough, and expressions and gestures were not properly synchronized.
Anyone considering upgrading to the new system can check out their own suitability for ocular control without actually downloading the plug-in, by holding their gaze tightly on a single point and nodding and turning up their nose in exaggerated fashion. For obvious reasons, we do not encourage this in a public place.
Normally, the human eye travels continuously across an area corresponding to around 2o, and hence practice is required to keep the eye fixed on a single point. The oldest member of our test-team felt that concentrated vieiwing of this type could never really be learnt properly, as the “wandering eye” function is a basic genetic trait developed in order to ease shape recognition. The Microsoft package does include a tutorial that goes some way to curing this obvious problem. A couple of hours of training appreciably improved the results gained by the team.
Microsoft’s WINK will naturally stiffen competition in the control technology market. Up to now, Microsoft has been in the driving seat only in the field of mouse-driven applications, while the market leader for the electronics and optics required for ocular control is Sony.
Toteuma-arvio 2026
Toteuma lyhyesti
- Ilmiön toteuma: 4/5
- Toteuma viiden vuoden tarkkuudella: kyllä; arviointi-ikkuna on 1998–2008
- Toteuma väljemmällä aikahorisontilla: kyllä
- Ilmiön ydin: ihmisen ja tietokoneen vuorovaikutus laajenee hiirestä ja näppäimistöstä kohti katseeseen, eleisiin, asentoon ja muihin luonnollisempiin ohjaustapoihin perustuvia käyttöliittymiä.
Tarinan ydin ei ole pelkästään katseohjaus tietyn ohjelmiston ominaisuutena, vaan laajempi siirtymä pois yksinomaan hiiri-näppäimistö-paradigmasta. Tältä osin ennuste on toteutunut selvästi, mutta epätasaisesti. Katseohjauksesta ei tullut yleistä toimistotyön pääasiallista käyttöliittymää 2000-luvun alkuvuosina, mutta siitä tuli tärkeä apuväline esteettömyydessä, tutkimuksessa, peliteknologiassa, ajoneuvoissa sekä AR/VR- ja XR-ympäristöissä.
Viiden vuoden tarkkuudella ydinilmiö toteutui. Vuosien 1998–2008 aikana katseenseuranta oli jo teknisesti mahdollista, ja käyttöliittymät laajenivat kosketukseen, puheeseen, eleisiin ja liikeantureihin. Katseohjaus ei vielä syrjäyttänyt hiirtä tavallisessa näyttötyössä, mutta se ei ole arvioinnin ainoa vaatimus, koska tarinan merkitystason ydin on siirtyminen kohti luonnollisempia ohjaustapoja.
Väljemmällä aikahorisontilla tarinan ennakoima kehitys toteutui vahvemmin. Kosketusnäytöt muuttivat käyttöliittymien valtavirtaa älypuhelimissa ja tableteissa. Puheohjaus, eleohjaus, kasvojentunnistus, liikeanturit ja katseenseuranta laajensivat käsitystä siitä, miten koneita ohjataan. Erityisesti esteettömyydessä katseohjaus on ollut merkittävä: se mahdollistaa viestinnän ja tietokoneen käytön ihmisille, joille perinteiset syöttölaitteet eivät sovi. Uudemmissa XR-laitteissa katseen seuranta toimii myös valinnan, tarkennuksen, renderöinnin optimoinnin ja käyttöliittymän kontekstin ymmärtämisen välineenä.
Toteutumatta jäi lähinnä oletus siitä, että katseohjaus nousisi nopeasti yleiseksi hiiren korvaajaksi. Ihmissilmä on tehokas huomion osoitin, mutta ei aina hyvä jatkuvan tarkan kontrollin väline. Katseella osoittaminen, valitseminen ja selaaminen vaativat erilaista käyttöliittymäsuunnittelua kuin hiiri. Siksi ilmiö toteutui parhaiten siellä, missä katseohjaus täydentää muita ohjaustapoja, ei siellä missä sen oletettiin yksin korvaavan ne.
Johtopäätös: ennakoitu ilmiö toteutui olennaisilta osin ja viiden vuoden tarkkuudella, mutta monimuotoisemmin kuin tarinan konkreettinen asetelma antaa ymmärtää. Ihmisen ja koneen vuorovaikutus on selvästi laajentunut luonnollisempiin ohjaustapoihin, ja katseenseuranta on osa tätä kokonaisuutta.