1. C-Digital Vision Trainer®

Entwicklung eines monitor-gestützten Test- und Lernsystems für das 3D-Sehens mit telemedizinischer Anbindung

2. VR-Amblyopie Trainer

Entwicklung eines Virtual Reality-gestützten Lernsystems zur Amblyopie-Therapie mit telemedizinischer Anbindung.

3. AR/VR-basierte Optometrie und telemedizinische Multinutzerapplikationen (Verbundprojekt IDeA)

Entwicklung eines Virtual Reality-gestützten Perimeters und Amsler-Grid als integriertes Diagnose- und e-Assistenzsystem für Patienten mit altersbedingter Makuladegeneration (AMD).

4. VR-Okulomotor Tester (VR-OTS)

Entwicklung eines Virtual Reality-Diagnosesystems zur Überprüfung der Okulomotorik und der 3D-Sehfähigkeit in 9 Blickrichtungen mit telemedizinischer Anbindung zur schnellen Feststellung von Gehirnerschütterungen, LongCovid und anderen Erkrankungen.

1. c-Digital Vision Trainer®

PBN-MED-1603-0007

  • Förderzeitraum

1.8.2016 bis 31.7.2018

  • Wer sind/ waren die Kooperationspartner?
Lehrstuhl für Maschinelles Lernen und Datenanalytik Friedrich-Alexander-Universität Erlangen-Nürnberg Prof. Dr.-Ing. Björn Eskofier, Wolfgang Mehringer  
Talkingeyes&more GmbH im Medical Valley Center Prof. Dr. med. Michelson  
  • Wer fördert/ förderte?

Bayerischen Wirtschaftsministerium, im Rahmen eines BayMed-Projektes.

  • Gab es Ergebnisse?

Ergebnis 1: Repetitiver dynamischer Stereotest verbessert die Verarbeitungszeit bei jungen Sportlern
Hintergrund: Aktuelle Studien zeigen die Bedeutung von Wahrnehmungstraining für die Behandlung von Amblyopie. Um das Stereosehen auf höherem Niveau zu verbessern, müssen visuelle Aufgaben innerhalb eines begrenzten Zeitfensters erledigt werden, wie bei wiederholten visuellen Funktionstests. Die „Verarbeitungszeit“ als Reaktionszeit, in der das Vorhandensein oder Nichtvorhandensein von Tiefe korrekt erkannt wurde, hat einen besseren Vorhersagewert für die Tiefenwahrnehmung als die Stereogrenze allein.

Zielsetzung: Untersuchung der langfristigen Auswirkungen von wiederholten dynamischen Stereotests auf die Verarbeitungszeit.

Methode: 15 männliche Fußballspieler (13,3±3,2 Jahre) nahmen über einen Zeitraum von sechs Wochen an zwölf Sitzungen eines 15-minütigen repetitiven dynamischen Stereovisionstrainings teil, das auf einem polarisierten 3D-Fernseher in einem vieralternativen Forced-Choice-Setup präsentiert wurde. Wir maßen die Reaktionszeit für korrekt identifizierte Sehaufgaben mit 11, 22, 44, 55, 66, 77 und 88 Bogensekunden Disparität vor, nach sechs Sitzungen, nach zwölf Sitzungen und nach sechs Monaten ohne Test. Da die Reaktionszeit die Summe aus Stereoverarbeitungszeit und motorischer Reaktionszeit ist, definierten wir die Differenz zwischen den Reaktionszeiten bei 11 und 88 Bogensekunden als „Stereoverarbeitungszeit bei 11 Bogensekunden“. Ein Wilcoxon Signed Rank Test wurde zwischen den Testsitzungen durchgeführt, um signifikante Veränderungen der Reaktionszeit und der Stereoverarbeitungszeit zu ermitteln.

Ergebnisse: Nach sechs Sitzungen sank die mittlere Stereoverarbeitungszeit bei 11arcsecs signifikant von 804,4 ms auf 403,7 ms (Z = -2,499, p = 0,012). Sechs Monate nach dem letzten Training blieb die Stereoverarbeitungszeit bei 11arcsecs auf dem Niveau der letzten Sitzung.

Verbesserung der Reaktionszeit bei 3D-Stimuli von 11 arcsec nach 3 und 6 Wochen Training mit c-Digital Vision Trainer(R)

Schlussfolgerung: Unsere Ergebnisse deuten darauf hin, dass das wiederholte Testen der Stereovision die Verarbeitungszeit von stereoskopischen Aufgaben bei jungen männlichen Sportlern langfristig signifikant verbessern kann.

Schlüsselwörter: Binokulares Sehen; Tiefe; Tiefenwahrnehmung; Erkennung/Diskriminierung; Lernen; Plastizität; Stereosehen; Stereopsis.

Repetitive dynamic stereo test improved processing time in young athletes. Schoemann MD, Lochmann M, Paulus J, Michelson G. Restor Neurol Neurosci. 2017;35(4):413-421. doi: 10.3233/RNN-170729.

Ergebnis 2: Stereoskopisches visuelles Wahrnehmungslernen bei Senioren mit c-Digital Vision Trainer(R) verbessert nachhaltig die 3D-Sehfähigkeit

Hintergrund: Wir konnten zeigen, dass Senioren ihre stereoskopische Fähigkeit (Stereoakuität) und die entsprechende Reaktionszeit durch wiederholtes Training verbessern können und dass diese Verbesserungen durch das Training auch nach längerer Zeit ohne Training noch vorhanden sind.

Methoden: Elf Senioren (Durchschnittsalter: 85,90 Jahre) trainierten sechs Wochen lang zweimal wöchentlich ein dynamisches stereoskopisches Wahrnehmungstraining mit einem Sehtrainingsgerät (c-Digital Vision Trainer®). Das stereoskopische Training wurde in 12 Trainingseinheiten (n = 3072) mit visuellen Aufgaben durchgeführt. Die Aufgabe bestand darin, mit Hilfe eines Controllers eine von vier Figuren (stereoskopische Stimuli) zu identifizieren und auszuwählen, die eine unterschiedliche Disparität aufwiesen. Die Tests umfassten ein dynamisches Training (mit rotierenden Kugeln) und einen statischen Test (mit Platten ohne Bewegung). Vor und nach dem Training wurden die Stereoakuität und die entsprechenden Reaktionszeiten mit dem statischen Stereotest ermittelt, um den individuellen Trainingserfolg zu bestimmen. Die Veränderungen in der Reaktionszeit bei stereoskopischen Reizen mit abnehmender Disparität wurden berechnet.

Ergebnisse: Nach 6 Wochen Training verbesserte sich die Reaktionszeit im Median von 936 arcsec auf 511 arcsec (Fig 3). Das stereoskopische Sehen verbesserte sich von 138 arcsec auf 69 arcsec, was einer Verbesserung um zwei Schwierigkeitsgrade entspricht. Nach 6 Monaten ohne Training blieb die durch das Training erzielte Verbesserung stabil.

Schlussfolgerungen: Bei älteren Menschen führt visuelles Training zu einer signifikanten, lang anhaltenden Verbesserung des stereoskopischen Sehens und der entsprechenden Reaktionszeit bei Senioren. Dies deutet auf eine kortikale Plastizität auch im hohen Alter hin.

Schlüsselwörter: Alterung; binokulare Disparität; Lerneffekt; Neuroplastizität/kortikale Plastizität; älteste alte/hochbetagte Patienten; Stereopsis; gezielte visuelle Stimulation; visuelles Wahrnehmungslernen; Sehleistung.

Erbes S, Michelson G. Stereoscopic Visual Perceptual Learning in Seniors. Geriatrics (Basel). 2021 Sep 18;6(3):94. doi: 10.3390/geriatrics6030094. PMID: 34562995; PMCID: PMC8482257.

  • Worum ging es bei dem Forschungsvorhaben?

Gute visuelle Kognition ist entscheidend bei Aktivitäten im Alltag und kann durch neuronale Mechanismen –ohne Veränderung der Augenrefraktion – verbessert werden. Visuelles perzeptives Wahrnehmungs-Lernen (VPL) verbessert durch Aktivierung der neuronalen Plastizität des visuellen Cortex das menschliche Sehen, ohne die Optik des menschlichen Auges zu verändern. Im geplanten Projekt wird ein Digitales Visuell-motorisches Perzeptives Lernsystem (D-VPL) für sehbehinderte Senioren und zerebrale Reha-Patienten entwickelt, um mit einer Dual-Task-Anwendung das binokuläre Sehen (Stereosehen), die Sehschärfe und das Kontrastsehen durch geeignetes Training zu verbessern. Die Dual-Task-Anwendung besteht aus dem Erkennen einer visuellen Aufgabenstellung „Task #1“ und der motorischen Gestenantwort „Task #2“. Das Alltagsleben in seiner gesamten Breite enthält eine Vielzahl von Situationen, in denen motorische Bewegungen und gleichzeitige visuelle Anforderungen koordiniert werden müssen. Die Fähigkeit zu solchen Mehrfachhandlungen (Dual-Task Handlungen) setzt ausreichende visuell-motorische Aufmerksamkeitsleistungen voraus. Der Grad dieser Fähigkeit kann gezielt trainiert und verbessert werden. Bei Demenz ist die Fähigkeit des „Dual-Taskings“ stark herabgesetzt. In der Folge kann es bei Mehrfachhandlungen, z.B. beim Gehen während einer visuellen Fragestellung, zu Bewegungsfehlern und zum Sturz kommen. In verschiedenen wissenschaftlichen Untersuchungen konnte gezeigt werden, dass Defizite bei Mehrfachaufgaben bei Demenzkranken eine Ursache für Stürze darstellen (Lundin – Olsson 1997). Das visuell-motorische Training geschieht in einer virtuellen 3D-Realität bei der Bearbeitung von visuellen Aufgaben durch Gestensteuerung mit beiden Armen im Raum (Dual-Task). Die visuellen Aufgaben werden mit zunehmenden Schweregrad gestellt.

  • Was war das Ziel?

Unser Ziel war die Fortentwicklung eines bereits als Prototypen bestehenden Digitalen Visuell-motorischen Perzeptiven Lernsystems (D-VPL) mit telemedizinischer Anbindung an Augenärzte zur Behandlung von Sehbehinderungen. Dabei interagiert der Nutzer mit Gestensteuerung auf die Präsentationen von bewegten Formen auf einem Stereo-Bildschirm oder in einer „VR-Brille“ (Virtual-Reality-Brille). Die Steuerung der Software erfolgt durch Tastendruck (auf einem Gamepad) oder Körperbewegungen, die entweder mittels „inertial measurement unit” Sensoren (IMU Sensoren) oder der Microsoft Kinect (Kamera mit Tiefensensor) erfasst werden. Durch wiederholtes Durchführen der visuellen Aufgabenstellungen in der „virtuellen Realität“ mit zunehmendem Schwierigkeitsgrad (visuell-motorisches Sehtraining) werden die Stereosehfähigkeit und die Erkennungsschnelligkeit und damit die visuelle Kognition gesteigert. Sowohl sehbehinderte Senioren wie zerebrale Reha-Patienten verbessern durch D-VPL ihre visuellen Fähigkeiten in den Parametern Stereosehfähigkeit, Sehschärfe, Kontrastsehfähigkeit und Schnelligkeit des Erkennens. D-VPL basiert auf dedizierten Algorithmen, die in Form von bewegten optischen Mustern (z.B. auf den Beobachter zufliegende Objekte) als virtuelle 3D-Realität therapeutisch wirksam werden. Durch die telemedizinische augenärztliche Anbindung von D-VPL besteht eine hohe Compliance und ärztliche Anwendungsmöglichkeiten von D-VPL in Arztpraxen, Seniorenresidenzen und Reha-Zentren. Alle medizinischen Daten werden datengeschützt in einer elektronischen Patientenakte von Talkingeyes&more GmbH gespeichert und stehen Beteiligten zur Verfügung.

Projektziele waren damit (1) Realisierung eines Prototypen c-Digital VisionTrainer zur Durchführung eines Trainings des Sehkanals Stereopsis, (2) den Trainingserfolg dieses Systems mit Anfangs- und Abschlusstests zu dokumentieren, (3) die technische Umsetzung des Prototypen sowie dessen Wirksamkeit hinsichtlich der Stereopsis wissenschaftlich zu publizieren und (4) den c-Digital VisionTrainerals Medizinprodukt zu zertifizieren. Die Ziele (1) bis (3) wurden erreicht. Das Ziel (4) ist in Bearbeitung.

Ziel (1) Prototyp c-Digital VisionTrainer zum Training des Sehkanals Stereopsis: Der Prototyp des c-Digital Vision Trainer wurde technisch realisiert. Die Software ermöglicht ein repetitives dynamisches Training des Stereosehens mit stereoskopischen Stimuli mit unterschiedlichen Schwierigkeitsgraden. Der c-DIGITAL VISION TRAINER® präsentiert auf einem polarisierten 3D-TV repetitiv stereoskopische Stimuli mit 4 Alternativen. Der Teilnehmer muss so schnell er kann auf den Ball zeigen, der ihm im Vergleich zu den anderen 3 Bällen näher erscheint. Der richtige Ball kann nur bei binokulären Sehen erkannt werden. Die Interaktion erfolgt mittels Gamepad oder Gestenkontrolle. Die Ergebnisdaten werden sofort gezeigt und können zusätzlich telemedizinisch von einem Experten ausgewertet werden. Der c-Digital Vision Trainer wurde/ wird bisher verwendet von folgenden Institutionen: (1) SG Quelle Fürth als Torwart-Training, (2) in der Seniorenresidenz Waldkrankenhaus in Erlangen, (3) bei Tennisprofis der TennisBase München, (4) im Handballverein HC-Erlangen als Torwarttraining, (5) beim Fussballclub FC Hoffenheim und (6) bei amblyopen Patienten in der Augenärztlichen Privatpraxis im Parcside Nürnberg.

Ziel (2) Dokumentation des Trainingserfolgs: c-Digital VisionTrainer wurde erfolgreich eingesetzt bei Augengesunden unterschiedlichen Alters. Es wurde von Schoemann, Kutzner und Erbes gezeigt, dass der c-Digital Vision Trainer nachweisbar und über mindestens 6 Monate anhaltend als „Digitale Therapie“ das stereoskopische Sehen bei Sehgesunden verbessert. Die Ergebnisse des Sehtrainings bei Torwärtern bei SG Quelle Fürth bereits publiziert. 3 

Ziel (3) wissenschaftliche Publikation der technischen Umsetzung des Prototypen sowie dessen Wirksamkeit: (a) Die Wirksamkeit wurde von Herrn Schoemann nachgewiesen und in „Repetitive dynamic stereo test improved processing time in young athletes. Schoemann MD, Lochmann M, Paulus J, Michelson G. Restor Neurol Neurosci. 2017;35(4):413-421. doi: 10.3233/RNN-1707292 publiziert. 3 (b) Das zugrunde liegende Prinzip des c-Digital Vision Trainer wurde 2016 von GM patentiert (EU-Patent 3287074). 4 Die Manuskripte der Trainingsergebnisse bei Tennisprofis und bei Senioren sind derzeit in Submission in wissenschaftlichen Zeitschriften.

 (4) Zertifizierung des c-Digital VisionTrainer als Medizinprodukt Klasse IIa: Dazu gehört als Voraussetzung die Zertifizierung des Qualitätsmanagements der Talkingeyes & More GmbH nach MDR. Dieses Ziel wird für Q4 2021 angestrebt. Danach wird die Software des c-Digital VisionTrainer als Medizinprodukt der Klasse IIa zertifiziert.

  • Wie erfolgte die Durchführung?

Sehtraining mittels c-Digital Vision Trainer® vor Ort

Ein Medizinisch Technischer Assistent führt das Sehtraining mittels c-Digital Vision Trainer®  vor Ort durch. Der Nutzer kann das Training im Sitzen, auf dem Laufband oder auf dem Fitness-Bike durchführen.

Das Sehtraining mit dem c-Digital Vision Trainer kann durchgeführt werden im Sitzen, im Stehen und beim Fitnesstraining mit dem Indoor-Bike

Tele-augenärztliche Befundung durch beauftragenden Augenarzt oder durch Reading Center des Tele-Ophthalmologischen Institutes

Alle vor Ort aufgenommenen Daten werden in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert und erlauben damit eine telemedizinische Befundung durch den Augenarzt. Der augenärztliche Befund wird ebenfalls in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert.

Elektronischer Zugang zu allen Bildern und Befunden

Durch die Nutzung der webbasierten, einrichtungsübergreifenden Patientenakte Medstage® haben alle durch den Nutzer autorisierte Ärzte Zugang zu den Daten, Bildern und Befunden. Die Befunde können im pdf-Format im Desktop, Notebook oder Smartphone abgerufen und in anderen e-Patientenakten gespeichert werden.

Technische Infrastruktur

Die mobilen c-Digital Vision Trainer® -Untersuchungs- und Trainingseinheiten, der befundende Arzt, das Reading Center, die einrichtungsübergreifende Patientenakte und die kooperierenden Ärzte sind verknüpft durch das Talkingeyes®-Netzwerk. Es besteht aus einem Server-basierten System und der Applikationssoftware MedStage®. Das Speichern  der Daten  erfolgt ohne Nutzung eines lokalen Rechners in Medstage®.  Der Zugang zu den Daten erfolgt datenschutzsicher. Die Netzwerk-Software von Talkingeyes® unterstützt verschiedene Browsertypen (auch Safari unter iOS) und erlaubt die strukturierte Speicherung aller Daten und Bilder in einer SQL-Datenbank (aktuell Oracle 11g). Es bestehen eine vollständige Transaktionskontrolle und ein zentraler Backup. Durch die mandantenfähige Architektur und das rollenbasierte Rechtekonzept erfolgt eine vollständige Abschottung der Projekte untereinander. Die Befunderstellung erfolgt auf Basis XML/XSL für HTML- und eine PDF-Ausgabe.

  • Ist die Technik patentiert?

Das zugrunde liegende Prinzip des c-Digital Vision Trainer wurde 2016 patentiert (EU-Patent 3287074).

  • Ist der Begriff als Wortmarke geschützt?

Der Begriff „c-Digital Vision Trainer®“ wurde am 18.8.2016 als Wortmarke geschützt.

  • Literatur
  1. Front Psychol. 2014 Oct 20;5:1186. doi: 10.3389/fpsyg.2014.01186. eCollection 2014. Extended stereopsis evaluation of professional and amateur soccer players and subjects without soccer background. Paulus J, Tong J, Hornegger J, Schmidt M, Eskofier B, Michelson G.
  2. Br J Ophthalmol. 2014 Mar;98(3):383-6. Repetitive tests of visual function improved visual acuity in young subjects. Otto J, Michelson G.
  3. Repetitive dynamic stereo test improved processing time in young athletes. Schoemann MD, Lochmann M, Paulus J, Michelson G. Restor Neurol Neurosci. 2017;35(4):413-421. doi: 10.3233/RNN-170729.
  4. EU Patent EU-Patent 3287074, Verfahren zur Erfassung der zerebralen Kognitionszeit sowie Vorrichtung zur Erfassung der zerebralen Kognitionszeit
  5. Erbes S, Michelson G. Stereoscopic Visual Perceptual Learning in Seniors. Geriatrics (Basel). 2021 Sep 18;6(3):94. doi: 10.3390/geriatrics6030094. PMID: 34562995; PMCID: PMC8482257.

2. Integriertes Diagnose- und e-Assistenzsystem für Patienten mit altersbedingter Makuladegeneration (AMD)

Akronym: IDeA

Teilprojekt TE&M: Entwicklung AR/VR-basierter Optometrie und telemedizinischer Multinutzerapplikationen

V5VAR1024-07

Förderzeitraum

01.12.2018 – 30.11.2022

Wer sind die Kooperationspartner?

Verbundpartner

Firma /InstitutionAnsprechpartnerAdresse
Inst. für Informatik,
LMU München (IFI-LMU)		Prof. Dr. A. Schmidt VerbundkoordinatorFrauenlobstr. 7a 80337 München
MPI für bio. Kybernetik,
Tübingen (MPIK)		Dr. L. ChuangMax-Planck Ring, 8,
72076, Tübingen
Inst. für Augenheilkunde,
Uni. Tübingen (IFA-UT)		Dr. K. RifaiElfriede-Aulhorn-Str. 7 72076 Tübingen
Blickshift GmbH
(BS)		Dr. M. RaschkeSchelmenwasen-str. 34,
70567 Stuttgart
NMY GmbH
(NMY)		Hr. S. DemmerleHanauer Landstraße 188,
60314 Frankfurt/M.
Talkingeyes & More GmbH
(TM)		Prof. G. MichelsonHenkestraße 91, 91052 Erlangen

Wer fördert/ förderte?

Bundesministerium für Bildung und Forschung

Worum geht/ ging es bei dem Vorhaben?

Aufgrund der demografischen Entwicklung gibt es in Deutschland einen zunehmenden Bedarf an Maßnahmen zur Behandlung und Prävention altersbedingter Erkrankungen, so der altersbedingten Makuladegeneration (AMD). AMD verursacht ca. ein Drittel aller Neuerblindungen und ist die Hauptursache der Erblindung bei Menschen über 50 Jahren in den Industrieländern. Allein in Deutschland leben bereits mehr als 1,5 Millionen Menschen mit dieser Erkrankung; 20% aller 65- bis 75-jährigen sind betroffen, bei über 75-jährigen sind es mehr als ein Drittel[1]. Ihre Versorgung stellt eine immer größer werdende Herausforderung für das Gesundheits- und Sozialwesen dar. AMD äußert sich zu Beginn durch verschwommenes und verzerrtes Sehen im zentralen Gesichtsfeld und führt schrittweise zu einem Totalverlust der Sehkraft in diesem Bereich. Dies erschwert Aktivitäten wie Lesen oder das Erkennen von Gesichtern. Erkrankte können beispielsweise eine Uhr sehen, aber die Uhrzeit nicht ablesen (siehe Abbildung 1). Durch eine frühzeitige Diagnose und Behandlung der Erkrankung lässt sich eine Verschlechterung in den meisten Fällen hinauszögern oder sogar vermeiden. Jedoch entwickelt sich AMD häufig schleichend und wird erst bei deutlicher Schädigung der Netzhaut und damit einhergehender Funktionseinschränkung erkannt.

Das Projekt IDeA hat das Ziel, auf VR- und AR-Technologie basierende Assistenzfunktionen zu entwickeln, die Menschen mit altersbedingter Makuladegeneration bei der Bewältigung ihres Alltags helfen und ihnen ermöglichen, länger selbstständig und selbstbestimmt zu leben.

AR/VR-Technologie soll eingesetzt werden, um Informationen aus der Umwelt zu erfassen und in abgewandelter Form auf einem mobilen Headset darzustellen, so dass sie trotz der Erkrankung noch erkannt werden können. Zusätzlich soll das Potential von AR/VR-Technologien, bei der alltagseingebetteten Früherkennung und Follow-up-Diagnostik von Sehfelddefekten erschlossen werden und durch prototypische Anwendungen validiert werden. Ein dritter Forschungsschwerpunkt liegt bei der Entwicklung auf AR/VR-basierter, telemedizinischer Methoden zur Verbesserung des Informationsflusses zwischen AMD-Patienten, Ärzten, Therapeuten und anderen medizinischen Fachkräften. Diese drei Funktionskomponenten sollen in einem nutzerzentrierten Designprozess systematisch auf die Bedürfnisse der Anwender hin optimiert und bei Abschluss des Projektes in einem integrierten System implementiert werden.

Die Innovation der Produktidee wird von den Firmen Blickshift (Start-up, Visualisierung komplexer Augenbewegungsdaten), NMY Mixed-Reality Communication (KMU, Mixed-Reality-Schnittstellenentwicklung), Talkingeyes & More GmbH (KMU, telemedizinische Dienstleistungen) und Zeiss Vision (Großunternehmen, Consumer Optics) als hoch bewertet. Allen Firmen planen nach Ablauf des Projektes Komponenten des entwickelten Systems zu vermarkten oder in ihre bestehende Infrastruktur zu integrieren.

Was sind/ waren die Ziele von TE&M im Verbund?

Standardisierte Verfahren zur Untersuchung der Sehfunktion bei AMD

Standardisierte Verfahren zur Untersuchung der Sehfunktion bei AMD: Wichtiger Teilaspekt eines integrierten Diagnose- und Assistenzsystem bei altersbedingter Makuladegeneration ist die Entwicklung von Verfahren zur Untersuchung der Sehfunktion bei AMD, die als HomeCare-Methode durchgeführt und zeitversetzt telemedizinisch von Augenärzten bewertet werden können. Dazu werden Fernsehmonitor-, HTC VIVE- und SmartPhone-gestützte VR-basierte Varianten entwickelt und validiert. Als Untersuchungen werden ein digitales Amsler Grid, ein VR-System zur Testung eines 30° Gesichtsfeldes, ein VR-System zur Überprüfung der beidäugigen Fusion bei verschiedenen Blickrichtungen und die Überprüfung der Kontrastempfindlichkeit entwickelt.

Nutzerschnittstellen für MultiNutzer-Funktionen

Nutzerschnittstellen für Multi-Nutzer-Funktionen: Die Ergebnisse der HomeCare- Untersuchungen und die augenärztlichen Bewertungen dieser Untersuchungen sollen allen Beteiligten schnell zur Verfügung gestellt werden. Dazu sind einfache Methoden zu entwickeln (1) zum upload von Patientenergebnisdaten in die elektronische Patientenakte, (2) zur tele-augenärztlichen Befundung dieser Ergebnisse und (3) zur Verfügungstellung der Daten, Bilder und Befunde an weitere autorisierte Ärzte. Der Tele-Augenarzt soll schnell und einfach befunden können, der AMD-Patient und die weiteren behandelnden Ärzte sollen schnell auf die Befunde zugreifen können.

Qualitätssicherung der Software- und Hardwareentwicklung zur Ermöglichung einer Zertifizierung als Medizinprodukt.

Qualitätssicherung der Softwareentwicklung für eine Medizinprodukt-Zertifizierung: Um das Integrierte Diagnose- und Assistenzsystem bei altersbedingter Makuladegeneration klinisch nutzen zu können, ist eine Zertifizierung als Medizinprodukt zwingend nötig. Dazu werden ein Dokumenten-Managementsystem und ein Prozesssteuerungssystem entwickelt, das alle Kooperationspartner einsetzen, um die dazu notwendigen Softwareentwicklungs-Anforderungen erfüllen zu können.

Wie erfolgt/ erfolgte die Verwertung?

Nach einer CE-Zertifizierung der validierten optometrischen Verfahren als Medizinprodukte der Klasse IIa wird das Integrierte Diagnose- und Assistenzsystem für AMD in die alltägliche augenärztliche Betreuung eingebunden. Da ab Mai 2018 das Fernbefundungsverbot nicht mehr gilt, sollen die oben genannten telemedizinischen Verfahren schrittweise zuerst in den PKV- und später in den GKV-Bereich der augenärztlichen Versorgung integriert werden.

Durchführung vor Ort

Der Patient- ggf. mit Hilfe eines Angehörigen- führt die optometrischen Verfahren zu Hause durch.

Tele-augenärztliche Befundung durch beauftragenden Augenarzt oder durch Reading Center des Tele-Ophthalmologischen Institutes

Alle vor Ort aufgenommenen Daten werden in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert und erlauben damit eine telemedizinische Befundung durch den Augenarzt. Der augenärztliche Befund wird ebenfalls in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert.

Elektronischer Zugang zu allen Bildern und Befunden

Durch die Nutzung der webbasierten, einrichtungsübergreifenden Patientenakte Medstage® haben alle durch den Patienten autorisierte Ärzte Zugang zu den Daten, Bildern und Befunden. Die Befunde können im pdf-Format im Desktop, Notebook oder Smartphone abgerufen und in anderen Patientenakten gespeichert werden.

Technische Infrastruktur

Die Patienten, der befundende Augenarzt, und die kooperierenden Ärzte sind verknüpft durch die einrichtungsübergreifende Patientenakte MedStage®. Speichern der Daten erfolgt ohne Nutzung eines lokalen Rechners in Medstage®.  Der Zugang zu den Daten erfolgt datenschutzsicher. Die Netzwerk-Software MedStage® unterstützt verschiedene Browsertypen (auch Safari unter iOS) und erlaubt die strukturierte Speicherung aller Daten und Bilder in der Cloud. Es bestehen eine vollständige Transaktionskontrolle und ein zentraler Backup. Durch die mandantenfähige Architektur und das rollenbasierte Rechtekonzept erfolgt eine vollständige Abschottung der Projekte untereinander. Die Befunderstellung erfolgt auf Basis XML/XSL für HTML- und eine PDF-Ausgabe.

[1] Berufsverband der Augenärzte Deutschlands e.V.; http://cms.augeninfo.de/nc/hauptmenu/presse/statistiken/statistik-altersabhaengigemakuladegeneration.html

3. Telemedizinisch kontrolliertes dichoptisches visuell-motorisches perzeptives Lernsystem zur Amblyopie-Therapie mittels Virtual Reality
VR-AMBLYOPIE TRAINER

PBN-MED-1710-0010

Förderzeitraum

bis 31.03.2020

  • Wer sind/ waren die Kooperationspartner?
Lehrstuhl für Maschinelles Lernen und Datenanalytik Friedrich-Alexander-Universität Erlangen-Nürnberg Prof. Dr.-Ing. Björn Eskofier, Wolfgang Mehringer  
Talkingeyes&more GmbH im Medical Valley Center Prof. Dr. med. Michelson  
  • Wer fördert/ förderte?

Bayerischen Wirtschaftsministerium, im Rahmen eines BayMed-Projektes

Worum geht/ ging es bei dem Vorhaben?

Unter Amblyopie versteht man ein neuronal bedingtes schlechtes Sehen am amblyopen Auge durch unwillkürliches Ausschalten des Seheindrucks des amblyopen Auges. Dadurch verliert der Patient das Stereosehvermögen. Statt Abkleben des besseren Auges und Durchführung von monokularen Sehübungen auf nur dem amblyopen Auge werden interessante und anregende virtuelle Ballspiele mit binokularem Ansatz durchgeführt. Bei Schiel-Amblyopien wird der Schielwinkel elektronisch ausgeglichen.

Bei Deprivations- und Refraktions-Amblyopien werden wie bisher organischen Störungen (z. B. Grauer Star) operiert und es erfolgt eine Korrektur vorhandener Brechungsfehler mittels Brille oder Kontaktlinsen. Im zweiten Schritt erfolgt nun keine ausschließlich auf das betroffene Auge ausgerichtete Okklusions- oder Pflasterbehandlung, oder Penalisationsbehandlungen mit Einsatz von bestimmten Augentropfen und Brillengläsern. Das Kind kann mittels des VR-AMBLOYPIE TRAINER spielerisch visuelle Aufgaben mit komplementären dichoptischen Stimuli (virtuelles Ballfangen mit den Händen) lösen. Der richtige Ball des virtuellen Ballspiels kann nur gefangen werden, wenn die Bilder beider Augen kombiniert werden („Binokulares Kriterium“). Am Ende des Trainings können die  Stimuli mit gleichem Kontrast beiden Augen angeboten werden, das dem natürlichen Sehen entspricht. In keinem Abschnitt des Sehtrainings mit dem VR-AMBLOYPIE TRAINER wird ein monokuläres Sehtraining durchgeführt, da immer nur mit binokulärem Sehen eine Lösung der visuellen Aufgaben möglich ist. Der VR-AMBLOYPIE TRAINER funktioniert nur mit telemedizinischer Anbindung an Augenärzte und kann deshalb abgerechnet werden. Der VR-AMBLOYPIE TRAINER kann bei amblyopen Kindern  als Home-Gerät (VR mit Smartphone) oder in der Klinik eingesetzt werden. Die Anwendung von VR-AMBLOYPIE TRAINER kann von Augenärzten medizinisch verschrieben werden und der Therapieerfolg telemedizinisch überwacht werden.

Was waren die Ziele?

Unser Ziel ist/ war die Fortentwicklung eines bereits als Prototypen bestehenden Digitalen Visuell-motorischen Perzeptiven Lernsystems (D-VPL) mit telemedizinischer Anbindung an Augenärzte zur Behandlung von Kindern mit Amblyopie. Dabei interagiert das Kind mit Gestensteuerung auf die Präsentationen von komplementären dichoptischen Stimuli in einer VR-Brille. Die Steuerung der Software erfolgt allein durch einen Controller.

Durch wiederholtes Durchführen der visuellen Aufgabenstellungen in der virtuellen Realität mit zunehmendem Schwierigkeitsgrad (visuell-motorisches Sehtraining) werden das binokulare Sehen gesteigert, die Suppression des amblyopen Auges vermindert und damit auch die Sehschärfe des amblyopen Auges verbessert. VR-AMBLOYPIE TRAINER basiert auf dedizierten Algorithmen, die in Form von bewegten optischen Mustern (z.B. auf den Beobachter zufliegende Objekte) als virtuelle 3D-Realität therapeutisch wirksam werden. Durch die telemedizinische augenärztliche Anbindung des VR-AMBLOYPIE TRAINER besteht eine hohe Compliance und ärztliche Anwendungsmöglichkeiten des VR-AMBLOYPIE TRAINER in Augenarztpraxen und Augenkliniken. Alle medizinischen Daten werden datengeschützt in einer elektronischen Patientenakte von Talkingeyes&more GmbH gespeichert und stehen allen Beteiligten zur Verfügung.           

Wie erfolgt/ erfolgte die Durchführung?

Die Aufgabenstellung war die Entwicklung eines telemedizinisch kontrolliertes dichoptisches visuell-motorisches perzeptives Lernsystem zur Amblyopie-Therapie mittels Virtual Reality. Das Medizinprodukt wurde genannt VR-Amblyopie Trainer. Der VR-Amblyopie Trainer diagnostiziert und therapiert die Erkrankung Amblyopie. Es besteht noch keine Interoperabilität mit allen VR-geeigneten Smartphones.

Der VR-Amblyopie Trainer hat folgende Eigenschaften:

Ausgleich des Schielwinkels für optimale Fusion

Kontrastanpassung des Bildeindrucks des kranken und des gesunden Auges („dichoptic contrast balancing“),

VR-basierte virtuelle Ballspielprogramme zur Minderung der Suppression und Verbesserung des 3D-Sehens.

4. VR-Okulomotor Tester (VR-OTS) — Digitale Applikation zur  Detektion von Gehirnerschütterungen in VR

Concu-VR®

  • Wer sind/ waren die Kooperationspartner?
Lehrstuhl für Maschinelles Lernen und Datenanalytik Friedrich-Alexander-Universität Erlangen-Nürnberg Prof. Dr.-Ing. Björn Eskofier, Wolfgang Mehringer  
Talkingeyes&more GmbH im Medical Valley Center Prof. Dr. med. Michelson  
  • Wer fördert/ förderte?

Bayerischen Wirtschaftsministerium, im Rahmen eines BayMed-Projektes

Worum geht/ ging es bei dem Vorhaben?

Gehirnerschütterungen sind Folge einer direkten oder indirekten Krafteinwirkung auf den Kopf. Patienten mit Gehirnerschütterung zeigen häufig Symptome wie Kopfschmerzen, Müdigkeit, Irritabilität, Lichtempfindlichkeit, Gedächtnis- und Sprachprobleme. 9 von 10 Patienten mit stumpfen Schädelhirntraumata zeigen zudem Sehstörungen, speziell Störungen der Okulomotorik und Fusion [1,2].

Gehirnerschütterungen führen zu (a) einer gestörten Kontrolle über Augenbewegungen (Okulomotorik) durch Funktionsstörungen/-beeinträchtigungen der Hirnnerven N. abducens, N. trochlearis und N. oculomotorius und (b) zu einer verzögerten Erfassung des visuellen Stimulus. Eine binokulare Tiefenwahrnehmung (3D-Sehen) setzt eine intakte Okulomotorik mit adäquater Augenausrichtung beim Blick in unterschiedliche Richtungen voraus, damit eine Verschmelzung des Bildes des rechten und linken Auges und damit Tiefenwirkung erreicht wird. Basierend auf Ausfall des Stereosehens und Art der Bewegungsstörung scheint eine Beurteilung der Betroffenen Hirnnerven möglich und damit auch eine grobe Lokalisation des betroffenen Hirnnerven. Durch den Einsatz von Maschinellem Lernen kann ein Algorithmus auf die spezifischen Veränderungen und deren Auswirkung auf die Okulomotorik sowie das Stereosehen trainiert werden (Künstliche Intelligenz). Der Vorteil dabei wäre, dass eine Erstauswertung durch das System vorgenommen werden kann, die den Arzt in seiner Entscheidung unterstützt oder, falls kein Arzt zugegen ist, dem Einsatzteam erste Einschätzungen liefern kann. Dies wäre ebenfalls eine Erweiterung des bisher möglichen Diagnosespektrums.

Das Problem, Gehirnerschütterung beim Sport zu erkennen soll gelöst werden mit einer VR-Brille mit Eye-Tracking mit Cloudanbindung zur Überprüfung der Fusion, der Reaktionszeit bei 3D-Stimuli und Augenbewegungen am Spielfeldrand. Unsere Vorarbeiten mit dem Prototypen des VR-OTS zeigten bereits eine hohe Sensitivität bei Gehirnerschütterungen. Unser Ziel ist ein als Medizinprodukt IIa- zertifiziertes und K.I-assistiertes Virtual Reality-Okulormotor-Testsystem (VR-OTS). Es wurde gezeigt, dass der Grad der gestörten Kontrolle über Augenbewegungen mit dem Grad der Gehirnerschütterung korreliert. Viele der verfügbaren Screening-Methoden für Gehirnerschütterungen sind entweder aufwendig oder überprüfen die Okulomotorik nur unzureichend. Ein bereits sehr fortschrittliches System ist das „EYE-SYNC“ System als Video-Okulographie mit Messung der Augenbewegungen, während die Augen ein Zielobjekt auf einer kreisförmigen Umlaufbahn verfolgen. Bei diesem System handelt es sich um eine zweidimensionale Darstellung der Zielobjekte. Eine quantitative Analyse ist damit nur sehr eingeschränkt möglich.

Eine Überprüfung von konjugierten Augenbewegungen durch Testung dreidimensionaler Stimuli in verschiedenen Blickrichtungen und Bestimmung der Reaktionszeiten bei unterschiedlichen Schwierigkeitsgraden ist derzeit nicht verfügbar. Es ist bekannt, dass bei Gehirnerschütterungen es zu einer gestörten Okulomotorik und aufgrund von gestörten konjugierten Augenbewegungen zu Doppelbildern führt. Dies führt zu verlängerten Reaktionszeiten des Erkennens und zu Ausfällen des Stereosehens in bestimmte Blickrichtungen.

Was sind/ waren die Ziele?

Ziel des Projekts ist es, eine schnelle automatisierte Diagnosestellung (mittels Künstliche Intelligenz) einer Fusionsstörung bei zB zerebralen Schädigungen im Hirnstamm durch Messung der Okulomotorik (eye-tracking) bei dreidimensionalen virtuellen Stimuli mittels Head-Mounted-Displays (HMD) zu erreichen. Die Anwendung wird als MPIIa und als Digitale Gesundheitsanwendung (BfArM) zertifiert und als Smartphone-Applikation angeboten. Außerdem wird eine Anbindung an existierende telemedizinische Systeme zur Beurteilung der Frage, ob keine, eine leichte oder schwere Störung der Okulomotorik vorliegt, angestrebt, die es möglich macht direkt an Unfallorten (Straßenverkehr, Spielfeld, Turnhalle, etc.) eine Beurteilung eines Arztes einzubeziehen.

Das Virtual Reality-Okulormotor-Testsystem (VR-OTS) prüft schnell (<5 min) am Spielfeldrand, ob ein fokal-neurologisches Defizit vorliegt. Es wird gemessen (1) die Fusionsfähigkeit, (2) die Reaktionszeit für 3D-Stimuli in 9 verschiedenen Blickrichtungen mit 3 verschiedenen Schwierigkeitsgraden und (3) die Augen-bewegungen während der Reaktionszeit. Das VR-OTS dokumentiert cloudbasiert die Korrektheit der Antworten, die Reaktionszeit bei verschiedenen Schwierigkeitsgraden und die Augenbewegungen.  K.I.-unterstützt gleicht das VR-OTS Ergebnisse mit Kontrollen oder dem Vorbefund ab und erstellt einen Diagnosevorschlag über das cloudbasierte Portal MedStage®.  Durch Anreicherung der Datenbank mit den klinischen Verlaufsdaten verbessert sich kontinuierlich das K.I.-gestützte VR-OTS.

Messung und Analyse der Augenbewegungen durch Eyetracker während Reaktionszeit von Präsentation des stereoskopischen Stimulus bis motorischer Reaktion mit Controller

Ziel des Projekts ist es daher, eine schnelle automatisierte Diagnosestellung einer Fusionsstörung bei zB zerebralen Schädigungen im Hirnstamm durch Messung der Okulomotorik (eye-tracking) bei dreidimensionalen virtuellen Stimuli mittels Head-Mounted-Displays (HMD) zu erreichen. Außerdem wird eine Anbindung an existierende telemedizinische Systeme zur Beurteilung der Frage, ob keine, eine leichte oder schwere Störung der Okulomotorik vorliegt, angestrebt, die es möglich macht direkt an Unfallorten (Straßenverkehr, Spielfeld, Turnhalle, etc.) eine Beurteilung eines Arztes einzubeziehen.

Wie erfolgt/ erfolgte die Untersuchung?

Concu-VR® prüft schnell (<5 min) am Spielfeldrand, ob ein fokal-neurologisches Defizit vorliegt

Concu-VR® überprüft und dokumentiert

  • die Fusion ja/ nein in 9 Blickrichtungen (=konjugierte Augenbewegungen)
  • die Reaktionszeit in ms bei Erkennung des visuellen 3D-Stimulus
  • die Augenbewegungen und Pupillengrößeveränderungen während der Reaktionszeit.  

Concu-VR® dokumentiert cloudbasiert die Korrektheit der Antworten, die Reaktionszeit bei verschiedenen Schwierigkeitsgraden und die Augenbewegungen

Concu-VR® gleicht K.I.-unterstützt Ergebnisse mit Kontrollen oder Vorbefund ab und erstellt einen Diagnosevorschlag über das cloudbasierte Portal MedStage® .

Concu-VR® –K.I. verbessert sich kontinuierlich durch Anreicherung der Datenbank mit den klinischen Verlaufsdaten digital

Tele-augenärztliche Befundung durch beauftragenden Augenarzt oder durch Reading Center des Tele-Ophthalmologischen Institutes

Alle vor Ort aufgenommenen Daten werden in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert und erlauben damit eine telemedizinische Befundung durch den Augenarzt. Der augenärztliche Befund wird ebenfalls in der einrichtungsübergreifenden Patientenakte Medstage® gespeichert.

Elektronischer Zugang zu allen Bildern und Befunden

Durch die Nutzung der webbasierten, einrichtungsübergreifenden Patientenakte Medstage® haben alle durch den Patienten autorisierte Ärzte Zugang zu den Daten, Bildern und Befunden. Die Befunde können im pdf-Format im Desktop, Notebook oder Smartphone abgerufen und in anderen Patientenakten gespeichert werden.

Technische Infrastruktur

Die mobilen Concu-VR® -Untersuchungseinheiten, der Arzt vor Ort, das Reading Center und die kooperierenden Ärzte sind verknüpft durch die einrichtungsübergreifende e-Patientenakte MedStage®. Es besteht aus einem Server-basierten System und der Applikationssoftware. Speichern der Daten erfolgt lokal und in Medstage®.  Der Zugang zu den Daten erfolgt datenschutzsicher. Die Netzwerk-Software von Talkingeyes® unterstützt verschiedene Browsertypen (auch Safari unter iOS) und erlaubt die strukturierte Speicherung aller Daten und Bilder in einer SQL-Datenbank (aktuell Oracle 11g). Es bestehen eine vollständige Transaktionskontrolle und ein zentraler Backup. Durch die mandantenfähige Architektur und das rollenbasierte Rechtekonzept erfolgt eine vollständige Abschottung der Projekte untereinander. Die Befunderstellung erfolgt auf Basis XML/XSL für HTML- und eine PDF-Ausgabe.

Ist die Technik patentiert?

Das zugrunde liegende Prinzip des Concu-VR® wurde 2016 patentiert

  • EU-Patent 3287074
  • US-Patent S/N 16/563,330, METHOD AND DEVICE FOR QUANTITATIVELY DETECTING THE FUSION CAPACITY IN CONJUGATE EYE MOVEMENTS

Ist der Begriff als Wortmarke geschützt?

Der Begriff „Concu-VR®“ wurde als Wortmarke geschützt.

Literatur

Ciuffreda KJ, Kapoor N, Rutner D, Suchoff IB, Han ME, Craig S: Occurrence of oculomotor dysfunctions in acquired brain injury: a retrospective analysis. Optometry 78:155– 161, 2007

Heitger MH, Jones RD, Dalrymple-Alford JC, Frampton CM, Ardagh MW, Anderson TJ:     Motor deficits and recovery during the first year following mild closed head injury. Brain Inj      20:807–824, 2006

Extended stereopsis evaluation of professional and amateur soccer players and subjects  without soccer background. Paulus J, Tong J, Hornegger J, Schmidt M, Eskofier B,  Michelson G. Front Psychol. 2014 Oct 20;5:1186. doi: 10.3389/fpsyg.2014.01186. eCollection, 2014.

Repetitive tests of visual function improved visual acuity in young subjects. Otto J, Michelson G. Br J Ophthalmol. 2014, Mar;98(3):383-6. doi: 10.1136/bjophthalmol-2013-  304262. Epub 2014 Jan 3.

Repetitive Dynamic Stereo Test Improved Processing Time in Young Athletes. Schoemann, Lochmann, Paulus, and Michelson, Restorative Neurology and  Neuroscience, Volume 35, Issue 4, (August 2017).

Prevalence of Retinal Microangiopathic Abnormalities and Optic Nerve Atrophy in   Normotensive, Nondiabetic, “Healthy” Subjects Gained by a Retina Check of the Tele-ophthalmic Consultation Service Talkingeyes®. Michelson, Georg (et al.). In: Teleophthalmology in Preventive Medicine .Michelson , G.(Ed.), Springer 2015

Robust vessel segmentation in fundus images. Budai A, Bock R, Maier A, Hornegger J, Michelson G. Int J Biomed Imaging. 2013;2013:154860

Tele-glaucoma: Experiences and Perspectives. Michelson, Georg (et al.). In: Digital Teleretinal Screening. Yogesan, K. (et al.) (Eds.) Springer Verlag 2012

Screening the Retina for Heart Disease/Stroke (talkingeyes®).Michelson, Georg (et al.). In Digital Teleretinal Screening.Yogesan, K. et al.) (Eds.) Springer Verlag 2012.

Electronic patient records and teleophthalmology. Part 2: concrete projects in        ophthalmology].Schargus M, Michelson G, Grehn F. Ophthalmologe. 2011  Jul;108(7):687-95;

Electronic patient records and teleophthalmology : part 1: introduction to the various  systems and standards]. Schargus M, Michelson G, Grehn F. Ophthalmologe. 2011  May;108(5):473-84

A. Besendorfer. Die Entwicklung und praktische Anwendung der Glasgow-Coma-Skala.  Intensiv, 10(1):17-26, 2002.

EU Patent EU-Patent 3287074, Verfahren zur Erfassung der zerebralen Kognitionszeit sowie Vorrichtung zur Erfassung der zerebralen Kognitionszeit