Zum Hauptinhalt springen

Was ist CoSy?

Das Communication Support System (CoSy) ist ein KI-gestütztes Lernassistenzsystem, entwickelt an der Universität zu Lübeck. Es dient der Förderung patientenorientierter Kommunikationsfähigkeiten bei Studierenden, insbesondere im medizinischen Kontext. CoSy zeichnet Rollenspiele in Kommunikationsmodulen mithilfe von Mikrofonen auf und ermöglicht den Teilnehmenden nachträglich ein individuelles Feedback auf Basis quantifizierbarer Parameter wie Lautstärke, Sprechtempo und Redeanteil. Dieses Feedback kann effektiv in das Dozierendenfeedback integriert werden. Die Audiodaten werden ausschließlich zur Generierung des Feedbacks verwendet und nach 24 Stunden automatisch gelöscht, um Datenschutzrichtlinien einzuhalten.

Hauptmerkmale​

  • Kompaktes Systemdesign: Durch die Optimierung der Hardware läuft CoSy nun auf einem leistungsfähigen MacBook Pro, der in einem handlichen Transportkoffer untergebracht ist. Dies erleichtert den Einsatz in unterschiedlichen Lehrumgebungen.

  • Verbesserte Sprechertrennung: Mittels individueller Sprechersignale und spezialisierter Audio-Plugins wie FabFilter Pro-C 2 (Kompressor) und FabFilter Pro-G (Gate) wird eine präzise Trennung der Sprecher erzielt. Optimale Parameter wurden durch Labortests unter realistischen Bedingungen ermittelt.

  • Standalone-Funktionalität: Die neu entwickelte Softwarearchitektur ermöglicht den Betrieb des gesamten Systems, einschließlich Weboberfläche, Backend und Datenbank, auf einem einzigen Rechner. Dies erhöht die Mobilität und erlaubt den Einsatz in Umgebungen mit limitierter Infrastruktur.

  • Integration von Remote-Teilnehmern: Audiosignale von entfernten Teilnehmern können mittels virtueller Audiogeräte nahtlos eingebunden werden, was den Einsatz in hybriden Lehrformaten unterstützt.

  • Benutzerfreundliche Schnittstellen: Intuitive Weboberflächen für Studierende und Lehrende, entwickelt mit Vue.js, ermöglichen eine effiziente Bedienung. Die Software startet mit einem Klick und bietet Echtzeit-Monitoring des Systemstatus.

  • Studierendenportal: Ein spezielles Portal ermöglicht es Studierenden, vergangene Analysen einzusehen und sicher an Sitzungen teilzunehmen, ohne persönliche Identifikationsdaten preiszugeben. Die Integration mit Moodle erleichtert die Registrierung und Einholung von Einverständniserklärungen.

  • Erweiterte KI-Analyse: Neben der Transkription durch das OpenAI Whisper-Modell umfasst die Analyse nun auch NLP-basierte Parameter wie Sprechtempo, Wortwolken, Schlüsselbegriffe und die Identifikation gestellter Fragen.

Technische Details​

Hardware​

  • MacBook Pro: Ein leistungsstarker Laptop, der sowohl die Audioerfassung als auch das KI-Subsystem betreibt.
  • Mikrofone: DJI Mic 2 Funkmikrofone gewährleisten eine qualitativ hochwertige und zuverlässige Audioaufnahme.
  • Transportkoffer: Kompakte Unterbringung der Hardware für einfachen Transport und schnellen Aufbau.

Software​

  • Audio-System Software: Neu entwickelte Architektur mit spezialisierten Plugins für Signalverarbeitung, insbesondere Kompression und Gating.
  • Audio-Plugins:
    • FabFilter Pro-C 2: Kompressor zur Unterdrückung unerwünschter Signale durch Sidechain-Technik.
    • FabFilter Pro-G: Gate zur weiteren Reinigung der Audiosignale durch frequenzbasiertes Thresholding.
  • API: Realisiert mit Express.js, ermöglicht die Kommunikation zwischen Hardware und Benutzeroberfläche.
  • KI-Subsystem: Setzt das OpenAI Whisper-Modell ein und erweitert die Analyse um Natural Language Processing (NLP)-Parameter.
  • Benutzeroberflächen: Entwickelt mit Vue.js, bieten responsive und intuitive Interaktionsmöglichkeiten.
  • LMS-Integration: Durch die Anbindung an Moodle können Studierende über ein Quiz ihre Einwilligung zur Nutzung geben und sich registrieren.

Datenverarbeitung​

  • Lokale Verarbeitung: Alle Audiodaten werden lokal verarbeitet, um höchste Datenschutzstandards zu gewährleisten.
  • Automatisierte Datenlöschung: Aufzeichnungen werden nach 24 Stunden gelöscht, entsprechend den Datenschutzbestimmungen.
  • Analyseparameter:
    • Akustische Merkmale: Lautstärke, Sprechtempo, Redeanteil.
    • Linguistische Analysen: Erstellung von Wortwolken, Extraktion von Schlüsselbegriffen, Erkennung von Reizwörtern und Analyse gestellter Fragen.
  • Synchronisierte Darstellung: Ergebnisse und Audiodaten können synchronisiert dargestellt und abgespielt werden, um eine detaillierte Analyse zu ermöglichen.

Zielsetzung​

CoSy strebt an, die Qualität von Lehr- und Lernprozessen zu steigern, indem es detaillierte Einblicke in Kommunikationsmuster bietet. Es unterstützt Lehrende bei der Optimierung didaktischer Methoden und ermöglicht Studierenden eine reflektierte Weiterentwicklung ihrer Kommunikationskompetenzen.

Weiterführende Informationen: