Wie funktioniert die KI-Patientensimulation in Pointica?

Die KI-Patientensimulation von Pointica ermöglicht echte Konversationen mit simulierten Betroffenen. Das On-Premise Large Language Model (Qwen2.5-7B) beantwortet Fragen zu Symptomen, Vorerkrankungen, Medikamenten, Allergien und persönlichen Daten – realistisch und szenariobezogen. Teilnehmer können per Sprache (Push-to-Talk mit automatischer Transkription via Whisper) oder Text befragen. Optional simuliert das System regionale Dialekte (Bairisch, Sächsisch, Berlinerisch, Österreichisch) für maximalen Realismus. Die KI läuft vollständig on-premise auf einem eigenen GPU-Server – keine Daten verlassen das System.

Was sind geführte und ungeführte Szenarien in Pointica?

Geführte Szenarien (Guided Mode): Der Instructor steuert den Übungsablauf in Echtzeit – er wechselt Szenarien, aktiviert Events, steuert Phasen und gibt Taktiken vor. Alle Teilnehmer sehen dasselbe und werden durch die Übung geführt. Ungeführte Szenarien (Unguided Mode): Teilnehmer erkunden 360°-Szenarien frei ohne Instructor-Vorgaben, befragen KI-Patienten eigenständig und treffen Entscheidungen selbst. Beide Modi sind mit demselben Szenario-Content nutzbar.

Was ist Triage bzw. SICHTUNG in Pointica?

Pointica bildet das standardisierte Sichtungsverfahren bei Massenanfall von Verletzten (MANV) vollständig digital ab. Patienten werden nach START, mSTART oder JumpSTART kategorisiert: SK1 (sofort behandeln – rot), SK2 (dringend – gelb), SK3 (aufgeschoben – grün), SK4 (Betreuung – blau) und SK0 (verstorben – schwarz). Das Sichtungs-Overlay zeigt Vitalzeichen (Herzfrequenz, SpO2, Atemfrequenz, GCS, Blutdruck) in Echtzeit an. Der Patientenzustand verschlechtert sich über Zeit realistisch durch das 10-Phasen-Progressionssystem.

Was sind 360°-Szenarien in Pointica?

360°-Szenarien in Pointica sind vollständig immersive Trainingsumgebungen auf Basis von Photo-Sphere-Technologie (Photo Sphere Viewer). Teilnehmer bewegen sich in echten oder synthetischen 360°-Aufnahmen von Einsatzorten, interagieren mit Hotspots, befragen KI-Patienten, wenden Equipment an und treffen Einsatzentscheidungen. Szenarien können aus mehreren verknüpften 360°-Perspektiven bestehen (Multi-Screen) und mit Overlay-Effekten (Feuer, Rauch, Regen, Tag/Nacht) angereichert werden. Für vollständig immersives Training steht auch ein WebXR-Modus zur Verfügung.

Unterstützt Pointica WebXR und Virtual Reality?

Ja, Pointica unterstützt WebXR direkt im Browser ohne separate App-Installation. Kompatible VR-Headsets (z.B. Meta Quest 2/3, Pico) können über den Browser genutzt werden. Im VR-Modus stehen 6DOF-Kopfverfolgung, Controller-Input, Hand-Tracking (Pinch, Grab) und ein Cockpit-HUD mit Interaktionselementen zur Verfügung. Instructor und andere Teilnehmer bleiben über das Echtzeit-WebSocket-System synchronisiert.

Wie funktioniert die KI-Bildgenerierung in Pointica?

Pointica integriert eine On-Premise KI-Bildgenerierung auf Basis von ComfyUI (Stable Diffusion). Instructors können automatisch realistische Patientenbilder, Verletzungsbilder, Szenario-Hintergründe und Übungsmaterialien generieren lassen – direkt aus der Plattform heraus, ohne externe Dienste. Die generierten Bilder werden direkt in der Asset-Bibliothek gespeichert und können sofort in Szenarien verwendet werden.

Wie funktioniert die Lagedarstellung in Pointica?

Pointica bietet eine vollständige digitale Lagedarstellung mit interaktiver Karte (Leaflet), auf der Einsatzkräfte, Fahrzeuge und Patienten in Echtzeit verortet werden. Integriert sind: Einsatztagesbuch (chronologisches Protokoll), Führungsstruktur-Editor, Einsatzplanung, Schadenskonto, Kommunikationsmatrix (Radio-Kanäle), Direktanrufe, Text-Chat und Kräfteübersicht. Mehrere Benutzer arbeiten gleichzeitig auf demselben Lagebild – in Echtzeit via WebSocket synchronisiert. Grundrisse und Baupläne können hochgeladen und mit dem Lagebild verknüpft werden.

Wie wird Equipment im Einsatztraining eingesetzt?

In Pointica können Teilnehmer medizinisches und taktisches Equipment direkt am simulierten Patienten anwenden. Ausrüstung wird in der 360°-Umgebung gesammelt (Collectibles-System) und am Patienten eingesetzt. Das System unterscheidet zwischen Atemwegs-, Kreislauf-, Monitoring- und Transportequipment sowie Fahrzeugausrüstung (Rettungswagen, Hubschrauber). Jede Maßnahme beeinflusst den Patientenzustand und Vitalzeichen messbar. Eine vollständige Behandlungshistorie wird automatisch protokolliert.

Welche Live-Kommunikationsmöglichkeiten bietet Pointica?

Pointica bietet ein integriertes Echtzeit-Kommunikationssystem: Text-Chat (Einzel- und Gruppennachrichten), Sprachkonferenz via WebRTC (MediaSoup SFU), Video-Anrufe, Push-to-Talk (PTT) mit Kanal-Management, sowie einen Classroom-Modus mit Videokonferenz, Handzeichen, Live-Abstimmungen und Gruppenräumen. Außerdem können Direktanrufe zwischen einzelnen Teilnehmern geführt, Screens per Screen-Sharing geteilt und Präsentationen über den Beamer-Modus auf externe Displays übertragen werden.

Für wen ist Pointica geeignet?

Pointica ist speziell für alle Behörden und Organisationen mit Sicherheitsaufgaben (BOS) entwickelt: Berufsfeuerwehr und Freiwillige Feuerwehr, Rettungsdienst (Sanitäter, Notarzt, Rettungsassistent), Technisches Hilfswerk (THW), Polizei (Landes- und Bundespolizei), DLRG, DRK, Katastrophenschutzbehörden, Bundeswehr und kommunale Feuerwehren. Die Plattform eignet sich für Ausbilder, Übungsleiter, Einsatztrainer und alle Einsatzkräfte, die realistische digitale Trainingsszenarien benötigen.

Kann Pointica ohne eigenen Account genutzt werden?

Ja. Gäste (Teilnehmer) können an Übungen teilnehmen, ohne einen eigenen Account zu benötigen. Der Zugang erfolgt per PIN-Code oder QR-Code-Scan – direkt im Browser oder über die iOS-App. Registrierung, Download und Installation entfallen vollständig. Instructors und Verwaltungspersonal nutzen gesicherte Accounts mit Multi-Faktor-Authentifizierung (WebAuthn/FIDO2, TOTP) und SSO-Integration.

Wie wird MANV mit Pointica geübt?

Pointica unterstützt komplexe MANV-Übungen (Massenanfall von Verletzten) mit multiplen KI-Patienten gleichzeitig. Jeder simulierte Patient hat individuelle Verletzungen, Vitalzeichen und Zustandsverläufe. Teilnehmer sichten nach START/mSTART, befragen Betroffene mit KI-Dialog, wenden Equipment an und koordinieren sich über die integrierte Lagedarstellung. Der Instructor steuert den Verlauf über das Dashboard, kann Szenarien eskalieren und den Gesamtüberblick über alle Teilnehmer in Echtzeit überwachen.

Welche technischen Plattformen unterstützt Pointica?

Pointica läuft als SaaS vollständig im modernen Webbrowser (Chrome, Firefox, Safari, Edge) auf PC, Laptop, Tablet und iPad – ohne Installation. Eine native iPad/iPhone-App (WKWebView Thin Client) steht für optimales Mobile-UX zur Verfügung. WebXR-fähige VR-Headsets können über den Browser eingebunden werden. Das Backend (FastAPI, PostgreSQL, Redis, MinIO) kann on-premise betrieben werden; KI-Dienste laufen auf einem dedizierten GPU-Server ohne Cloud-Abhängigkeit.

Pointica – Die digitale BOS-Trainingsplattform für Einsatztraining mit KI und 360°

Name: Pointica
Author: Pawel Urbanski

Pointica ist die umfassende webbasierte Trainingsplattform für Behörden und Organisationen mit Sicherheitsaufgaben (BOS). Feuerwehr, Rettungsdienst, THW, Polizei, DRK, DLRG und Bundeswehr trainieren mit Pointica realistische Einsatzszenarien – digital, immersiv und in Echtzeit. Die Plattform kombiniert KI-gestützte Patientensimulation mit Sprachdialog, 360°-Szenario-Viewer, digitale Triage (SICHTUNG), Einsatzleitung, Equipment-Simulation, Live-Kommunikation und WebXR in einer einzigen Lösung.

KI-Patientensimulation mit Sprachdialog und Dialekten

Das Herzstück von Pointica ist eine vollständig On-Premise betriebene KI-Patientensimulation (Large Language Model Qwen2.5-7B). Teilnehmer führen echte Konversationen mit simulierten Betroffenen – per Sprache (Push-to-Talk mit automatischer Transkription via Whisper) oder per Text. Die KI kennt den vollständigen Szenario-Kontext, reagiert auf Befragungen zu Symptomen, Vorerkrankungen, Medikamenten, Allergien und Vitalzeichen und bewertet die Qualität der Befragung automatisch.

KI-Befragung (Konversation in Echtzeit): Betroffene befragen zu Symptomen, Schmerzen, Medikamenten, Vorerkrankungen, Allergien und persönlichen Daten
Dialekt-Simulation: Bairisch, Sächsisch, Berlinerisch, Österreichisch, Kölsch – regionaler Realismus
Sprach-Ein- und Ausgabe: Whisper STT + Edge-TTS Sprachsynthese + SileroVAD Aktivierungserkennung
Automatische Bewertung: Scoring der Befragungsqualität (Erfragte Punkte, Gesamtpunkte, Prozentwert)
Verfügbare Fakten aufdecken: Befragung deckt schrittweise Vitalzeichen, Symptome und Hintergrundinformationen auf
Befragbare Gegenstände: Spezifische Equipment- und Übergabe-Items im Szenario
Multi-Patienten: Simultane Befragung mehrerer Betroffener in einem Szenario
100% On-Premise: Keine Cloud-Abhängigkeit – alle KI-Daten bleiben im eigenen System

KI-Bildgenerierung für Szenarien und Patientenbilder

Pointica integriert eine On-Premise KI-Bildgenerierung (ComfyUI / Stable Diffusion). Instructors können direkt aus der Plattform heraus realistische Bilder für Szenarien generieren – Verletzungsbilder, Patientenfotos, Einsatzort-Hintergründe und Übungsmaterialien – ohne externe KI-Dienste oder Cloud-Uploads.

Automatische Generierung realistischer Patienten- und Verletzungsbilder
Szenario-Hintergründe und Einsatzort-Visualisierungen
Direkte Integration in die Asset-Bibliothek der Plattform
VRAM-Manager für dynamische GPU-Ressourcenverwaltung

360°-Szenarien: Immersives Einsatztraining im Browser

Pointica nutzt Photo-Sphere-Technologie für vollständig immersive 360°-Trainingsszenarien. Teilnehmer befinden sich mitten im Einsatzgeschehen – ohne VR-Brille, direkt im Browser. Geführte Szenarien werden vom Instructor in Echtzeit gesteuert; ungeführte Szenarien ermöglichen freie Exploration.

Geführte Szenarien (Guided Mode): Instructor steuert Ablauf, Phasen, Szenarienwechsel und Events in Echtzeit für alle Teilnehmer
Ungeführte Szenarien (Unguided Mode): Freie Exploration durch Teilnehmer, eigenständige KI-Befragung und Entscheidungen
Multi-Screen-Szenarien: Verknüpfte 360°-Perspektiven (Einsatzstelle, Gebäudeinneres, Fahrzeuge, Außengelände)
360°-Videoszenarien: Dynamische Video-Panoramen für bewegte Einsatzszenen
Overlay-Effekte: Tag-/Nachtsimulation, Regen, Feuer, Rauch, Nebel, Lens-Flare
Grundriss-Modus: Navigation auf 2D-Bauplan, Hotspot-Platzierung
GPS-Integration: Außen-Szenarien mit realen Koordinaten
Hotspot-System: Interaktive Markierungen für KI-Befragung, Audio, Video, Navigation, Equipment
Annotationen: Freihandzeichnen im 360°-Szenario

WebXR / Virtual Reality – VR-Training direkt im Browser

Pointica unterstützt WebXR ohne separate App-Installation. VR-Headsets (Meta Quest 2/3, Pico u.a.) können über den Browser genutzt werden. Der WebXR-Modus bietet 6DOF-Kopfverfolgung, Controller-Input, Hand-Tracking und ein Cockpit-HUD. Alle Teilnehmer bleiben über das Echtzeit-WebSocket-System synchronisiert – auch wenn einzelne ein VR-Headset nutzen.

WebXR API – kompatibel mit Meta Quest, Pico und anderen WebXR-Headsets
6DOF-Kopfverfolgung und Controller-Input
Hand-Tracking: Pinch, Grab, Zeige-Geste
Haptisches Feedback bei Interaktionen
Cockpit-HUD mit Navigations- und Interaktionsbuttons
Synchronisation mit nicht-VR-Teilnehmern in Echtzeit

Triage und SICHTUNG – MANV-Training nach Standard

Pointica bildet das standardisierte SICHTUNGSVERFAHREN bei Massenanfall von Verletzten (MANV) vollständig digital ab. Triage-Algorithmen START, mSTART und JumpSTART sind implementiert. Der Patientenzustand entwickelt sich über ein 10-Phasen-System realistisch weiter.

SK1 – sofort (rot): Lebensbedrohliche Verletzungen, sofortiger Handlungsbedarf
SK2 – dringend (gelb): Schwere Verletzungen, dringliche Behandlung
SK3 – aufgeschoben (grün): Leichte Verletzungen, verzögerbare Behandlung
SK4 – Betreuung (blau): Betreuungspflichtige Personen
SK0 – verstorben (schwarz): Verstorbene Personen
Vitalzeichen: Herzfrequenz, SpO2, Atemfrequenz, Blutdruck, GCS in Echtzeit
Patientenprogression: 10-Phasen-System – Zustand verschlechtert sich über Zeit realistisch
Triage-Algorithmen: START (Erwachsene), mSTART (modifiziert), JumpSTART (Kinder)

Equipment-Simulation – Medizinische Maßnahmen am Patienten

Teilnehmer sammeln Equipment in der 360°-Umgebung (Collectibles-System) und wenden es direkt am simulierten Patienten an. Jede Maßnahme beeinflusst Vitalzeichen und Patientenzustand messbar.

Medizinisches Equipment: Atemwege (O₂, Intubation), Kreislauf (IV-Zugang, Verbände), Monitoring (EKG, Pulsox), Transport (Trage, Backboard)
Fahrzeugausrüstung: Vorkonfigurierte Ausrüstung in Rettungswagen und Hubschrauber
Collectibles-System: Gegenstände aufsammeln, Inventar verwalten, für Behandlungen einsetzen
Behandlungshistorie: Vollständiges Protokoll aller angewendeten Maßnahmen
Skill-Level: Unterschied zwischen BLS-Maßnahmen und ALS-Maßnahmen

Lagedarstellung und Einsatzleitung

Die integrierte Lagedarstellung von Pointica bietet alle Werkzeuge für realistische Einsatzleitungs-Übungen: interaktive Lagekarte, Einsatztagesbuch, Führungsstruktur, Schadenskonto und Kommunikationsmatrix.

Interaktive Lagekarte (Leaflet) mit Einsatzkräften, Fahrzeugen und Patienten in Echtzeit
Einsatztagesbuch: Chronologisches Ereignisprotokoll, durchsuchbar
Führungsstruktur-Editor: Digitales Organigramm mit Drag-and-Drop
Einsatzplanung: Ressourcen zuweisen, Routen planen, Einheiten disponieren
Schadenskonto: Sachschäden und Gefährdungen erfassen
Radio-Kommunikationsmatrix: Kanal-Zuweisungen für alle Einheiten
Direktanrufe: Punkt-zu-Punkt Sprachkommunikation
Grundriss-/Bauplan-Integration: Gebäudepläne hochladen und mit Lage verknüpfen
Echtzeit-Synchronisation: Alle Änderungen sofort für alle Teilnehmer sichtbar

Live-Kommunikation: Text, Sprache und Video in Echtzeit

Pointica bietet ein vollständiges Echtzeit-Kommunikationssystem, das alle gängigen Kommunikationsmodi für Einsatztraining abdeckt.

Text-Chat: Einzel- und Gruppenachrichten für alle Teilnehmer
Sprachkonferenz: WebRTC-basiert mit MediaSoup SFU für skalierbare Gruppenkonferenzen
Video-Anrufe: Videokonferenz für Teilnehmer und Instructor
Push-to-Talk (PTT): Funkkanal-Simulation mit Kanal-Management
Classroom-Modus: Strukturierte Videokonferenz mit Sprecher-Fokus, Handzeichen, Abstimmungen und Gruppenräumen
Direktanrufe: Punkt-zu-Punkt Sprachkommunikation zwischen einzelnen Teilnehmern
Screen Sharing: 360°-Blickwinkel mit anderen Teilnehmern teilen
Beamer-Präsentation: Separate Ausgabe für externen Bildschirm/Beamer (BroadcastChannel)

Instructor-Dashboard und Übungssteuerung

Live-Monitoring aller Teilnehmer: Aktionen, Scores, Triage-Entscheidungen, Kommunikation
Echtzeit-Szenario-Steuerung: Start, Pause, Stop, Szenarienwechsel, Phase-Triggering
Übungsraum-Management: PIN-Zugang, Kapazität, Geräte, Gäste-Verwaltung
Automatische Bewertung: Triage-Korrektheit, Befragungsqualität, Quiz-Scores
BMA-Simulation: Brandmeldeanlage-Panel mit Melder-Typen, Zonen, Alarm-Log
Spectator-Modus: Echtzeit-Beobachtung für weitere Instructors oder Lehrgangsteilnehmer

Interaktive Elemente: Quiz, Voting, Ideenpool und Spiele

Quiz: KI-generierte Wissensfragen, Multiple Choice, Bildbasiert, Echtzeit-Scoring und Leaderboard
Voting: Live-Abstimmungen mit Diagrammen, Bildserien-Voting, SICHTUNGS-Voting
Ideenpool: Freie Ideen-Sammlung der Teilnehmer mit Wortwolke-Visualisierung
Click-Point-Spiel: Versteckte Objekte in 360°-Szenarien finden – mit Punkten, Timer und Leaderboard

Zielgruppen – BOS-Organisationen in Deutschland und Österreich

Berufsfeuerwehr und Freiwillige Feuerwehr – 360°-Szenarien für Brandbekämpfung, Rettung und CBRN-Training
Rettungsdienst – KI-Patientensimulation, MANV-Training, Triage und Equipment-Simulation
Technisches Hilfswerk (THW) – Technische Hilfeleistung und Katastrophenschutz-Szenarien
Polizei und Bundespolizei – Einsatztaktik, Lagebild, Führungsstruktur und Kommunikationstraining
DLRG – Wasserrettungs-Szenarien und Einsatzorganisation
Deutsches Rotes Kreuz (DRK) – Sanitätsdienst, Triage und MANV-Übungen
Bundeswehr – Sanitätsdienst und taktisches Einsatztraining
Katastrophenschutzbehörden – Stabsrahmenübungen und Krisenkommunikation

Technische Basis

Web-App: React 18, TypeScript, Vite, TailwindCSS – läuft in jedem modernen Browser
Backend: FastAPI, SQLAlchemy 2.0, PostgreSQL 16, Redis, WebSocket (Echtzeit)
KI On-Premise: Qwen2.5-7B (LLM), Whisper (STT), Edge-TTS, SileroVAD, ComfyUI
Video: MediaSoup SFU, WebRTC, TURN/TURNS für NAT-Traversal
Storage: MinIO (S3-kompatibel) für alle Medien und Assets
Sicherheit: JWT, WebAuthn/FIDO2 MFA, SSO (SAML/OIDC), RBAC, Multi-Tenant Isolation
WebXR: Nativer Browser-API-Support für VR-Headsets
iOS: Native App (WKWebView) mit QR-Code-Scanner für optimales iPad-UX