Offset zwischen Folien und Video/Sound in der Aufzeichnung

moselews
Neuling
Neuling
Beiträge: 5
Registriert: 29. Aug 2006 15:57

Offset zwischen Folien und Video/Sound in der Aufzeichnung

Beitrag von moselews »

Hallo,

kann es sein, dass die Folien und das Video mit Sound in der Aufzeichnung nicht synchronisiert sind?
Ist mir letztes Semester auch schon aufgefallen. Ist nicht wirklich so schlimm, aber wenn es in der Vorlesung schon um Synchronisierung geht ;) Obwohl, wenn Prof. Mühlhäuser etwas unterschtreicht o.ä. und etwas zu diesem Punkt sagt, und man sieht noch die vorherige Folie ist es schon etwas nervig...

Vielleicht tritt dieses Problem auch nur nach dem Vorspulen auf, habt ihr ne Antwort? Vielleicht ist das ganze auch ein Problem auf meinem System?? Wie siehts denn bei anderen aus?

Benutzeravatar
AlexB
Kernelcompilierer
Kernelcompilierer
Beiträge: 487
Registriert: 8. Jul 2004 09:51
Kontaktdaten:

Beitrag von AlexB »

Ja, das ist bei mir auch so, auch ohne Spulen.
Es ist problematisch, wenn Prof. Mühlhäuser sagt "und das hier ist wichtig" und gerade irgendetwas einzeichnet, aber erst nach einer halben Minute die Kringel und Unterstreichungen auf den Folien sichtbar werden. Was genau er dann gemeint hat, ist nur schwer nachzuvollziehen.
Außerdem wirkt es so, dass die Verzögerungen mit Voranschreiten der Zeit immer größer werden.
Aktuelle Veranstaltungen
"Hardwaremodellierungssprachen" [SS 2012] - Webseite - Jetzt im TUCaN't anmelden!
TUCaN't - wenn's mal wieder länger dauert.
Bild

mhartle
Neuling
Neuling
Beiträge: 6
Registriert: 25. Apr 2006 21:21
Kontaktdaten:

Beitrag von mhartle »

Hallo zusammen,

mein Name ist Michael und ich bin der Wimi, der sich im DLH-Team um den Bereich der Aufzeichnung kümmert. Da es auch in einem anderen Thread Beschwerden gab, macht es vermutlich Sinn, wenn ich den Hintergrund mal beleuchte und erkläre, was da passiert, und wie zukünfig eine Lösung aussehen könnte.

Hintergrund

Was derzeit in den kombinierten Aufzeichnungen im QuickTime-Format (.mov) enthalten ist, sind zum einen die Video- und Audiodaten aus dem Hörsaal sowie die Folien, die auf dem Präsentationsrechner entstehen.

Die Kamera-Signale und das Audio-Signal aus dem Hörsaal erhalten wir von der mmAG, welche den Hörsaal technisch ausstattet und betreibt; wir haben eine Schnittstelle zur Steuerung des Hörsaals in manchen Aspekten, wenn diese freigeschaltet ist. An diesem Übergabepunkt haben wir einen Linux-Rechner, welcher mittels crontab gesteuert bei jeder Aufzeichnung dafür sorgt, daß per mpeg4ip Video und Audio komprimiert und sowohl lokal in eine Datei gespeichert als auch für eine schnelle manuelle Sichtprüfung unsererseits gestreamt werden. Nach dem Ende der Aufzeichnungen wird die erzeugte Datei samt Zeitstempel auf einen Server verschoben. Die auf dem Präsentationspult präsentierten und annotierten Folien werden nach der Vorlesung dort extrahiert und kommen ebenfalls auf den Server, wo sie in einem manuellen Schritt zu der kombinierten Aufzeichnung zusammengebaut werden - unser Hiwi arbeitet engagiert, aber seine Kapazität ist wie die unsere endlich, und der Prozess skaliert so nicht problemlos; es gibt zudem X Gründe, warum eine Aufzeichnung nachher doch noch wertlos werden kann (Kameras nicht ausgerichtet / bei Anlagenreset wieder in die Ausgangslage zurückgefahren, Mikrofon vergessen zu verwenden, usw.)

Warum manuell und nicht vollautomatisch?

Aus mehreren, noch nicht gelösten Gründen - hier mal zwei genannt:

* Die Folien aus dem Präsentationspult tragen einen Zeitstempel abhängig von der Rechner-Uhr dort, die Zeitstempel der Video/Audio-Aufzeichnung basieren wiederum auf der Uhr des Aufzeichnungsrechners - selbst, wenn diese Uhren synchronisiert sind, sind die Zeitstempel nicht hinreichend perfekt, der Versatz nicht gleichmäßig und so braucht es eine manuelle Prüfung.

* Die Kombination der Samples aus der .mp4-Rohaufzeichnung mit den Folien geschieht derzeit dadurch, daß die Apple QuickTime-API unter Java verwendet wird, um die PNG-Folien als eigene Medienspuren mit passendem Start und Dauer anzuheften und dann als .mov-Datei zu exportieren. Problematisch hierbei ist, daß die eigentliche Funktionalität des SDKs von Apple uns nicht nativ unter Linux/Unix zur Verfügung steht und das Java-Interface nur ein hauchdünner und crash-fördernder Wrapper um diese native Funktionalität ist. Nebenbei hat man noch Freuden wie bspw. Timebombs in dieser Interface-Bibliothek, wo diese Bibliothek auf einmal ihren Dienst versagt - man kann in dem Fall zwar automatisch per Apache BCEL den Bytecode auf das aktuelle Datum + 1 Jahr patchen, aber... nunja.

Was tut Ihr denn, damits besser wird?

Um Alternativen zu schaffen, ist viel Zeit und Arbeit reingeflossen und tut es immernoch - zwischenzeitlich machen wir fast alles selbst, was im praktischen Betrieb derzeit noch manuell mit QuickTime passiert. Die Erzeugung von .mov-Dateien geht komplett unter Java mit eigenen Java Media Framework (JMF)-Komponenten (=> Promotionsthema "lauffähige Datenformat-Spezifikation", grob gesagt), MPEG4-Kompression und -Dekompression von Video/Audio funktioniert im JMF nun mittels eigenem Wrapper um die native ffmpeg -Bibliothek, welche wir derzeit unter Windows haben, aber auch unter Linux /Unix als shared library zu kompilieren sein sollte. Wir haben damit die Grundlage, um irgendwann auch mal über andere Formate als QuickTime oder andere Zusammenstellungen (ohne Video des Dozenten, als Podcast) nachdenken zu können.

Leider gibt es noch Bugs; so funktioniert das RTP-over-RTSP-Streaming (die Videoqualität soll ja nicht durch UDP-Paketverluste ins Bodenlose fallen) über mpeg4ip aus über den Darwin-Streaming-Server von Audio/Video aus dem Hörsaal aufgrund eines offenen Fehlers auf der Empfangsseite noch keine ganze Vorlesung lang sondern bricht ab; für den mobilen Einsatz des Pultes haben wir jetzt erste Erfolge mit Capturing unter DirectShow/JMF, wenn die Hardware direkt angeschlossen ist und ein WDM Video-Treiber für das Gerät existiert, aber auch das ist noch nicht stabil genug - DirectShow/COM/Java ist ein schwieriges Feld.

Ferner ist es zwischen "Heureka, es geht!" und "Alltagstauglich im Produktivbetrieb" es ein ordentlicher Schritt Arbeit, und selbst mit dem, was hier erarbeitet haben, sind wir mehr als gut ausgelastet...

(Optional bei Interesse) Was kann ich tun, damits endlich vorangeht?

Schreibt eine Email für eine Terminabsprache & kommt in S2|02/B120 vorbei oder sprecht mich an - wenn Euch Multimedia im weitesten Sinne interessiert, Ihr mit Java, C/C++ oder sogar COM-Programmierung was anfangen könnt und etwas neues in regelmäßiger Betreuung machen wollt, dann können wir uns vermutlich über interessante Aufgaben als Studien-, Bachelor-, Diplom- oder Master-Arbeiten unterhalten, die den Themenkomplex weiter vorantreiben.

So, soweit von mir,
besten Dank fürs Durchhalten,

Michael

Benutzeravatar
AlexB
Kernelcompilierer
Kernelcompilierer
Beiträge: 487
Registriert: 8. Jul 2004 09:51
Kontaktdaten:

Beitrag von AlexB »

ok, das ganze klingt hinreichend kompliziert ;) Ich stelle nicht in Frage, dass es ein sehr großer Aufwand ist, dennoch ist es schade, dass das System bislang nur mit Einschränkungen funktioniert.

Interessenten für die Mitarbeit an diesem Projekt können auch hier im Forum durch einen Eintrag im Thema "Stellenangebote" geworben werden.
Aktuelle Veranstaltungen
"Hardwaremodellierungssprachen" [SS 2012] - Webseite - Jetzt im TUCaN't anmelden!
TUCaN't - wenn's mal wieder länger dauert.
Bild

Antworten

Zurück zu „Archiv“