Idee für neuen Modus: Interaktives Hörbuch?

Interaktive Hörbücher funktionieren ja so: Es wird eine Geschichte erzählt und an bestimmten Stellen kann der Zuhörer zwischen mehreren Optionen entscheiden, wie die Geschichte weitergeht. Vor Jahrzehnten waren einige der ersten Computerspiele (Text-Adventures) genauso aufgebaut, nur dass man selber lesen musste.

Es gab sogar mal interaktive Hörbücher als CD, bei denen einem nach jedem Track dann gesagt wurde, bei welchen möglichen Tracks die Geschichte weitergehen kann, aber das war so schwierig zu bedienen, dass sie sich nicht durchgesetzt hatten.

Neuerdings gibt es teilweise sehr erfolgreich interaktive Hörspiele als Skills für Amazon Alexa, z.B. kostenlos in Deutsch von ear-reality - sowohl dür Erwachsene, als auch für Kinder.

Eigentlich müsste das doch auch ganz gut mit einem TonUINO umsetzbar sein! Es müsste lediglich ein Modus implementiert werden, bei dem man zu jedem Track mehr als nur einen Nachfolge-Track definieren kann. Nach jedem Track kann man dann (ähnlich wie bei dem Abspielmodus TonUINO Quiz) eine von mehreren Optionen wählen, wie die Geschichte weitergeht und entsprechend setzt der TonUINO bei einem anderen Track die Geschichte fort.

Ich frage mich aber, wie und wo man am besten speichert, welche Tracks auf einen gegebenen Track folgen können. Ich sehe da folgende Möglichkeiten:

  1. Speichern der Folgetrack-Nummern auf der RFID-Karte
    Die normalen Mifare-Karten haben 1KB Speicherplatz, von denen derzeit fast nichts verwendet wird. Wenn man nun zu jedem der bis zu 255 Tracks jeweils zwei mögliche Folgetracks einträgt, passt das gut in den Speicher. Möchte man eine solche Karte aber mit dem TonUINO konfigurieren (beim erstmaligen Einrichten der Karte), hat man sehr viel zu tun. Bequem ist anders. Schöner wäre hier z.B. eine auf einem NFC-fähigen Handy laufende App, die ein komfortableres Einrichten ermöglicht. Aber so eine App müsste auch erst geschrieben werden…
  2. Binärer Entscheidungsbaum
    Wenn man nach jedem Track die Möglichkeit hat, zwischen genau zwei Folgetracks zu wählen, kann die ganze Ablauflogik auch ohne Speichern zusätzlicher Daten erfolgen: Die möglichen Folgetracks zu einem Track mit der Nummer N (beginnend bei 1) haben einfach die Nummern 2N und 2N+1. Das garantiert, dass keine zwei Pfade zusammenlaufen (Das kann man gerne ausprobieren - es geht tatsächlich!). Nur ist es so nicht möglich, eine Geschichte mit sich kreuzenden und wieder zusammenlaufenden Handlungssträngen zu implementieren.
  3. Manuelles Programmieren des Arduino
    Natürlich kann man einen Spezialmodus programmieren, der einen ganz bestimmten Ablaufgraph umsetzt. So hat man bezüglich der Funktionen größtmögliche Flexibilität (Verwendung von Zufallsentscheidungen, Abhängigkeit der Wahlmöglichkeiten von bisherigen zurückliegenden Entscheidungen, etc.), aber ist auf der anderen Seite maximal unflexibel wenn es darum geht, verschiedene interaktive Hörbücher umzusetzen. Jedes müsste direkt im Code ergänzt werden.
  4. Speichern der Wahlmöglichkeiten im Dateinamen eines jeden Tracks.
    Man könnte z.B. Dateinamen der Art „001-0A1F.mp3“ vergeben und den Dateinamen im Arduino parsen. Dabei wären 0A und 1F die Folgetracknummern in hexadezimal (um mit 8-Zeichen-Dateinamen auszukommen). Diese Option gäbe es nur bei Verwendung eines alternativen MP3-Moduls - mit dem DFPlayer Mini ist das nicht möglich. Wohl aber mit dem BY8001, das habe ich aber mangels BY8001 nicht getestet. Mit dem ESP32+VS1053 ginge es wohl auch…

Die optimale Lösung ist irgendwie nicht dabei. Was meint Ihr? Ich fände die Möglichkeit, interaktive Hörbücher mit dem TonUINO zu unterstützen, echt super!

2 Like

Ich finde die Idee klasse!

Die Programmierung über eine APP oder über den PC ließe sich relativ einfach integrieren, ich habe die Programmierung der Karten über den PC in meiner Firmware bereits implementiert.
Man könnte auch noch zusätzlichen Speicher integrieren, z.B. SD-Karte per SPI anschließen und darauf Die Zusatzlogik/Konfiguration speichern. Jedoch wird das wohl kaum auf den Arduino Nano passen :wink:
Außer wir lagern auch noch weitere Funktionalitäten aus.

Mit sehr geringem Aufwand könnte der binäre Entscheidungsbaum integriert werden, das würde ich als erstes Probieren. Für den Rest müsste man ja schon fast auf ESP32 mit VS1053 umsteigen.

1 Like

@pit: Du hast eine PC-Software zum Bespielen der Karten geschrieben? Nutzt die einen beliebigen separaten RFID-Reader/Writer? Kannst Du die Software hier allen zur Verfügung stellen?

Es ist hier im Forum bereits eine Android-App verlinkt, um komfortabler Karten zu beschreiben, die ich aber nicht testen konnte (wg. altem Handy mit Android 6).

Zusätzlicher Speicher per SPI wäre wohl etwas Overkill. Natürlich ginge ESP32-VS1053, aber ich denke, wenn man das Programmieren der Karten über PC oder APP machen kann, ist das Ganze auch mit normaler TonUINO-Hardware gut machbar.

Der Code für den neuen Mode wäre meines Erachtens wohl überschaubar und sprengt die Kapazität des Arduino Nano wohl kaum. Man müsste im Wesentlichen ja nur die Funktionen nextTrack() und previousTrack() um den neuen Modus erweitern. Am Ende eines jeden Tracks müsste dann (direkt in der MP3-Datei) nur angesagt werden, welche Handlungsoption mit der linken und welche mit der rechten Taste gewählt wird. Neben der Standardfunktion, einen von zwei möglichen Folgetracks auszuwählen, könnte man auch leicht ein paar Sonderfunktionen integrieren:

Angenommen, für jeden der bis zu 255 Tracks N werden auf der Karte zwei Nachfolger N1, N2 eingetragen. Das benötigt dann 2*255 = 510 Bytes auf der RFID-Karte, was ja bei den Mifare Classic 1k noch verfügbar ist. Da die Nachfolger zu einem Track N nie 0 (denn den Track gibt es nicht) und nie der Track N selber sein werden, kann man dies nun für Sonderfunktionen nutzen. Mein Vorschlag:

  • N1 = N2 = N:
    Das Hörspiel ist zuende. Es gibt keinen Folgetrack.
  • 0 < N1 != N, 0 < N2 != N:
    Standardfall: Es gibt zwei mögliche Folgetracks N1 und N2, die mit den Tasten Previous und Next angewählt werden können. Wenn N1 = N2, gibt es nur einen Nachfolgetrack, der durch beliebigen Tastendruck startet.
  • 0 < N1 != N, N2 = N:
    Es gibt nur einen Nachfolgetrack, nämlich N1. Dieser wird automatisch ohne Tastendruck gestartet.
  • N1 = N, 0 < N2 != N:
    Zunächst wird nach Track N auch Track (N+1) abgespielt (ohne nötigen Tastendruck). Danach gibt es nicht die Auswahl zwischen zwei, sondern zwischen drei Nachfolgetracks (nämlich N2 und die für (N+1) definierten Nachfolger). Dazu wird auch die Play/Pause-Taste abgefragt.
  • N1 = N2 = 0:
    Als nächster Track wird (ohne separaten Tastendruck) per Zufall Track (N+1) oder Track (N+2) gewählt.
  • N1 = 0, N2 > 0:
    Eine Ablauf-Bitvariable (die beim Start des Hörspiels auf 0 gesetzt wird) wird mit den in N2 gesetzten Masken-Bits per XOR verknüpft. Damit lassen sich Variablen setzen, die später über den weiteren Ablauf entscheiden. Beispielsweise können im Laufe der Geschichte bei bestimmten Verläufen eingesammelte (oder später auch wieder verlorene) Items den weiteren Ablauf beeinflussen. Als nächster Track wird (ohne separaten Tastendruck) Track (N+1) abgespielt.
  • N1 > 0, N2 = 0:
    Die in N1 gesetzten Bits der Ablauf-Bitvariable werden genommen und entsprechend wird einer der auf N folgenden Tracks (N+1), (N+2), … als Folgetrack ausgewählt (z.B: bei zwei gesetzten Bits in N1 wird entsprechend der Werte an diesen Positionen von der Ablauf-Bitvariablen eines der Tracks (N+1),…,(N+4) angewählt. Damit lassen sich vom bisherigen Ablauf abhängige Wege umsetzen.

Damit kann man mit vergleichsweise wenig Code sehr komplexe Handlungsabläufe definieren, deutlich mehr als bei Verwendung eines binären Entscheidungsbaumes. Die ganze Komplexität des Handlungsablaufes liegt dann ja in den 510 Byte auf der RFID-Karte.

Edit: Das Ganze würde genauso natürlich auch bei der oben genannten Option 4 (Speichern im Dateinamen) und dem BY8001 funktionieren, nur eben mit Hexadezimalcodierung. Dann würde man sich das komplizierte Programmieren der RFID-Karte sparen, da alles über die Dateinamen des Hörspiels definiert wäre.

Die Software ist allerdings nicht sehr komfortabel, besteht im Prinzip nur aus Text-Inputs ohne Fehlerbehandlung. Ich wollte nur für meine TonUINOs (musste da über 100 Karten beschreiben) nicht alles manuell machen.

Ich habe hierfür im Admin-Menü einfach eine neue Funktion integriert, sprich es wird über den Reader der Box programmiert. Man könnte aber auch einfach einen weiteren Arduino Nano mit MFRC 522 als dediziertes Lese-/Schreibgerät verwenden.

Ich kann mal versuchen die entsprechenden Code-Teile aus meiner Firmware herauszulösen und in den aktuellen DEV zu integrieren. Leider habe ich den ganzen Code zu sehr an meine Bedürfnisse und meinen Geschmack angepasst :wink:

Das mit den Daten auf die Karte schreiben geht natürlich auch, hier muss jedoch darauf geachtet werden das die Karte zuvor reaktiviert wird. Ich habe dies bei mir bereits umgesetzt, da ich den „Spezial Hörbuch Modus“ haben wollte. Ich speichere die Werte „Von-Bis“ sowie „aktueller Track“ auf der Karte und nicht im EEPROM.

Ich schaue mal, ob ich mir ein kleines Dev-System aufsetze um an dieser Idee mit wirken zu können.

1 Like

Ui, das erinnert mich an meine alten Wähle-dein-Abenteuer Bücher! Wusste gar nicht dass es sowas inzwischen als Hörbuch gibt. Coole Sache
Dann tüftelt mal schön weiter!

Ja! Durch eine dieser Spielbuch-Reihen hatte ich auch die Idee zum interaktiven Hörbuch-Modus: Sagaland (90er) bzw. die Neuauflage Fabled Lands - Die Legenden von Harkuna (seit 2017). Die sind gerade bei meinen großen Kindern beliebt, haben aber noch weitere Komplexität durch Kämpfe, Würfeln, etc. und gehen damit schon fast in Richtung Pen&Paper-Rollenspiel.

@Peer
Wie versprochen, habe ich den „PC-Programmiermodus“ in die DEV-Version zurück portiert.
Das ganze ist unter https://github.com/pit-nrw/TonUINO/tree/pit-pc-mode verfügbar. Das PC Tool liegt im Ordner /tools/PC Card-Writer Software/.
Zur Verwendung wird .NET 4.6.1 benötigt.

Wie gesagt, ist nur rudimentär war aber auch nicht zur Veröffentlich vorgesehen :wink:

1 Like

Danke! Schau ich mir an. Liegt die Writer-Software da auch als Sourcecode?

1 Like

Den Source habe ich als eigenständiges Repo angelegt https://github.com/pit-nrw/TonUINO-PC-Card-Writer/tree/master

1 Like

Also die Idee dafür steckt auch schon lange in unseren Köpfen. Tatsächlich ist die Content Frage fast schwerer als dann die Programmierung.

1 Like

Von den drei ??? gibt es ja auch interaktive Hörspiele als CD zu kaufen, z.B. hier:

Die könnte man dann ja auf den TonUINO übertragen…

1 Like

Ansonsten kann man auch auf hoer-talk.de stöbern; habe ich soeben in der Hörspiel-Linksammlung hinzugefügt:

1 Like

Datsächlich habe ich genau das schonmal als digitale MP3s gekauft… genau dafür!
Es gibt jedoch dort das Problem mit den Ansagen finde ich.

Ich habe das Hörspiel nicht selbst. Wie lauten denn die Ansagen? Ich vermute, es werden die Nummern der nächsten Tracks genannt?

Dann könnte man zur Not das so machen, dass der TonUINO anschließend etwas sagt, wie: „blaue Taste für Track 13, rote Taste für Track 17“, wobei ja nur das MP3-Schnippsel „Blaue Taste für Track“ hinzugefügt werden müsste. Wenn die Tracknummern beim TonUINO identisch sind, sind die ja bekannt und könnten automatisch angesagt werden.

Gibt es immer nur zwei Auswahlmöglichkeiten? Und wird der CD-Wechsel auch angesagt?