CSV-Datei-Filterkomponente

Aus TV-Browser Wiki
Version vom 30. März 2015, 23:07 Uhr von Sheldon2012⧼word-separator⧽⧼parentheses⧽ ⧼parentheses⧽
⧼revision-nav⧽
Wechseln zu: Navigation⧼comma-separator⧽Suche

Allgemeines

Dieses Plugin ermöglicht die Erstellung einer Filterkomponente, deren Filterinformationen aus einer CSV-Datei gelesen werden. Die resultierende Filterkomponente stellt somit eine offnen Schnittstelle für beliebige Fremdsysteme dar.

Diese Filterkomponente basiert auf den Überlegungen, die im Artikel BeanShell-Filter unter dem Punkt Dynamischer BeanShell-Filter als CSV-File-Interface ausgeführt werden. Die hier vorgestellte Filterkomponente stellt eine erweiterte und hinsichtlich der Performance optimierte Variante des dort vorgestellten BeanShell-Skriptes in Form eines Plugins dar.

Funktionsweise

Die CSV-Datei-Filterkomponente ließt die Informationen Sendungstitel und Episodentitel aus dem Datensatz einer CSV-Datei aus und vergleicht diese mit den entsprechnden Informationen einer Sendung im Datenbestand des TV-Browsers.

Installation

Für die Installation des Plugins folgt man den diesbezüglichen Anweisungen im Artikel Plugin.

Erstellung einer CSV-Datei-Filterkomponente

Die Erstellung einer CSV-Datei-Filterkomponente erfolgt gemäß der Beschreibung zur Erstellung von Filterregeln. Hierzu muss aus der entsprechenden Liste der Typ CSV-Datei ausgewählt und anschließend der Pfad zur jeweiligen CSV-Datei angegeben werden. Das folgende Schaubild verdeutlicht diese Konfiguration an einem Beispiel.


Schaubild - Erstellung einer CSV-Datei-Filterkomponente.jpg


Relativer Pfad zur CSV-Datei

Die Pfade zu den jeweiligen CSV-Dateien werden als relative Pfade bezüglich des TV-Browser-Hauptverzeichnisses angelegt.

Konventionen

Bei der Bereitstellung einer CSV-Datei, die von der CSV-Filter-Komponente eingelesen werden soll, sind bestimmte Konventionen zu beachten.

Kodierung der CSV-Datei

Bei der Erstellung der CSV-Datei muß die Kodierung UTF-8 verwendet werden.

Aufbau der CSV-Datei

Die CSV-Datei-Filterkomponente erwartet eine CSV-Datei mit einem definierten Aufbau.

Separator:

In der CSV-Datei werden die Datenfelder durch ein Semikolon ";" getrennt.

Datenfelder:

Die CSV-Datei enthält die Datenfelder Sendungstitel und Episodentitel.

Datensätze:

Ein Datensatz in der CSV-Datei wird von der CSV-Datei-Filterkomponente in folgender Form erwartet.


Sendungstitel;Episodentitel

Informationen in einem Datensatz

Die CSV-Datei-Filterkomponente behandelt alle Sendungen wie eine Episode einer Serie. Gehört eine Sendung zu einer Serie, so enthält sie die Informationen Sendungstitel1 und Episodentitel1. Eine solche Sendung wird in der CSV-Datei wie folgt hinterlegt.


Sendungstitel1;Episodentitel1

Gehört eine Sendung nicht zu einer Serie (z. B. Spielfilm, Dokumentation etc.), so enthält sie nur die Informationen Sendungstitel2. Eine solche Sendung wird von der CSV-Filter-Komponente als Serie mit nur einer Episode interpretiert. Somit entspricht der Episodentitel dem Sendungstitel. Die Hinterlegung einer solchen Sendung erfolgt in der CSV-Datei auf folgende Weise.


Sendungstitel2;Sendungstitel2

Gleicher Sendungstitel für Serie und Film

In Ausnahmefällen kann ein Sendungstitel sowohl eine Serie als auch einen Film repräsentieren. In diesem Fall können die entsprechenden Sendungen in der CSV-Datei folgendermaßen hinterlegt werden:


Sendungstitel3;Episodentitel3  <--|
Sendungstitel3;Episodentitel4     |--- Der Sendungstitel gehört sowohl zu einer serie als auch zu einem Film
Sendungstitel3;Sendungstitel3  <--|

Informationen in den Datenfeldern

Die Datenfelder in der CSV-Datei werden von der CSV-Datei-Filterkomponnete mit den entsprechnden Feldern im TV-Browser abgeglichen. Dies ist bei der Erstellung der CSV-Datei zu beachten.

Informationen im Datenfeld Sendungstitel

Das Feld Sendungstitel in der CSV-Datei entspricht dem Feld TITLE_TYPE bzw. ORIGINAL_TITLE_TYPEim TV-Browser. Diese enthalten als Information den Titel der Sendung.

Informationen im Datenfeld Episodentitel

Das Feld Episodentitel in der CSV-Datei entspricht dem Feld EPISODE_TYPE bzw. ORIGINAL_EPISODE_TYPE im TV-Browser. Diese enthalten als Information den Titel der Episode.

Episodentitel in der Kurzbeschreibung

In Ausnahmefällen wird die Information über den Episodentitel im TV-Browser in der Kurzbeschreibung hinterlegt. Die CSV-Datei-Filterkomponente erkennt dies und gleicht in diesem Fall das Feld Episodentitel mit dem Feld SHORT_DESCRIPTION_TYPE im TV-Browser ab.

Hinweis:

Somit ist es möglich, in der CSV-Datei die Kurzbeschreibung im Feld Episoedentitel zu hinterlegen. Dies kann im Einzelfall hilfreich sein, wenn kein expliziter Episodentitel verfügbar ist.

Beispiel:

Die Episoden der Sendung Disco haben keinen expliziten Titel, sondern werden über das Datum der Erstausstrahlung identifiziert. Dieses wird im TV-Browser in der Kurzbeschreibung hinterlegt.

Beispiel einer CSV-Datei

Eine gemäß den obigen Konventionen bereitgestellte CSV-Datei sieht wie folgt aus.


Sendungstitel1;Episodentitel1   <-- Die Sendung gehört zu einer Serie
Sendungstitel1;Episodentitel2
Sendungstitel2;Sendungstitel2   <-- Die Sendung gehört nicht zu einer Serie (z. B. Spielfilm, Dokumentation etc.)
Sendungstitel3;Episodentitel3
Sendungstitel3;Episodentitel4  
Sendungstitel3;Episodentitel5  
Sendungstitel4;Episodentitel6  <--|
Sendungstitel4;Episodentitel7     |--- Der Sendungstitel gehört sowohl zu einer Serie als auch zu einem Film
Sendungstitel4;Sendungstitel4  <--|

Anwendung

In diesem Abschnitt werden einige Möglichkeiten zur Anwendung der CSV-Datei-Filterkomponenrte aufgezeigt.

Hinweis:

Bei der Verwendung einer CSV-Datei-Filterkomponente in einem Filter ist, nach einer Modifikation der zu Grunde liegenden CSV-Datei, für die Aktualisierung der Darstellung der Filterinfomationen im TV-Browser eventuell ein Neustart des TV-Browsers erforderlch.

Offene bidirektionale Schnittstelle

Die vorgestellte CSV-Datei-Filterkomponente kann in Kombination mit den Plugins Filter-Info-Icons und SwitchPlugin zur Konfiguration einer offenen bidirektionalen Schnittstelle verwendet werden.

Informationen zu Sendungen bereitstellen

Im Beispiel zur Konfiguration einer offenen bidirektionalen Schnittstelle, wird aus einer CSV-Datei die Information bereitgestellt, ob eine Sendung in einer Mediathek enthalten ist oder nicht. Über die CSV-Datei-Filterkomponente können aber auch andere Informationsmerkmale zu Sendungen bereitgestellt werden. Hierzu muß eine CSV-Datei mit den Sendungen gefüllt werden, die das Merrkmal tragen. Anschließend folgt man der im Artikel Konfiguration einer offenen bidirektionalen Schnittstelle vorgestellten Vorgehensweise. Das folgende Beispiel soll helfen, dies zu verdeutlichen.

Erstausstrahlungen und Wiederholungen

Um anzuzeigen, ob eine Sendung eine Erstausstrahlung ist, wird Im TV-Browser die zusätzliche Informtaion Neu verwendet. Die Information, ob eine Sendung eine Wiederholung ist, wird über den ProgramFieldType im Feld REPETITION_OF_TYPE angezeigt. Leider sind diese Informationen nicht immer für alle Sendungen verfügbar. Daher läßt sich im TV-Browser nicht immer eindeutig bestimmen, ob eine Sendung eine Erstausstrahlung bzw. Wiederholung ist oder nicht.

Dieses Problem kann mittels der CSV-Datei-Filterkomponente gelößt werden. Hierzu muß eine CSV-Datei mit den Sendungen gefüllt werden, deren Erstausstrahlungsdatum in der Zukunft liegt. Die Sendungen, die nicht in dieser Datei aufgeführt werden, sind folglich Wiederholungen. Das Datum der Erstausstrahlung einer Sendung kann hierzu aus einer externen Datenquelle wie z. B. der freien Datenbank TheTVDB ausgelesen werden. Zur Anzeige im TV-Browser folgt man wieder der übliche Vorgehensweise.

Anbindung an externe Datenquellen

Die CSV-Datei-Filterkomponente kann zur Anbindung des TV-Browsers an externe Datenquellen genutzt werden. Hierbei sind inbesondere freie Datenbanken wie z. B. TheTVDB, AniDB oder TVRage von Interesse, da diese umfangreiche TV-Daten verwalten. Für die Kommunkation mit diesen Datenbanken kann z. B. das FileBot CLI verwendet werden.

Performance

Dieses Plugin wurde hinsichtlich der Performance optimiert. Diese Optimierung wurde aus technischer Sicht hauptsächlich durch die Minimierung der Lesezugriffe auf die CSV-Datei und das Laden der Daten aus der CSV-Datei in den Arbeitspeicher erreicht. Somit kommt es bei der Arbeit mit CSV-Dateien, die eine große Anzahl von Datensätzen enthalten, zu einer erhöhten Auslastung des Arbeitsspeichers. Daher ist die Performance vom vefügbaren Arbeitsspeicher abhängig. Für Details sei auf den Quellcode im Plugin-Paket verwiesen.

Diesbezügliche Tests wurden mit Dateien durchgeführt, die bis zu 100.000 Datensätzen enthielten. Diese Tests führten bei einem Arbeitsspeicher von 3 GB zu guten Ergebnissen.

Versionen

Die folgende Tabelle zeigt den Versionsverlauf des Plugins.

Version Kommentar Typ Datum
0.1.0.1 Implementierung der Filterkomponente basierend auf dem dynamischen BeanShell-Filter als CSV-File-Interface Entwicklungsversion 02.03.2015
0.1.0.2 Optimierung der Performance Entwicklungsversion 03.03.2015
0.1.0.3 Relative Pfade und Hinterleguung für Filme, Dokumentationen etc. Offizielle Version 06.03.2015
0.1.0.4 Episodentitel in der Kurzbeschreibung Offizielle Version 29.03.2015
0.1.0.5 Gleicher Sendungstitel für Serie und Film, Verbesserung der Matching-Logik Offizielle Version ---