Metadata Konnektoren
Zur Integration bzw. zum Austausch von Metadaten mit anderen Systemen werden unterschiedliche Konnektoren angeboten. Konnektoren sind Programme, die sich mit Datenquellen verbinden und daraus extrahierte Metadaten nach dataspot übertragen - oder umgekehrt. Jeder Konnektor ist für eine spezifische Datenquelle bzw. für ein festgelegtes System implementiert. Zum Beispiel könnte ein Konnektor das Auslesen von Metadaten direkt aus einer Datenbank unterstützen während ein anderer Konnektor den Austausch von Metadaten mit einer ganz bestimmten Applikation (z.B. einer gängigen BI-Software) ermöglicht. In diesem Sinne sind Konnektoren also fertige, out-of-the-box Lösungen für die Integration von dataspot mit der umliegenden Systemlandschaft.
In den nachfolgenden Beispielen werden zur Veranschaulichung die Datenbank test und der Server https://www.myserver.com verwendet (z.B. im Pfad https://www.myserver.com/rest/test/schemes).
Diese Datenbank bzw. dieser Server ist in allen echten Aufrufen entsprechend zu ersetzen.
Je nach Konfiguration muss die URL gegebenenfalls auch noch um den Context-Path erweitert werden (z.B. https://www.myserver.com/dataspot/rest/test/schemes).
SAP Metadata API (von bluetelligence)
SAP Metadata API verbindet sich mit einem SAP-System, extrahiert daraus relevante Metadaten und bildet diese Metadaten als Lineage in dataspot ab.
Voraussetzungen SAP-System
Genaue Informationen zu den Voraussetzungen des SAP-Systems befinden sich hier.
Installation und Konfiguration
Bei der Installation von SAP Metadata API muss der Server, zusätzlich zu den Hardware- und Softwareanforderungen, sowohl Zugriff auf die betroffenen SAP-Systeme als auch auf dataspot haben.
Weitere Informationen zur Installation unter Linux und Windows befinden sich in der umfassenden Installationsanleitung.
Die Verbindung zum SAP-System ist mittels einer RFC-Verbindung oder mittels einer SQL-Verbindung direkt zur HANA Datenbank möglich.
Zusätzlich zu den Einstellungen des SAP-Systems müssen in appsettings.json der Server und die Authentifizierung von dataspot definiert werden.
RFC-Verbindung
"BwErpSystemConfigurations": [
{
"SystemNumber": "<instance number of BW system>",
"Client": "<client number of BW system>",
"Prefix": "/BLTG/",
"BwErpSid": "<SID of BW system>",
"Server": "<host or IP of BW system>",
"User": "<user to connect to BW system>",
"Languages": ["E", "D"],
}]
Die Property Prefix ist nur notwendig, wenn ein Function Module erforderlich ist.
SQL-Verbindung
"HanaSystemConfigurations": [
{
"HanaSchema": "<schema of BW application in HANA database>",
"Database": "<HANA database>",
"SqlPort": <SQL port of HANA database>,
"UseSsl": <true or false>,
"ConnectionString": null,
"BwErpSid": "<SID of BW system>",
"Server": "<host or IP of your HANA database>",
"User": "<user to connect to HANA database>”,
"Languages": ["E", "D"],
}]
Die Property ConnectionString kann für Verbindungen verwendet werden, die mit der Angabe von Server, SqlPort, Database und User nicht abgedeckt werden können.
Details dazu befinden sich hier.
dataspot
Die Authentifizierung ist mittels Basic Authentication oder OpenID Connect möglich.
"Upload": {
"Url": "<dataspot URL>",
"Scheme": "<dataspot scheme>",
"Tenant": "<dataspot tenant>",
"BasicAuthentication": {
"Username": "<username>",
},
"OnDelete": "<status>"
}
"Upload": {
"Url": "<dataspot URL>",
"Scheme": "<dataspot scheme>",
"Tenant": "<dataspot tenant>",
"OpenIDConnect": {
"ProviderUrl": "<Provider URL>",
"ClientId": "<Client ID>",
"UserId": "<User ID>",
},
"OnDelete": "<status>"
}
Die Property onDelete definiert, ob obsolete Metadatenobjekte gelöscht oder auf den angegebenen Status gesetzt werden.
Aufruf
Nach der Installation und Konfiguration kann SAP Metadata API mit dem Befehl DataLineage und der Option upload aufgerufen werden, um die extrahierte Lineage direkt nach dataspot hochzuladen.
Windows
DataLineage.cmd upload -s <SID of BW system>
Linux
./DataLineage.sh upload -s <SID of BW system>
Beim ersten Ausführen von DataLineage werden die Passwörter für das BW-System sowie für dataspot verlangt.
Es ist daher notwendig, DataLineage zunächst einmal manuell auszuführen, bevor es mittels Scheduler (z.B. cron oder Windows Scheduler) geplant wird.
Details zur Konfiguration als regelmäßiger Job befinden sich hier.