Databricks, das Daten- und KI-Unternehmen, gibt die Verfügbarkeit von Delta Sharing 0.3.0 bekannt, nachdem es im Mai 2021 der Öffentlichkeit vorgestellt wurde. Delta Sharing ist ein offenes Protokoll für den sicheren Echtzeit-Austausch grosser Datenmengen, welches erstmals einen sicheren Datenaustausch über Produktgrenzen hinweg ermöglicht.
Mit Delta Sharing können Nutzer über Pandas, Tableau oder viele andere Systeme, die das offene Protokoll implementiert haben, direkt auf die gemeinsam genutzten Daten zugreifen, ohne eine bestimmte Plattform einsetzen zu müssen. Dies reduziert die Zugriffszeit von Monaten auf Minuten und den Aufwand für Datenanbieter, die so viele Nutzer wie möglich erreichen wollen. Das auf Apache Parquet basierende REST-Protokoll gibt Live-Daten weiter, ohne sie zu kopieren, unterstützt eine breite Palette von Clients und bietet starke Sicherheits-, Prüfungs- und Governance-Funktionen für die Skalierung auf grosse Datenmengen.
Hier die wichtigsten Erweiterungen:
- Unterstützung von Azure Blob Storage und Azure Data Lake Gen2 in Delta Sharing Server.
- Apache Spark Connector kann den Parameter limitHint senden, wenn eine Benutzerabfrage limit verwendet.
- load_as_pandas in Python Connector akzeptiert jetzt einen limit-Parameter und erlaubt damit Benutzern, nur wenige Zeilen zur Untersuchung abzurufen.
- Apache Spark Connector ruft vorab signierte URLs erneut auf, bevor sie ablaufen, um länger laufende Abfragen zu unterstützen.
- Hinzufügung einer neuen API, um alle Tabellen in einer Freigabe zu listen und Netzwerk-Roundtrips zu sparen.
- Hinzufügen eines User Agent Header, um das Senden von Apache Spark Connector und Python anzufordern.
- Hinzufügen eines optionalen expirationTime-Feldes zum Delta Sharing Profile File Format, um die Ablaufzeit des Tokens anzugeben.