SQL Server wendet sich Kubernetes und Big Data zu

So installieren Sie MS SQL auf einem Ubuntu-Server Möchten Sie nicht, dass MS SQL-Datenbankserver mit der Leistung, Zuverlässigkeit und Sicherheit von Linux kombiniert wird? Es ist einfacher als du gedacht hast. Lassen Sie sich von Jack Wallen zeigen, wie.

Mehr über Windows

  • Verwendung des Gott-Modus in Windows 10
  • Windows 10 PowerToys: Ein Spickzettel
  • Microsofts größte Flops des Jahrzehnts
  • 10 Tricks und Optimierungen zum Anpassen von Windows 10 (kostenloses PDF)

Ursprünglich basierten der SQL-Datenbankdienst in Azure und das SQL Server-Produkt auf unterschiedlichem Code. Vor einigen Jahren hat Microsoft die Codebasis vereinheitlicht, damit Anwendungen zwischen ihnen kompatibel sind. Das SQL-Team erkannte, dass Kunden nicht nur ihre Datenbankanwendungen in die Cloud verschieben wollten, sondern auch die Komplexität mehrerer Datenbanken einfacher verwalten wollten.

"Wir haben gesehen, dass selbst im Zeitalter der Cloud das Interesse an SQL Server so groß war, dass die Möglichkeit bestand, das Wertversprechen von SQL Server zu erweitern", so der General Manager für Azure Data und AI John 'JG' Chirapurath sagte TechRepublic. Dies führte zur Polybase-Technologie in SQL Server 2016 ("Mit Polybase können Sie in T-SQL, der Verkehrssprache von SQL Server, sprechen und eine Reihe verschiedener Datenquellen abfragen") und zu SQL Server 2017 für Linux, das Chirapurath aufruft "Eine der wegweisendsten Versionen von SQL Server und wohl die erfolgreichste Version, die wir je hatten". In 18 Monaten wurde es mehr als 20 Millionen Mal heruntergeladen - und ein Teil dieses Volumens hängt davon ab, wie einfach die Containerunterstützung die Bereitstellung ermöglicht.

PolyBase enables SQL Server 2016 to process Transact-SQL queries that read data from Hadoop. The same query can also access relational tables in SQL Server.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Mit PolyBase kann SQL Server 2016 Transact-SQL-Abfragen verarbeiten, die Daten aus Hadoop lesen. Dieselbe Abfrage kann auch auf relationale Tabellen in SQL Server zugreifen.

Bild: Microsoft

Vereinfachung von Kubernetes für Big Data

Kunden wollten SQL Server auf Kubernetes, sagt Chirapurath, aber sie wollten auch, dass dies einfacher wird.

"Die meisten Unternehmen haben Container als Mittel zur Verwaltung der polyglotten Apps und Systeme in den Rechenzentren eingesetzt und verbinden sie zunehmend als Orchestrierungs-Framework mit Kubernetes", sagt Chirapurath.

"Einer der Gründe, warum Kubernetes immer komplizierter wird, ist, dass viele Erweiterungen hinzugefügt werden. Daher hat sich Kubernetes von einem universellen Framework zu einer Idee mit einer Einheitsgröße entwickelt. Kubernetes besteht aus vielen verschiedenen Dingen." Chirapurath fügt hinzu.

Für SQL Server 2019 verfügen Cluster-Administratoren über ein Administrationsportal und eine Befehlszeilenschnittstelle, über die sie die gesamte Verwaltung durchführen können.

Kunden fragten dann nach der gleichen Hilfe bei ihren Datenseen mit unstrukturierten Daten, die SQL Server ihnen zwischen Cloud- und lokalen Datenbanken gab. "Helfen Sie uns mit unserem Datensee und all den unstrukturierten Daten, die wir gesammelt haben. Helfen Sie uns, all diese Komplexität mit Daten zu verwalten, die wir lokal und in der Cloud sehen. Geben Sie uns eine sehr konsistente Möglichkeit, unsere vertrauten Tools zu verwenden. vertraute Fähigkeiten mit Dingen, auf die wir bereits gewettet haben. Und die Wetten beinhalteten Dinge wie Spark, HDFS, vielleicht Python, R und ähnliche Dinge ", sagt Chirapurath.

Einstellungskit: Datenbankadministrator (TechRepublic Premium)

Sobald SQL Server 2017 auf Containern ausgeführt wurde, konnte Microsoft Polybase erweitern, sodass Sie nicht nur Datenquellen wie MongoDB und Oracle mit SQL Server 2019 abfragen können, sondern auch einen HDFS-Speicherpool in einen SQL Server-Cluster einfügen können (der in einem Cluster ausgeführt wird) von Linux-Containern) und führen Sie sowohl SQL Server als auch Spark in diesem Speicherpool aus.

"Wir haben im Wesentlichen die Open-Source-Spark-Engine übernommen und sie eng in den SQL-Abfrageprozessor, die SQL Server-Engine, integriert", sagt Chirapurath. "Jetzt können Sie Spark-Abfragen im Wesentlichen in SQL Server SQL-Syntaxanweisungen einbetten und Datenseen direkt abfragen. SQL ist vollständig relational, während Ihre Datenseen vollständig unstrukturiert sind - es kann sich um jede Art von Daten handeln. Jetzt können Sie um eine Datenvirtualisierungsschicht zu erstellen und alle Arten von Daten in Ihrem Unternehmen zu verwalten, unabhängig davon, ob sie in SQL Server gespeichert werden können oder nicht. "

Dies erleichtert die Abfrage von HDFS, vereinfacht aber auch die Einrichtung, da Sie anstelle der Erstellung und Verwaltung eines separaten HDFS-Speichers eine SQL Server-Verfügbarkeitsgruppe mit einem einzigen Befehl in Kubernetes bereitstellen und in etwa einer halben Stunde einen Cluster abrufen können. Außerdem werden die üblichen Sicherheitsprobleme bei der Integration relationaler und Big-Data-Umgebungen vermieden: SQL Server-Big-Data-Cluster verfügen über eine integrierte Sicherheitsebene, die SQL Server, Spark und HDFS abdeckt. SQL Server Machine Learning Services werden in der Master-Instanz ausgeführt, und R, Python, Java und Scoring und Vorhersagen für maschinelles Lernen werden nativ im Master-Cluster ausgeführt. Wenn Sie möchten, gibt es sogar Tools von Drittanbietern, um Spark in SQL Server mit FPGAs zu beschleunigen.

Wenn Sie Spark ausführen, können Sie Spark ML ausführen und die R- und Python-Unterstützung verwenden, die SQL Server 2017 hinzugefügt wurde, sodass Sie maschinelle Lernsysteme erstellen können, die sowohl mit strukturierten als auch mit unstrukturierten Daten arbeiten. "Sie können eine Pipeline für maschinelles Lernen erstellen, in der Sie unstrukturierte Daten über die Spark-Integration abrufen, relationale Daten über den SQL-Abfrageprozessor abrufen und mit R und Python Modelle für maschinelles Lernen direkt in SQL Server erstellen können. "sagt Chirapurath.

"Was ich heute aus KI-Sicht auf dem Markt sehe, ist, dass die Menschen auf zwei Arten an die Kunst, Wissenschaft und das Handwerk des maschinellen Lernens herangehen", sagt Chirapurath. "Ein Weg führt über das Big-Data-Ökosystem, da sie die Daten in der Hadoop-Welt sammeln und Spark verwenden, um diese Daten im Grunde zu überdenken und dann Dinge wie Spark ML zu verwenden. Im Wesentlichen führen sie sehr kompliziertes und komplexes maschinelles Lernen durch Auf der anderen Seite sehe ich viele Entwickler, die Sprachen wie R und Python verwenden, sogar Dinge wie Scala, und das ist sehr entwicklerorientiert. SQL Server 2019 kann diese beiden Punkte überbrücken der Ansicht. "

Dateningenieure, Datenwissenschaftler, Datenbankadministratoren und SQL Server-Entwickler können mit Azure Data Studio Datenbanken verwalten, Abfragen schreiben und mit beiden Tools arbeiten.

Die Bäche überqueren

Der Vorteil von R und Python in der SQL Server-Engine besteht darin, dass Sie maschinelles Lernen dort durchführen können, wo sich die Daten befinden, mit einer viel geringeren Latenz als wenn die Daten an anderer Stelle gespeichert würden. Mit SQL Server 2019 erhalten Sie in beide Richtungen den gleichen Vorteil. Die Datenvirtualisierungsschicht vermeidet die Notwendigkeit, Petabytes an Daten aus einem Datensee zu verschieben, was nicht praktikabel ist. "Ebenso zögern Kunden, Daten aus SQL Server zu verschieben, um einen vollständigen Data Engineering-Prozess zum Bereinigen durchzuführen, um eine AI-Aufgabe oder eine ML-Aufgabe zu erreichen. Auf diese Weise können Sie nur mit den Daten in SQL Server arbeiten und Heiraten Sie es in der Ergebnismenge für die Daten, die Sie mit Spark aus Ihrem Datensee abfragen ", sagt Chirapurath.

Wenn Sie zuvor mit strukturierten und unstrukturierten Daten zusammenarbeiten wollten, haben Sie sich eine erhebliche Menge an ETL angesehen: Wenn Sie SQL Server- und Spark-Daten in Azure Data Warehouse kombinieren möchten, müssen Sie Azure Data Factory zum Aufnehmen und Transformieren von Daten verwenden .

Analytics hat Unternehmen eine „falsche Wahl“ zwischen strukturierten / relationalen und unstrukturierten / nicht relationalen Daten vorgelegt, indem Chirapurath sie aus rein historischen Gründen als Silos für die Verwaltung und Verwendung von Daten behandelt.

"Relationale Datenbanksysteme wurden zu einer Zeit geboren, als die Speicherung mit hohen Kosten verbunden war. Aufgrund von technologischen Innovationen sind die Speicherkosten fast auf Null gesunken", betont Chirapurath. Als der IBM-PC zum ersten Mal auf den Markt kam, kostete eine 20-MB-Festplatte 3-4.000 US-Dollar. "Jetzt sind die Hälfte der Dinge, die ich in meinem Posteingang bekomme, ungefähr 20 MB", sagt er.

Die sinkenden Speicherkosten und die Schwierigkeit, zu wissen, welches Ihrer Petabyte an Daten es wert ist, aufbewahrt zu werden, bedeuten, dass das Problem keine Daten speichert, sondern es nützlich macht. "Was die Leute mit relationalen Datenbanken gemacht haben, war, dass sie hoch kuratierte Mittel zum Speichern von Daten geschaffen haben. Sie waren äußerst hartnäckig in Bezug auf das, was gespeichert und weggeworfen wurde. Die 'goldene Aufzeichnung' alles in jedem Aufzeichnungssystem in einer Organisation war sakrosankt Weil Speicher unglaublich teuer war. Was im letzten Jahrzehnt passiert ist, ist, dass es keinen Kostengrund gab, etwas wegzuwerfen, also haben sie alles gespeichert. Wir befinden uns in einer Welt, in der alles sicher ist ", sagt Chirapurath.

SQL Server 2019 wird in Kürze ausgeliefert, und Chirapurath deutete an, dass es weitere Ankündigungen für die Datenbank-Tools von Microsoft geben wird, die zu diesen Markttrends bei Ignite passen, einschließlich der Wette auf Open Source. "Was Sie mit SQL Server-Big-Data-Clustern sehen, mit einer Open-Source-Analyse-Engine (Spark) neben einer relationalen Analyse-Engine (SQL Server), bei der das System sowohl relationale als auch nicht-relationale Daten abfragen kann relationale Daten sind ein Hinweis darauf, wie wir unserer Meinung nach mit Kunden zusammenarbeiten sollten, um diese künstlichen Barrieren abzubauen. "

Microsoft Weekly Newsletter

Seien Sie der Microsoft-Insider Ihres Unternehmens mithilfe dieser Windows- und Office-Tutorials und der Analysen unserer Experten zu Microsoft-Unternehmensprodukten. Wird montags und mittwochs geliefert

Heute anmelden

Mehr zu Microsoft

  • So installieren und verwalten Sie Add-Ins in Microsoft Outlook (TechRepublic)
  • Windows 10 Probleme mit dem Startmenü? Microsoft untersucht, ob die Suche nach dem neuesten Fix unterbrochen wurde (TechRepublic).
  • Power BI und Azure als Zukunft der Unternehmensanalyse (TechRepublic)
  • Microsoft Power BI Premium bietet Funktionen für Unternehmen und Mengenrabatte (ZDNet).
  • Die Datenerfassung könnte Microsoft Power BI auf iOS und Android (TechRepublic) bringen.
  • Aufbau einer Bank, die mit Power BI (TechRepublic Resource Library) überraschen und begeistern kann
  • Erstellen Sie Datenvisualisierungen und -analysen mit Google Fusion Tables (TechRepublic).
  • Microsoft Office 365: Der Leitfaden für intelligente Personen (TechRepublic)

© Copyright 2021 | mobilegn.com