Wie sieht ein Cloud Data Warehouse aus?

Wie KI und Big Data Frühgeburten reduzieren können Karen Roby erfuhr, wie Lucina Health aus Kentucky KI verwendet, um festzustellen, ob bei einer Frau das Risiko einer Frühgeburt besteht.

Traditionell sammelt ein Data Warehouse alle strukturierten Daten aus Ihrem Unternehmen, sodass Sie sie in ein einziges Datenmodell integrieren, Analysen ausführen und Business Intelligence bereitstellen können - sei es für die Entwicklung neuer Produkte oder für die Vermarktung bestehender Services an Kunden. Früher wurde das als "Big Data" bezeichnet, aber jetzt verfügen alle Unternehmen über große Datenmengen, die aus Quellen wie E-Commerce-Sites, IoT-Geräten und Sensoren stammen. Daher muss ein modernes Data Warehouse strukturierte, unstrukturierte Daten und Streaming-Daten verarbeiten und in Echtzeit anbieten Analytics sowie BI und Reporting.

Julia White, Azure corporate vice-president at Microsoft.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Julia White, Azure Corporate Vice President bei Microsoft.

Bild: Microsoft

Unternehmen tun dies zunehmend in der Cloud, um eine höhere Geschwindigkeit und niedrigere Kosten zu erzielen. Immer mehr dieser Daten befinden sich möglicherweise bereits in der Cloud, ebenso wie die Dienste, mit denen Sie diese Daten verwenden möchten, weist Julia White, Vizepräsidentin von Azure, darauf hin. "Während Daten in der Cloud gespeichert werden und in die Cloud verschoben werden, unabhängig davon, ob sie von SaaS-Anwendungen oder Anwendungen stammen, die nur in die Cloud verschoben werden, sind die Betriebsdaten vorhanden, und die Kunden fragen sich, warum ich meine Betriebsdaten von der Cloud in die Cloud verlagern soll." -Vorstellungen, nur um meine Analysen durchzuführen? ' Es macht einfach keinen Sinn. " (Es gibt immer noch viele Daten vor Ort und es wird mehr geben, wenn Edge-Computing wächst, aber viele Kunden verschieben einige oder alle dieser Daten trotzdem in die Cloud, sagt White, abhängig von Compliance-Problemen.)

Jedes Unternehmen befasst sich mit KI, "und sie erkennen sehr schnell, dass die Analytik die Grundlage dafür ist", bemerkt White. "Sie fragen sich, wie der Stand meiner Analysen und meines Data Warehouse ist. Oft ist das nicht gut genug."

Die Popularität von Power BI treibt auch mehr Microsoft-Kunden zur Cloud-Analyse. "Wenn sie über diese leistungsstarken Datenvisualisierungen verfügen, stellen sie ihre Analysefunktionen in Frage. Ich möchte wissen, was hinter meiner Datenvisualisierung steckt: Ich liebe Power BI und wünschte, meine Analysen wären interessanter", sagt White.

Anspruchsvollere Kunden möchten ihre eigenen Office Graph-Daten analysieren (die Sie mit Azure Data Factory in Azure Data Lake kopieren können) oder die Open Data Initiative (ODI) zwischen Microsoft, Adobe und SAP (die auf Azure Data basiert) nutzen Lake und wird schließlich Daten von vielen weiteren Softwareanbietern integrieren). "Azure Data Lake ist sehr eng mit Azure Data Warehouse verbunden, und Kunden verwenden Azure Data Warehouse, um mehr Einblicke zu erhalten und das moderne Data Warehouse darauf aufzubauen", sagt White.

Welcher Datendienst?

Microsoft verfügt über eine Reihe von Cloud-Diensten, die alle ein wenig wie ein Data Warehouse aussehen. Das offensichtlichste ist Azure SQL Data Warehouse oder 'DW' (wie Microsoft es oft nennt), aber es gibt auch Azure Data Factory, Azure Data Lake und Azure Databricks, Power BI und Azure Machine Learning sowie weitere Paketdienste wie die AI-Verkaufstools in Dynamics 365.

Um sie zu verstehen, müssen Sie sich nicht nur die von ihnen angebotenen Tools ansehen, sondern auch, welche Benutzer sie bedienen und wie sie zusammenarbeiten. Dies liegt daran, dass die Daten eines Unternehmens häufig auf mehrere Datenspeicher verteilt sind. Der erste Schritt bei der Erstellung eines modernen Data Warehouse besteht darin, alle diese Silos zu integrieren. Je mehr dieser verschiedenen Datenspeicher sich in Azure befinden, desto einfacher werden die Verbindungen. Dies ist einer der Gründe, warum Microsoft so viele verschiedene Datendienste anbietet. Das andere, sagt White, ist, dass Kunden nicht nach einem einzigen Tool suchen, das alles kann: "Es gibt eine Reihe differenzierter Auswahlmöglichkeiten, und Sie werden wirklich auswählen und optimieren, was Sie für Ihre eigenen Szenarien verwenden. ""

Mehr über Windows

  • Verwendung des Gott-Modus in Windows 10
  • Windows 10 PowerToys: Ein Spickzettel
  • Microsofts größte Flops des Jahrzehnts
  • 10 Tricks und Optimierungen zum Anpassen von Windows 10 (kostenloses PDF)

Azure DW ist für Dateningenieure gedacht, die mit kuratierten Daten arbeiten. Dies können Daten aus einer SQL Server-Datenbank sein, aber auch Daten aus einer Pipeline, die von Dateningenieuren erstellt wurde, die Databricks oder Spark und .NET verwenden, um Daten aus einer Quelle wie Azure HDInsight vorzubereiten.

Azure Data Factory ist ein weiterer Dienst für Dateningenieure, die Daten aufnehmen, transformieren und orchestrieren. Stellen Sie sich das als Cloud-skaliertes ETL-Tool vor, das Sie über eine Drag-and-Drop-Oberfläche (unter der Decke, das sind eigentlich Logic Apps) oder mit dem Python-, Java- oder .NET-SDK verwenden können, wenn Sie lieber Code schreiben möchten die Datentransformation und die Verwaltung der verschiedenen Schritte der Datenpipeline über Databricks oder HDInsight, in Azure Data Lake oder in Power BI.

Power BI kann Daten auch mithilfe von Datenflüssen (ebenfalls ohne Code) transformieren. Dies soll jedoch eine Self-Service-Funktion für Geschäftsanalysten sein. Dateningenieure oder Vollzeit-BI-Analysten erstellen möglicherweise die semantischen Modelle, mit denen Geschäftsbenutzer arbeiten, und Microsoft erweitert Power BI um eine stärkere Integration mit Azure DW.

Power BI-Benutzer können ihren Visualisierungen und Berichten KI hinzufügen. Einige davon verwenden möglicherweise die vorgefertigten Cognitive Services von Microsoft für Bilderkennung und Stimmungsanalyse. Möglicherweise verwenden sie jedoch auch benutzerdefinierte KI-Modelle, die Dateningenieure im Azure Machine Learning-Dienst für sie erstellt haben, wobei alle Unternehmensdaten verwendet werden.

A modern data warehouse brings together data at any scale, delivering insights via analytical dashboards, operational reports, or advanced analytics.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Ein modernes Data Warehouse vereint Daten in jeder Größenordnung und liefert Einblicke über analytische Dashboards, Betriebsberichte oder erweiterte Analysen.

Bild: Microsoft

Ein Lagerhaus in der Nähe des Sees

Die Komplexität dieser Szenarien ist der Grund, warum die Grenze zwischen Data Warehouses und Data Lakes in der Cloud etwas matschig aussieht. In einem herkömmlichen Data Warehouse können Sie Daten aus mehreren Quellen entnehmen und mithilfe der ETL-Transformation diese Daten in einem einzigen Schema und einem einzigen Datenmodell in einer Software zusammenfassen, die darauf ausgelegt ist, Fragen zu beantworten, die Sie immer wieder stellen möchten.

Diese Quellen müssen keine strukturierten, relationalen Daten sein: Dank der PolyBase- und JSON-Unterstützung in SQL Server und Azure DW können Sie Daten aus nicht relationalen Speichern wie HDFS, Cosmos DB, MySQL und MongoDB sowie Oracle, Teradata und PostgreSQL. Das bedeutet, dass ein Data Warehouse (oder sogar ein SQL Server) eher wie ein Data Lake aussehen kann.

Mit Data Lakes können Sie mehrere strukturierte und unstrukturierte Datenspeicher aufnehmen, aufnehmen und entweder in ihrem nativen Format oder in einem ähnlichen Format speichern, sodass Sie über mehrere Datenmodelle und mehrere Datenschemata verfügen und die Flexibilität haben, neue Fragen aus dem zu stellen gleiche Daten. (Die für Azure Data Lake-Abfragen verwendete SQL-Variante heißt U-SQL, nicht nur, weil es die nächste Version nach T-SQL ist, sondern weil Sie möglicherweise ein U-Boot benötigen, um in Ihren Data Lake zu gelangen und herauszufinden, was darin versteckt ist die trüben Tiefen.)

Wenn Sie eine Frage haben, die Sie wiederholt stellen werden (z. B. Verkaufsanalysen oder Überwachung der Lieferzeiten für ein Dashboard), können Sie aus den relevanten Datenteilen ein Data Warehouse erstellen. Wenn sich die Frage jedoch im Laufe der Zeit ändert oder Sie neue Fragen stellen müssen, können Sie zum Datensee zurückkehren, in dem Sie diese Originaldaten aufbewahren, und ein weiteres Data Warehouse erstellen, um diese Fragen zu beantworten.

Die Kombination aus beiden ist das, was Microsoft unter einer modernen Data-Warehouse-Infrastruktur versteht. Sie können alle Arten von Daten von verschiedenen Orten abrufen, im Datensee für Echtzeitanalysen damit arbeiten oder mithilfe von maschinellem Lernen Muster ermitteln, die Ihnen Aufschluss darüber geben, welche Erkenntnisse Sie aus den Daten gewinnen und mit den vertrauten kombinieren können Data Warehouse-Tools zur effizienten Beantwortung dieser Fragen.

Microsoft hat dafür keinen einzigen Dienst. Mit den verschiedenen Azure-Diensten können Sie verschiedene Teile davon ausführen. Dies bedeutet, dass Sie die Teile auswählen können, die Sie benötigen. Es bedeutet aber auch, dass Sie über die Datenkompetenz verfügen müssen, um Ihr eigenes spezifisches System aufzubauen.

Microsoft Weekly Newsletter

Seien Sie der Microsoft-Insider Ihres Unternehmens mithilfe dieser Windows- und Office-Tutorials und der Analysen unserer Experten zu Microsoft-Unternehmensprodukten. Wird montags und mittwochs geliefert

Heute anmelden

Weitere Informationen zu Power BI und Microsoft

  • Power BI und Azure als Zukunft der Unternehmensanalyse (TechRepublic)
  • Microsoft Power BI Premium bietet Funktionen für Unternehmen und Mengenrabatte (ZDNet).
  • Die Datenerfassung könnte Microsoft Power BI auf iOS und Android (TechRepublic) bringen.
  • Aufbau einer Bank, die mit Power BI (TechRepublic Resource Library) überraschen und begeistern kann
  • Erstellen Sie Datenvisualisierungen und -analysen mit Google Fusion Tables (TechRepublic).
  • Microsoft Office 365: Der Leitfaden für intelligente Personen (TechRepublic)

© Copyright 2020 | mobilegn.com