Googles Ansatz für Big Data ist BigQuery

Alle scheinen jetzt über Big Data zu sprechen (außer auf den Geburtstagsfeiern, zu denen ich gehe, wo sie immer noch über Teenaged Mutant Ninja Turtles diskutieren - ein akzeptables Thema, wenn Sie fünf Jahre alt sind). Big Data ist ein Thema, das sich über alle Bereiche der IT erstreckt, von Systemadministratoren, die versuchen, es zu speichern, Netzwerkadministratoren, die versuchen, Zugriff darauf zu gewähren, bis hin zu Geschäftsanalysten, die versuchen, einen Sinn daraus zu ziehen.

Wie das Rumpeln eines nahe gelegenen Flugzeugs, das zu starten begann, war mir das Konzept von Big Data nicht wirklich bewusst, bis das Geräusch, das es umgab, so laut wurde, dass es schwer war, etwas anderes zu hören.

In Wikipedia heißt es: "Big Data ist eine Sammlung von Datensätzen, die so groß und komplex sind, dass die Verarbeitung mit vorhandenen Datenbankverwaltungstools schwierig wird." Was "groß und komplex" definiert, kann subjektiv sein, aber in einem allgemein bestmöglichen Szenario wären dies Informationen in Höhe von Exabyte. Ich denke, es ist sicher zu sagen, dass viele von uns wahrscheinlich ein 1-Terabyte-Laufwerk besitzen oder besessen haben. Stellen Sie sich eine Million dieser Laufwerke vor, die an ein System angeschlossen sind, das versucht, zu analysieren, was sich auf ihnen befindet, und in kurzer Zeit aussagekräftige Ergebnisse liefert. Im Moment ist das Big Data.

Was wird analysiert?

Als ich anfing, über Big Data zu lesen, ging ich davon aus, dass es sich um große Datenbanken mit Marketingdetails oder Kundendatensätzen handelt. Dies mag zutreffen, aber Big Data kann sich auch auf E-Mails, Bürodokumente, Protokolle und Bilddateien beziehen - alles, was für Ihr Unternehmen wertvolle Informationen darstellt.

Welche Optionen bietet Google an?

Auf der Google-Seite kommt BigQuery ins Spiel.

Laut Google ist "BigQuery ein Webdienst, mit dem Sie interaktive Analysen großer Datenmengen durchführen können - bis zu Milliarden von Zeilen. Mit BigQuery können Entwickler und Unternehmen bei Bedarf auf leistungsstarke Datenanalysen zugreifen. BigQuery eignet sich am besten für interaktive Analysen von sehr großen Datasets, in der Regel mit einer kleinen Anzahl sehr großer, nur anhängender Tabellen. Für traditionellere relationale Datenbankszenarien sollten Sie stattdessen Google Cloud SQL verwenden. "

Dieser letztere Satz könnte schwierig sein. Google bietet einen Vergleich an, um die Unterschiede zwischen den beiden Diensten zu verdeutlichen:

Abbildung A.

Da BigQuery dem Konzept von "Big Data" näher kommt, werde ich es für den Zweck dieses Artikels weiter analysieren.

Was kann BigQuery konkret tun?

Seien wir ehrlich: Daten und deren Handhabung können ohne subjektive Beispiele ein trockenes Thema sein. Google bietet mehrere Fallstudien an, um die Vorteile von BigQuery zu erläutern. In einer solchen Studie wird erläutert, wie ein Unternehmen namens Crystalloids eine BigQuery-basierte Anwendung für einen Kunden (PDF) erstellt hat. Dieser Kunde, Center Parcs Europe, betrieb ein Resort-Netzwerk und wollte herausfinden, welche Marketingtechniken am besten funktionieren, um potenzielle Gäste vor geschäftigen Urlaubszeiten zu erreichen.

Crystalloids hat die neue Webanwendung für Center Parcs Europe eingerichtet, mit der sie sich "auf bestimmte Daten konzentrieren können, indem sie einfach auf eine Schaltfläche klicken - beispielsweise um Buchungsinformationen für ein bestimmtes Land anzuzeigen oder einen bestimmten Zeitraum zu isolieren". Die Abfrageergebnisse wurden dann über die Google Visualization API in Diagramme und Grafiken umgewandelt.

BigQuery tuckert innerhalb weniger Sekunden durch Millionen von Datensätzen. Zum Vergleich: Andere Optionen können acht Minuten dauern. Infolgedessen konnte Center Parcs Europe "auf Buchungsinformationen zugreifen, Preise festlegen und Einnahmen maximieren". Sie sparten 150.000 USD pro Jahr an Betriebskosten und - was das Beste ist - da die Anwendung Cloud-basiert ist, mussten sie nicht fast 800.000 USD ausgeben, um sie lokal auszuführen.

Weitere konkrete Beispiele aus den Fallstudien zur Verwendung von BigQuery:

  • "Erkennen Sie aufkommende Trends bei Daten."
  • "Bewerten Sie die Wirksamkeit von Kampagnen zur Benutzerakquise."
  • "Sehen Sie sich die Messwerte für Reichweite, Kundenbindung und Umsatz der Benutzer an, um festzustellen, ob ein Spiel oder eine App an Bedeutung gewinnt, bevor Sie zu viel in sie investieren."
  • "Identifizieren Sie die aktivsten Benutzer und locken Sie sie dazu, neue Spieler in Spiele einzuführen."
  • "Erfahren Sie, wie oft Kunden nach Sitzplätzen gesucht und keine oder nur sehr wenige verfügbar gefunden haben, was darauf hinweist, dass einer Route mehr Sitzplätze hinzugefügt werden sollten."
  • "Untersuchen Sie Buchungsrückgänge und benachrichtigen Sie die Ingenieure, wenn ein technisches Problem die Ursache ist."
  • "Identifizieren Sie Serverprobleme, indem Sie schnell Daten im Zusammenhang mit der Serveraktivität analysieren."
  • "Entdecken Sie, wie viele einzelne Besucher Blogs und Websites anzeigen."

Eine gute Lektüre zum Thema finden Sie im Wired-Magazin, das über die Ursprünge von BigQuery spricht.

Wie füge ich meine Daten BigQuery zu?

Sie können Ihre Daten im CSV- oder JSON-Format hochladen. Es sind mehrere Dateien (bis zu 500) mit einer maximalen Auftragsgröße von jeweils 1 Terabyte zulässig. Sie können diese Informationen von Ihrem Computer oder mithilfe von Google Cloud Storage importieren (was Google für einen effizienteren Daten-Upload empfiehlt). Sie haben auch eine Kontingentrichtlinie für Abfragen und Import- / Exportaufträge, die besagt, dass Sie bis zu 20 gleichzeitige Abfragen oder Abfragen mit insgesamt 200 GB und eine Abfrage mit unbegrenzter Größe ausführen können.

Google bietet die vollständigen Details zum Hochladen Ihrer Daten über eine Seite mit dem Titel "Best Practices und Kochbuch zur Datenerfassung bei großen Abfragen". Es klingt wie etwas, das sich vielleicht im Leseregal von Jabba the Hutt befindet, ist aber tatsächlich eine sehr umfassende Anleitung. Google bietet auch eine Best Practices-Seite für BigQuery an, die einen Besuch wert ist. Neue Updates können später hinzugefügt werden.

Wie verwende ich BigQuery, um auf meine Daten zuzugreifen?

Sie können BigQuery über einen Browser oder ein Befehlszeilentool verwenden. Es ist auch möglich, über eine REST-API (Application Programming Interface) darauf zuzugreifen.

Was kostet BigQuery?

Die Preise für Big Data sind wie folgt. Beachten Sie, dass die ersten 100 GB Daten, die Sie jeden Monat verarbeiten, kostenlos sind:

Abbildung B.

Wenn Sie Abfragen ausführen, wird Ihnen die Verarbeitung von Daten nur pro Spalte (und nicht pro Tabelle) in Rechnung gestellt.

Fazit

Als Systemadministrator ist es seit vielen Jahren mein Ziel, die Wahrnehmung zu ändern, dass IT nur existiert, um "defekte Computer zu reparieren" oder "Passwörter zu ändern". Das ist, als würde man einen Ford Mustang von 1968 in der Garage lassen, um nur vierteljährlich zum Zahnarzt zu fahren. In Wirklichkeit sollte der Zweck der Informationstechnologie und ihrer Mitarbeiter darin bestehen, Unternehmen zu bereichern. um ihnen zu helfen, das Beste aus ihren Daten herauszuholen, Gewinne zu steigern, Wachstum zu fördern und Kosten zu senken. BigQuery ist ein perfektes Beispiel für dieses Konzept.

Wenn es mir nur helfen könnte, meine 12 Jahre Urlaubsfotos zu analysieren, um herauszufinden, wo zum Teufel wir waren, hätte ich ein weiteres Projekt von meiner To-Do-Liste gestrichen.

Lesen Sie auch:

  • Verzeichnis: Big-Data-Anbieter in den USA
  • Tipps zum Mining von Big Data in einer Umgebung für kleine Unternehmen
  • Fünf Anwendungen zum Parsen von Big Data

© Copyright 2021 | mobilegn.com