Q41. Sie haben eine Abfrage, die eine BigQuery-Tabelle mithilfe einer WHERE-Klausel auf die Spalten Zeitstempel und ID filtert. Durch die Verwendung von bq query - -dry_run erfahren Sie, dass die Abfrage einen vollständigen Scan der Tabelle auslöst, obwohl der Filter für Zeitstempel und ID nur einen winzigen Teil der Gesamtdaten auswählt. Sie möchten die Menge der von BigQuery gescannten Daten mit minimalen Änderungen an bestehenden SQL-Abfragen reduzieren. Was sollten Sie tun?

Q42. Das Marketingteam in Ihrem Unternehmen stellt regelmäßig Aktualisierungen eines Segments Ihres Kundendatensatzes bereit.
Das Marketingteam hat Ihnen eine CSV-Datei mit 1 Million Datensätzen übergeben, die in BigQuery aktualisiert werden muss. Wenn Sie die UPDATE-Anweisung in BigQuery verwenden, erhalten Sie einen quotaExceeded-Fehler. Was sollten Sie tun?

Q43. Welche der folgenden Aussagen über das Wide & Deep Learning-Modell sind zutreffend? (Wählen Sie 2 Antworten aus.)

Q44. Nach der Migration von ETL-Aufträgen zur Ausführung in BigQuery müssen Sie überprüfen, ob die Ausgabe der migrierten Aufträge mit der Ausgabe des ursprünglichen Auftrags übereinstimmt. Sie haben eine Tabelle geladen, die die Ausgabe des ursprünglichen Auftrags enthält, und möchten den Inhalt mit der Ausgabe des migrierten Auftrags vergleichen, um zu zeigen, dass sie identisch sind. Die Tabellen enthalten keine Primärschlüsselspalte, die es Ihnen ermöglichen würde, sie für den Vergleich miteinander zu verbinden.
Was sollten Sie tun?

Q45. Was ist kein triftiger Grund für eine schlechte Leistung von Cloud Bigtable?

Q46. Sie möchten Daten in einem Cloud-Speicher archivieren. Da einige Daten sehr sensibel sind, möchten Sie Ihre Daten nach dem "Trust No One"-Prinzip (TNO) verschlüsseln, um zu verhindern, dass die Mitarbeiter des Cloud-Anbieters Ihre Daten entschlüsseln können. Was sollten Sie tun?

Q47. Sie arbeiten für ein Versandunternehmen, das Handscanner zum Lesen von Versandetiketten einsetzt. Ihr Unternehmen hat strenge Datenschutzstandards, die verlangen, dass die Scanner nur die persönlich identifizierbaren Informationen (PII) der Empfänger an Analysesysteme übermitteln, was gegen die Datenschutzregeln der Benutzer verstößt. Sie möchten schnell eine skalierbare Lösung mit Cloud-nativen Managed Services aufbauen, um die Weitergabe von PII an die Analysesysteme zu verhindern.
Was sollten Sie tun?

Q48. Ihre Wetter-App fragt alle 15 Minuten eine Datenbank ab, um die aktuelle Temperatur zu ermitteln. Das Frontend wird von Google App Engine betrieben und bedient Millionen von Nutzern. Wie sollten Sie das Frontend gestalten, um auf einen Datenbankausfall zu reagieren?

Q49. Die Kunden- und Auftragsdatenbanken Ihres Unternehmens sind oft stark belastet. Dies erschwert die Durchführung von Analysen, ohne den Betrieb zu beeinträchtigen. Die Datenbanken befinden sich in einem MySQL-Cluster, wobei nächtliche Backups mit mysqldump erstellt werden. Sie möchten Analysen mit minimalen Auswirkungen auf den Betrieb durchführen.
Was sollten Sie tun?

Q50. Sie speichern historische Daten in einem Cloud-Speicher. Sie müssen Analysen mit den historischen Daten durchführen. Sie möchten eine Lösung verwenden, um ungültige Dateneinträge zu erkennen und Datenumwandlungen durchzuführen, die keine Programmierung oder SQL-Kenntnisse erfordern.
Was sollten Sie tun?

Q51. Welche der folgenden Aussagen über Dataflow-Pipelines trifft nicht zu?

Q52. Sie entwerfen das Datenbankschema für einen auf maschinellem Lernen basierenden Essensbestelldienst, der vorhersagen soll, was die Benutzer essen möchten. Hier sind einige der Informationen, die Sie speichern müssen:
Das Benutzerprofil: Was der Nutzer gerne und nicht gerne isst

Die Informationen zum Benutzerkonto: Name, Adresse, bevorzugte Essenszeiten

Die Bestellinformationen: Wann wird bestellt, woher, an wen

Die Datenbank wird zur Speicherung aller Transaktionsdaten des Produkts verwendet. Sie möchten das Datenschema optimieren. Welches Google Cloud Platform-Produkt sollten Sie verwenden?

Q53. Cloud Bigtable ist eine empfohlene Option für die Speicherung sehr großer Mengen von
____________________________?

Q54. Welche der folgenden Aussagen über Legacy SQL und Standard SQL trifft nicht zu?

Q55. Sie wählen Dienste zum Schreiben und Umwandeln von JSON-Nachrichten von Cloud Pub/Sub zu BigQuery für eine Datenpipeline in Google Cloud aus. Sie möchten die Servicekosten minimieren. Außerdem möchten Sie das Volumen der Eingabedaten, die in ihrer Größe variieren, mit minimalen manuellen Eingriffen überwachen und anpassen können. Was sollten Sie tun?

Q56. Sie erstellen ein Modell, das Bekleidungsempfehlungen gibt. Sie wissen, dass sich die Modevorlieben eines Nutzers im Laufe der Zeit ändern können. Deshalb bauen Sie eine Datenpipeline auf, die neue Daten in das Modell einspeist, sobald sie verfügbar sind. Wie sollten Sie diese Daten zum Trainieren des Modells verwenden?

Q57. Fallstudie 1 - Flusslogistik
Überblick über das Unternehmen
Flowlogistic ist ein führender Logistik- und Lieferkettenanbieter. Das Unternehmen unterstützt Unternehmen auf der ganzen Welt bei der Verwaltung ihrer Ressourcen und deren Beförderung an den Bestimmungsort. Das Unternehmen ist schnell gewachsen und hat sein Angebot auf den Schienen-, LKW-, Flugzeug- und Seeverkehr ausgeweitet.
Hintergrund des Unternehmens
Das Unternehmen begann als regionales Speditionsunternehmen und expandierte dann in andere Logistikmärkte.
Da sie ihre Infrastruktur nicht aktualisiert haben, ist die Verwaltung und Verfolgung von Aufträgen und Sendungen zu einem Engpass geworden. Um die Abläufe zu verbessern, entwickelte Flowlogistic eine eigene Technologie zur Verfolgung von Sendungen in Echtzeit auf Paketebene. Das Unternehmen ist jedoch nicht in der Lage, diese Technologie einzusetzen, da sein auf Apache Kafka basierendes Technologiepaket das Verarbeitungsvolumen nicht bewältigen kann. Darüber hinaus möchte Flowlogistic seine Aufträge und Sendungen weiter analysieren, um festzustellen, wie sie ihre Ressourcen am besten einsetzen können.
Lösungskonzept
Flowlogistic möchte zwei Konzepte in der Cloud umsetzen:
* Nutzung der firmeneigenen Technologie in einem Echtzeit-Bestandsverfolgungssystem, das den Standort der Ladungen anzeigt
* Alle Aufträge und Versandprotokolle, die sowohl strukturierte als auch unstrukturierte Daten enthalten, sollen analysiert werden, um zu ermitteln, wie die Ressourcen am besten eingesetzt werden können und welche Märkte ausgebaut werden sollen. Sie wollen auch prädiktive Analysen nutzen, um früher zu erfahren, wann sich eine Lieferung verzögert.
Bestehendes technisches Umfeld
Die Flowlogistic-Architektur befindet sich in einem einzigen Rechenzentrum:
* Datenbanken
8 physische Server in 2 Clustern
- SQL Server - Benutzerdaten, Inventar, statische Daten
3 physische Server
- Cassandra - Metadaten, Verfolgung von Nachrichten
10 Kafka-Server - Verfolgung der Nachrichtenaggregation und Batch-Insert
* Anwendungsserver - Kunden-Frontend, Middleware für Bestellung/Kunden
60 virtuelle Maschinen auf 20 physischen Servern
- Tomcat - Java-Dienste
- Nginx - statischer Inhalt
- Batch-Server
* Speichergeräte
- iSCSI für Hosts virtueller Maschinen (VM)
- Fibre Channel Storage Area Network (FC SAN) - SQL-Server-Speicher
- Netzwerkspeicher (NAS) zur Speicherung von Bildern, Protokollen und Sicherungen
* 10 Apache Hadoop/Spark-Server
- Kern-Datensee
- Arbeitsbelastung durch Datenanalyse
* 20 verschiedene Server
- Jenkins, Überwachung, Bastion-Hosts,
Geschäftliche Anforderungen
* Aufbau einer zuverlässigen und reproduzierbaren Umgebung mit skaliertem Produktionsumfang.
* Aggregieren von Daten in einem zentralisierten Data Lake zur Analyse
* Nutzung historischer Daten zur Durchführung von Prognosen für künftige Sendungen
* Genaue Nachverfolgung jeder Sendung weltweit mit firmeneigener Technologie
* Verbesserung der geschäftlichen Flexibilität und der Innovationsgeschwindigkeit durch rasche Bereitstellung neuer Ressourcen
* Analysieren und Optimieren der Architektur für die Leistung in der Cloud
* Vollständige Umstellung auf die Cloud, wenn alle anderen Anforderungen erfüllt sind
Technische Anforderungen
* Verarbeitung von Streaming- und Batch-Daten
* Migration bestehender Hadoop-Workloads
* Sicherstellen, dass die Architektur skalierbar und elastisch ist, um den sich ändernden Anforderungen des Unternehmens gerecht zu werden.
* Nutzung verwalteter Dienste, wann immer möglich
* Verschlüsselung der Daten während des Flugs und im Ruhezustand
* SEO Statement Wir sind so schnell gewachsen, dass unsere Unfähigkeit, unsere Infrastruktur zu aktualisieren, unser weiteres Wachstum und unsere Effizienz wirklich behindert. Wir sind effizient beim Transport von Sendungen um die Welt, aber wir sind ineffizient beim Transport von Daten.
Wir müssen unsere Informationen so organisieren, dass wir leichter verstehen können, wo unsere Kunden sind und was sie versenden.
CTO-Erklärung
Die IT hat für uns nie Priorität gehabt, und so haben wir mit dem Wachstum unserer Daten nicht genug in unsere Technologie investiert. Ich habe gute Mitarbeiter, die die IT-Abteilung leiten, aber sie sind so sehr mit der Verwaltung unserer Infrastruktur beschäftigt, dass ich sie nicht dazu bringen kann, sich um die wirklich wichtigen Dinge zu kümmern, z. B. die Organisation unserer Daten, die Erstellung von Analysen und die Implementierung der Tracking-Technologie des CFO.
CFO-Erklärung
Ein Teil unseres Wettbewerbsvorteils besteht darin, dass wir uns selbst für verspätete Sendungen und Lieferungen bestrafen. Wenn wir jederzeit wissen, wo sich unsere Sendungen befinden, hat das einen direkten Einfluss auf unser Endergebnis und unsere Rentabilität. Außerdem möchte ich kein Kapital für den Aufbau einer Serverumgebung binden.
Flowlogistic führt sein Echtzeit-Bestandsverfolgungssystem ein. Die Tracking-Geräte werden alle Nachrichten zur Paketverfolgung senden, die nun an ein einziges Google Cloud Pub/Sub-Thema anstelle des Apache Kafka-Clusters gehen. Eine Abonnentenanwendung verarbeitet dann die Nachrichten für Echtzeitberichte und speichert sie in Google BigQuery für historische Analysen. Sie möchten sicherstellen, dass die Paketdaten im Laufe der Zeit analysiert werden können.
Welchen Ansatz sollten Sie wählen?

Q58. MJTelco Fallstudie
Überblick über das Unternehmen
MJTelco ist ein Start-up-Unternehmen, das den Aufbau von Netzen in schnell wachsenden, unterversorgten Märkten in aller Welt plant.
Das Unternehmen besitzt Patente für innovative optische Kommunikationshardware. Auf der Grundlage dieser Patente können sie viele zuverlässige Hochgeschwindigkeits-Backbone-Verbindungen mit kostengünstiger Hardware schaffen.
Hintergrund des Unternehmens
MJTelco wurde von erfahrenen Führungskräften der Telekommunikationsbranche gegründet und nutzt Technologien, die ursprünglich zur Bewältigung von Kommunikationsproblemen im Weltraum entwickelt wurden. Grundlegend für den Betrieb des Unternehmens ist die Schaffung einer verteilten Dateninfrastruktur, die Echtzeitanalysen ermöglicht und maschinelles Lernen zur kontinuierlichen Optimierung der Topologien einschließt. Da ihre Hardware kostengünstig ist, planen sie eine Überdimensionierung des Netzes, um die Auswirkungen der dynamischen regionalen Politik auf die Verfügbarkeit von Standorten und die Kosten zu berücksichtigen.
Ihre Verwaltungs- und Betriebsteams sind rund um den Globus verteilt, wodurch viele Beziehungen zwischen Datenkonsumenten und -lieferanten in ihrem System entstehen. Nach reiflicher Überlegung entschied das Unternehmen, dass eine öffentliche Cloud die perfekte Umgebung für seine Bedürfnisse ist.
Lösungskonzept
MJTelco führt in seinen Labors ein erfolgreiches Proof-of-Concept-Projekt (PoC) durch. Sie haben zwei Hauptbedürfnisse:
* Skalierung und Härtung ihres PoC, um deutlich mehr Datenströme zu unterstützen, wenn sie auf mehr als 50.000 Installationen ansteigen.
* Sie verfeinern ihre maschinellen Lernzyklen, um die dynamischen Modelle zu überprüfen und zu verbessern, die sie zur Steuerung der Topologiedefinition verwenden.
MJTelco wird außerdem drei separate Betriebsumgebungen verwenden - Entwicklung/Test, Staging und Produktion -, um den Anforderungen bei der Durchführung von Experimenten, der Bereitstellung neuer Funktionen und der Betreuung von Produktionskunden gerecht zu werden.
Geschäftliche Anforderungen
* Skalieren Sie Ihre Produktionsumgebung mit minimalen Kosten, indem Sie Ressourcen bei Bedarf und in einer unvorhersehbaren, verteilten Telekommunikationsbenutzergemeinschaft einsetzen.
* Gewährleistung der Sicherheit ihrer geschützten Daten zum Schutz ihrer hochmodernen maschinellen Lern- und Analyseverfahren.
* Verlässlicher und rechtzeitiger Zugang zu Daten für die Analyse von verteilten Forschungsmitarbeitern
* Sie unterhalten isolierte Umgebungen, die eine schnelle Iteration ihrer maschinellen Lernmodelle unterstützen, ohne ihre Kunden zu beeinträchtigen.
Technische Anforderungen
* Gewährleistung einer sicheren und effizienten Übertragung und Speicherung von Telemetriedaten
* Schnelle Skalierung der Instanzen zur Unterstützung von 10.000 bis 100.000 Datenanbietern mit jeweils mehreren Datenströmen.
* Ermöglicht die Analyse und Präsentation anhand von Datentabellen, die bis zu 2 Jahre lang Daten speichern.
100m Rekorde/Tag
* Unterstützung der schnellen Iteration der Überwachungsinfrastruktur mit Schwerpunkt auf der Erkennung von Problemen in der Datenpipeline sowohl in Telemetrieflüssen als auch in Produktionslernzyklen.
CEO-Erklärung
Unser Geschäftsmodell beruht auf unseren Patenten, der Analytik und dem dynamischen maschinellen Lernen. Unsere kostengünstige Hardware ist so organisiert, dass sie sehr zuverlässig ist, was uns Kostenvorteile verschafft. Wir müssen unsere großen verteilten Datenpipelines schnell stabilisieren, um unsere Zuverlässigkeits- und Kapazitätsverpflichtungen zu erfüllen.
CTO-Erklärung
Unsere öffentlichen Cloud-Dienste müssen wie angekündigt funktionieren. Wir brauchen Ressourcen, die skalierbar sind und unsere Daten sicher halten. Außerdem benötigen wir Umgebungen, in denen unsere Datenwissenschaftler unsere Modelle sorgfältig untersuchen und schnell anpassen können. Da wir uns bei der Verarbeitung unserer Daten auf die Automatisierung verlassen, müssen auch unsere Entwicklungs- und Testumgebungen funktionieren, während wir iterieren.
CFO-Erklärung
Das Projekt ist zu groß, als dass wir die für die Daten und die Analyse erforderliche Hard- und Software warten könnten. Außerdem können wir es uns nicht leisten, ein Betriebsteam zu beschäftigen, das so viele Dateneinspeisungen überwacht, daher werden wir uns auf Automatisierung und Infrastruktur verlassen. Das maschinelle Lernen von Google Cloud wird es unseren quantitativen Forschern ermöglichen, an unseren hochwertigen Problemen zu arbeiten und nicht an Problemen mit unseren Datenpipelines.
Sie müssen Visualisierungen für Betriebsteams mit den folgenden Anforderungen zusammenstellen:
* Der Bericht muss die Telemetriedaten aller 50.000 Anlagen für die letzten 6 Wochen enthalten (Probenahme einmal pro Minute).
* Der Bericht darf nicht mehr als 3 Stunden gegenüber den Live-Daten verzögert sein.
* Der Aktionsbericht sollte nur suboptimale Links anzeigen.
* Die suboptimalsten Links sollten an den Anfang sortiert werden.
* Suboptimale Verbindungen können gruppiert und nach geografischen Gesichtspunkten gefiltert werden.
* Die Antwortzeit des Benutzers zum Laden des Berichts muss <5 Sekunden betragen.
Welcher Ansatz entspricht den Anforderungen?

Q59. Ein TensorFlow-Modell für maschinelles Lernen auf virtuellen Maschinen der Compute Engine (n2-Standard -32) benötigt zwei Tage, um das Framing abzuschließen. Das Modell hat benutzerdefinierte TensorFlow-Operationen, die teilweise auf einer CPU laufen müssen Sie wollen die Trainingszeit auf kosteneffektive Weise reduzieren. Was sollten Sie tun?

Q60. Sie arbeiten an einem sensiblen Projekt mit privaten Nutzerdaten. Sie haben ein Projekt auf Google Cloud Platform eingerichtet, um Ihre Arbeit intern unterzubringen. Ein externer Berater wird Sie bei der Codierung einer komplexen Transformation in einer Google Cloud Dataflow-Pipeline für Ihr Projekt unterstützen. Wie sollten Sie die Privatsphäre der Nutzer schützen?

Q61. Welcher Google Cloud Platform-Dienst ist eine Alternative zu Hadoop mit Hive?

Q62. Sie haben die kostenlose Integration zwischen Firebase Analytics und Google BigQuery aktiviert. Firebase erstellt nun täglich automatisch eine neue Tabelle in BigQuery im Format app_events_YYYYMMDD. Sie möchten alle Tabellen für die letzten 30 Tage in Legacy-SQL abfragen. Was sollten Sie tun?

Q63. Welche der folgenden Aussagen über das Wide & Deep Learning-Modell sind zutreffend? (Wählen Sie 2 Antworten aus.)

Q64. Die _________ für Cloud Bigtable ermöglicht es, Cloud Bigtable in einer Cloud Dataflow-Pipeline zu verwenden.