Google Cloud認定資格試験問題と解答[Q41-Q64]のProfessional-Data-Engineer Dumpsで練習します。

Q41. タイムスタンプ列とID列のWHERE句を使用してBigQueryテーブルをフィルタリングするクエリがあります。bq query - -dry_runを使用すると、タイムスタンプとIDのフィルタがデータ全体のごく一部を選択しているにもかかわらず、このクエリがテーブルのフルスキャンをトリガしていることがわかります。既存のSQLクエリに最小限の変更を加えるだけで、BigQueryでスキャンされるデータ量を減らしたい。どうすればよいでしょうか？

Q42. あなたの組織のマーケティングチームは、顧客データセットのセグメントを定期的に更新しています。
マーケティングチームから、BigQueryで更新する必要がある100万レコードのCSVを渡されました。BigQueryでUPDATE文を使用すると、quotaExceededエラーが発生します。どうすればよいですか？

Q43. Wide & Deep Learningモデルに関する次の記述のうち、正しいものはどれですか？(答えを2つ選んでください)

Q44. BigQuery上で実行するETLジョブを移行した後、移行したジョブの出力が元のジョブの出力と同じであることを確認する必要があります。元のジョブの出力を含むテーブルをロードし、その内容を移行後のジョブの出力と比較して、両者が同一であることを確認したいとします。テーブルには、比較のために結合できる主キー列がありません。
どうするべきか？

Q45. クラウドBigtableのパフォーマンスが低い理由として、妥当でないものはどれか。

Q46. クラウドストレージにデータをアーカイブしたい。一部のデータは非常に機密性が高いため、「Trust No One」（TNO）アプローチを使ってデータを暗号化し、クラウドプロバイダーのスタッフがデータを解読できないようにしたい。どうすればよいでしょうか？

Q47. あなたは、出荷ラベルを読み取るためにハンドヘルドスキャナを使用している運送会社に勤めています。あなたの会社には厳格なデータプライバシー基準があり、スキャナーは受取人の個人を特定できる情報（PII）のみを分析システムに送信する必要がありますが、これはユーザーのプライバシー規則に違反します。クラウドネイティブのマネージドサービスを使用してスケーラブルなソリューションを迅速に構築し、分析システムへのPIIの流出を防ぎたいと考えています。
どうするべきか？

Q48. あなたの天気アプリは15分ごとにデータベースに問い合わせ、現在の気温を取得します。フロントエンドはGoogle App Engineで動作し、何百万人ものユーザーをサーバーに収容しています。データベースの障害に対応するために、フロントエンドをどのように設計すべきでしょうか？

Q49. 貴社の顧客データベースや注文データベースは、しばしば高負荷にさらされています。そのため、業務に支障をきたすことなく分析を行うことが困難になっています。データベースはMySQLクラスタにあり、mysqldumpを使用して毎晩バックアップが取られています。業務への影響を最小限に抑えて分析を実行したい。
どうするべきか？

Q50. クラウドストレージに履歴データを保存している。履歴データに対して分析を実行する必要がある。プログラミングやSQLの知識を必要としない、無効なデータエントリを検出し、データ変換を実行するソリューションを使用したい。
どうするべきか？

Q51. データフローパイプラインについて正しくないものはどれか？

Q52. あなたは、ユーザーが食べたいものを予測する機械学習ベースの食品注文サービスのデータベーススキーマを設計しています。以下は、保存する必要がある情報の一部です：
ユーザーのプロフィールユーザーの好きなもの、嫌いなもの

ユーザーアカウント情報：氏名、住所、希望する食事時間

注文情報：いつ、どこから、誰への注文か

データベースは、製品のすべてのトランザクションデータを格納するために使用されます。データスキーマを最適化したい。どのGoogle Cloud Platform製品を使うべきですか？

Q53. クラウドBigtableは、非常に大量のデータを保存する場合に推奨されるオプションである。
____________________________?

Q54. レガシーSQLと標準SQLに関する次の記述のうち、正しくないものはどれですか？

Q55. Google Cloud上のデータパイプライン用に、Cloud Pub/SubからBigQueryへのJSONメッセージの書き込みと変換を行うサービスを選択している。サービスコストを最小限に抑えたい。また、最小限の手動介入で、サイズが変化する入力データ量を監視し、対応したいと考えています。どうすればよいでしょうか？

Q56. あなたは服を推薦するモデルを構築している。ユーザーのファッションは時間の経過とともに変化する可能性が高いので、新しいデータが利用可能になると、それをモデルに戻すためのデータパイプラインを構築します。モデルのトレーニングにこのデータをどのように使うべきでしょうか？

Q57. ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticはロジスティクスとサプライチェーンの大手プロバイダーである。同社は世界中の企業がリソースを管理し、最終目的地まで輸送するのを支援している。同社は急成長を遂げ、鉄道、トラック、航空機、海上輸送などのサービスを提供している。
会社の背景
同社は地域トラック運送会社としてスタートし、その後、他の物流市場に進出した。
インフラを更新してこなかったため、注文と出荷の管理と追跡がボトルネックになっていた。業務を改善するため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発した。しかし、Apache Kafkaをベースとする同社の技術スタックでは処理量に対応できないため、導入できずにいる。さらにFlowlogistic社は、注文と出荷をさらに分析し、リソースの最適な配置方法を決定したいと考えている。
ソリューション・コンセプト
Flowlogisticはクラウドを使って2つのコンセプトを実現したいと考えている：
* 積荷の所在を示すリアルタイム在庫追跡システムで、同社独自の技術を使用する。
* 構造化データと非構造化データの両方が含まれる、すべての注文と出荷のログを分析し、リソースをどのように配置するのが最適か、どの市場で情報を拡大するかを決定する。また、予測分析を利用して、出荷がいつ遅れるかをより早く知ることも望んでいる。
既存の技術環境
Flowlogisticのアーキテクチャは、単一のデータセンターに存在する：
* データベース
8台の物理サーバ、2クラスタ
- SQL Server - ユーザーデータ、インベントリ、静的データ
物理サーバー3台
- Cassandra - メタデータ、トラッキングメッセージ
10 Kafkaサーバー - メッセージ集約とバッチ挿入を追跡
* アプリケーション・サーバー - 顧客フロント・エンド、注文/通関用ミドルウェア
20台の物理サーバーに60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* ストレージ機器
- 仮想マシン(VM)ホスト用iSCSI
- ファイバー・チャネル・ストレージ・エリア・ネットワーク（FC SAN） - SQLサーバー・ストレージ
- ネットワーク接続ストレージ（NAS）イメージストレージ、ログ、バックアップ
* 10 Apache Hadoop /Spark サーバー
- コアデータレイク
- データ分析ワークロード
* 雑多なサーバー20台
- ジェンキンス、モニタリング、バスティオンホスト、
ビジネス要件
* 信頼性が高く、再現可能な環境を構築する。
* 分析用に一元化されたデータレイクにデータを集約
* 過去のデータを使用して、将来の出荷に関する予測分析を実行する。
* 独自の技術で世界中の出荷を正確に追跡
* 新規リソースの迅速なプロビジョニングによるビジネスの俊敏性とイノベーションのスピードの向上
* クラウドにおけるパフォーマンスのためのアーキテクチャの分析と最適化
* 他のすべての要件が満たされれば、クラウドに完全に移行する。
技術要件
* ストリーミングデータとバッチデータの両方を扱う
* 既存のHadoopワークロードの移行
* 変化する会社の需要に対応するため、アーキテクチャの拡張性と伸縮性を確保する。
* 可能な限りマネージド・サービスを利用する
* 飛行中および停止中のデータの暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEO Statement 私たちは急速に成長したため、インフラをアップグレードできないことが、さらなる成長と効率化を妨げています。世界中に貨物を移動させるのは効率的ですが、データを移動させるのは非効率です。
顧客がどこにいて、何を出荷しているのかをより簡単に理解できるよう、情報を整理する必要がある。
CTO声明
私たちにとってITは決して優先事項ではなかったので、データが増大するにつれ、テクノロジーへの投資も十分ではなくなってきた。ITを管理する優秀なスタッフはいるのですが、彼らはインフラの管理に忙しく、データの整理や分析の構築、CFOのトラッキング・テクノロジーの導入方法の検討など、本当に重要なことに手が回らないのです。
CFOステートメント
当社の競争優位性のひとつは、出荷や納品が遅れた場合にペナルティを課すことです。常に出荷状況を把握することは、当社の収益と利益に直結します。さらに、サーバー環境を構築するために資本を投下したくありません。
Flowlogisticはリアルタイム在庫追跡システムを展開している。トラッキング・デバイスはすべてパッケージ・トラッキング・メッセージを送信し、Apache Kafkaクラスタの代わりに単一のGoogle Cloud Pub/Subトピックに送信される。サブスクライバ・アプリケーションは、リアルタイム・レポート用にメッセージを処理し、履歴分析用にGoogle BigQueryに保存する。パッケージデータを長期にわたって分析できるようにしたい。
どちらのアプローチを取るべきか？

Q58. MJTelcoケーススタディ
会社概要
MJTelcoは、世界中で急成長している未開拓の市場にネットワークを構築することを計画している新興企業である。
同社は革新的な光通信ハードウェアの特許を持っている。これらの特許に基づけば、安価なハードウェアで多くの信頼性の高い高速バックボーン・リンクを構築することができる。
会社の背景
MJTelcoは、経験豊富な電気通信会社の幹部によって設立され、もともと宇宙での通信の課題を克服するために開発された技術を使用している。MJTelcoの事業運営の基本は、リアルタイム分析を推進し、機械学習を組み込んでトポロジーを継続的に最適化する分散データ・インフラを構築することである。同社のハードウェアは安価であるため、ネットワークの過剰配備を計画しており、ダイナミックな地域政治がロケーションの可用性とコストに与える影響を考慮することができる。
同社の経営陣とオペレーション・チームは世界中に散らばっており、システム内でデータ消費者と提供者の間に多対多の関係が構築されている。慎重に検討した結果、パブリック・クラウドは彼らのニーズをサポートするのに最適な環境だと判断した。
ソリューション・コンセプト
MJTelcoはラボで概念実証（PoC）プロジェクトを成功させている。彼らには2つの主要なニーズがある：
* PoCを拡張し、堅牢化することで、50,000台以上のインストールに対応できるようになります。
* トポロジー定義を制御するために使用する動的モデルを検証し、改善するために、機械学習サイクルを改良する。
MJTelcoはまた、開発/テスト、ステージング、本番の3つの個別の運用環境を使用し、実験の実行、新機能の展開、本番顧客へのサービスのニーズに対応する。
ビジネス要件
* 予測不可能な分散型テレコムユーザーコミュニティにおいて、必要なときに必要な場所でリソースをインスタンス化し、最小限のコストで本番環境をスケールアップする。
* 最先端の機械学習と分析を保護するため、独自のデータのセキュリティを確保する。
* 分散した研究員からの分析用データへの信頼できるタイムリーなアクセスを提供する。
* 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする分離された環境を維持する。
技術要件
* テレメトリ・データの安全かつ効率的な輸送と保管を確保する。
* 複数のフローを持つ10,000から100,000のデータ・プロバイダーをサポートするために、インスタンスを迅速に拡張できます。
* 最大2年分のデータ保存を追跡するデータテーブルに対する分析とプレゼンテーションを可能にする。
100m記録/日
* 遠隔測定フローと本番学習サイクルの両方で、データパイプラインの問題を認識することに焦点を当てた監視インフラの迅速な反復をサポートする。
CEO声明
私たちのビジネスモデルは、特許、分析、ダイナミックな機械学習に依存している。当社の安価なハードウェアは信頼性が高く、コスト面でも有利です。信頼性とキャパシティを満たすためには、大規模な分散データ・パイプラインを迅速に安定化させる必要があります。
CTO声明
私たちのパブリック・クラウド・サービスは、広告どおりに動作しなければなりません。データを安全に保護し、拡張できるリソースが必要です。また、データ・サイエンティストがモデルを注意深く研究し、迅速に適応させることができる環境も必要です。データ処理の自動化に依存しているため、開発環境とテスト環境も必要です。
CFOステートメント
このプロジェクトは規模が大きすぎるため、データや分析に必要なハードウェアやソフトウェアを維持することはできない。また、これほど多くのデータフィードを監視するための運用チームの人員を確保する余裕もないため、自動化とインフラに頼ることになります。Google Cloudの機械学習により、定量的研究者はデータパイプラインの問題ではなく、価値の高い問題に取り組むことができます。
オペレーション・チームのために、以下の要件を満たすビジュアライゼーションを作成する必要があります：
* 報告書には、直近 6 週間（1 分に 1 回のサンプリング）の全 50,000 施設のテレメトリーデータが含まれなければならない。
* レポートはライブデータから3時間以上遅れてはならない。
* アクション可能なレポートは、最適でないリンクのみを表示する。
* ほとんどの最適でないリンクは、一番上にソートされるべきである。
* 最適でないリンクはグループ化され、地域の地理によってフィルタリングされる。
* レポートの読み込みにかかるユーザーのレスポンスタイムは5秒未満でなければならない。
どのアプローチが要件を満たすのか？

Q59. Compute Engine仮想マシン（n2-standard -32）上のTensorFlow機械学習モデルは、フレーミングを完了するのに2日かかります。モデルには、CPU上で部分的に実行する必要があるカスタムTensorFlow操作があります。 あなたは、コスト効率の高い方法で学習時間を短縮したいと考えています。何をすべきでしょうか？

Q60. あなたは、個人的なユーザーデータを含む機密性の高いプロジェクトに取り組んでいます。社内で作業を行うために、Google Cloud Platform上にプロジェクトを立ち上げました。外部のコンサルタントが、プロジェクトのためにGoogle Cloud Dataflowパイプラインで複雑な変換のコーディングを支援する予定です。どのようにユーザーのプライバシーを維持する必要がありますか？

Q61. Hadoop with Hiveに代わるGoogle Cloud Platformサービスは？

Q62. Firebase AnalyticsとGoogle BigQueryの無料統合を有効にしました。Firebaseは毎日自動的にBigQueryにapp_events_YYYYMMDD形式で新しいテーブルを作成します。レガシー SQL で過去 30 日間のすべてのテーブルをクエリしたい。どうすればいいでしょうか？

Q63. Wide & Deep Learningモデルに関する次の記述のうち、正しいものはどれですか？(答えを2つ選んでください)

Q64. Cloud Bigtableのための_________________は、Cloud BigtableをCloud Dataflowパイプラインで使用することを可能にします。