最新 Mar-2024 测试引擎，用于练习 Databricks-Certified-Professional-Data-Engineer 测试问题 [Q48-Q63]

3 月 26, 20243 月 26, 2024 考试最新 Mar-2024 测试引擎，用于练习 Databricks-Certified-Professional-Data-Engineer 测试问题 [Q48-Q63] 0 条评论

標籤: Databricks-Certified-Professional-Data-Engineer 下载 pdf, Databricks-Certified-Professional-Data-Engineer 考试培训, Databricks-Certified-Professional-Data-Engineer 模拟考试费用, Databricks-Certified-Professional-Data-Engineer 真实测试环境, Databricks-Certified-Professional-Data-Engineer 有效考试营, Databricks-Certified-Professional-Data-Engineer 有效测试引导课程

4.5/5 - (28 选票)

最新 Mar-2024 测试引擎，用于练习 Databricks-Certified-Professional-Data-Engineer 测试问题

Databricks-Certified-Professional-Data-Engineer 真题测试引擎，含 84 个问题的试卷培训

Databricks 认证专业数据工程师考试是对考生在 Databricks 平台上设计、构建和维护数据管道技能的严格而全面的评估。Databricks-Certified-Professional-Data-Engineer 考试涵盖广泛的主题，包括数据存储和检索、数据处理、数据转换和数据可视化。考试测试考生设计和实施可扩展、可靠的数据架构的能力，以及排除故障和优化数据管道的熟练程度。

Q48. 要使用 Unity 目录功能，需要在 Databricks 工作区的人工管理/外部表上执行以下哪些步骤？

在工作区设置中启用统一目录功能

将工作区管理/外部表/视图中的对象迁移/升级到统一目录

升级到 DBR 15.0 版

将数据从工作区复制到统一目录

将工作区升级到 Unity 目录

说明
将表和视图升级到 Unity Catalog - Azure Databricks | Microsoft Docs 受管表：将托管表升级到 Unity Catalog 外部表：将外部表升级到 Unity Catalog

Q49. 关于三角洲湖和湖畔小屋，以下哪项是正确的？

由于 Parquet 会逐行压缩数据，因此只有当字符重复出现多次时，字符串才会被压缩。

Delta Lake 会自动收集每个表前 32 列的统计数据，并根据查询过滤器跳过数据。

湖畔小屋中的视图会始终保持源表最新版本的有效缓存。

可以利用主键和外键约束，确保不会在维度表中输入重复值。

Z 排序只能应用于存储在 Delta Lake 表格中的数值

说明
https://docs.delta.io/2.0.0/table-properties.html
Delta Lake 会自动收集每个表前 32 列的统计数据，并根据查询过滤器1 在数据跳转中加以利用。数据跳转是一种性能优化技术，旨在避免从存储层读取无关数据1。通过收集最小值/最大值、空计数和 bloom 过滤器等统计数据，Delta Lake 可以有效地从查询计划中删除不必要的文件或分区1。这可以大大提高查询性能并降低 I/O 成本。
其他选项都是错误的，因为
Parquet 对数据进行逐列压缩，而不是逐行压缩2。这样可以获得更好的压缩率，特别是对于列内重复或相似的值2。
Lakehouse 中的视图无法始终保持源表最新版本的有效缓存3。视图是由一个或多个基础表上的 SQL 查询定义的逻辑结构3。默认情况下，视图不是实体化的，这意味着它们不存储任何数据，只存储查询定义3。因此，视图在查询时总是反映源表的最新状态3。
不过，可以使用 CACHE TABLE 或 CREATE TABLE AS SELECT 命令手动缓存视图。
无法利用主键和外键约束来确保不会在维度表中输入重复值。Delta Lake 不支持对表执行主键和外键约束。约束是定义表中数据完整性和有效性的逻辑规则。Delta Lake 依靠应用程序逻辑或用户来确保数据质量和一致性。
Z 排序可应用于存储在 Delta Lake 表格中的任何值，而不仅仅是数值。Z-order 是一种通过对一列或多列进行排序来优化数据文件布局的技术。Z-order 可以将相关的值聚类在一起，实现更高效的数据跳转，从而提高查询性能。Z-order 可应用于任何有定义排序的列，如数字、字符串、日期或布尔值。
参考文献数据跳转、Parquet 格式、视图、[缓存]、[约束]、[Z 排序］

Q50. 您的营销团队要求在两个表 CUSTOMERS_2021 和 CUSTOMERS_2020 之间识别具有相同信息的客户，每个表包含具有相同模式的 25 列。

1.select * from customers_2021
2.联盟
3.select * from customers_2020

1.select * from customers_2021
2.联合所有
3.select * from customers_2020

1.select * from customers_2021 c1
2.inner join customers_2020 c2
3.on c1.customer_id = c2.customer_id

1.select * from customers_2021
2.连接
3.select * from customers_2020

1.select * from customers_2021
2.EXCEPT
3.select * from customers_2020

说明
答案是
1.select * from customers_2021
2.连接
3.select * from customers_2020
要比较两个表中所有列的所有行，使用 intersect 将帮助我们实现这一目标，而内部连接只会检查两个表中是否存在单列上的相同列值。
intersect [all | distinct]
*返回两个子查询中的记录集合。
如果指定 ALL，在子查询1 和子查询中多次出现的记录将被多次返回。
如果指定了 DISTINCT，结果将不包含重复行。这是默认设置。

Q51. 数据工程团队需要查询 Delta 表，以提取符合相同条件的行。
但是，团队注意到查询的运行速度很慢。团队已经调整了
数据文件。经调查，小组得出结论，符合条件的行分布稀疏
贯穿每个数据文件。
根据该方案，以下哪种优化技术可以加快查询速度？

调整文件大小

分装

数据跳转

写入 Parquet 文件

Z 订购

Q52. 数据架构师规定，Lakehouse 中的所有表格都应配置为外部 Delta Lake 表格。
哪种方法能确保满足这一要求？

配置工作区时，请确保外部云对象存储已加载。

创建表格时，请确保使用了 location 关键字。

创建数据库时，确保使用位置关键字

创建表格时，确保在创建表格语句中使用外部关键字。

在为所有表存储配置外部数据仓库时，可将 Databricks 用于所有 ELT。

Q53. 以下哪些命令可用于查询 delta 表？

1.%python
2.spark.sql("select * from table_name")

1.%sql
2.Select * from table_name

A 和 B
正确

1.%python
2.execute.sql("select * from table")

1.%python
2.delta.sql("select * from table")

说明
答案是选项 A 和 B
选项 C 和 D 不正确，因为 Spark 中没有名为 execute.sql 或 delta.sql 的命令。

Q54. 在 Databricks 产品架构中，交互式笔记本的结果存储在哪里？

数据平面

控制平面

数据和控制平面

JDBC 数据源

Databricks 网络应用程序

说明
答案是数据和控制平面、
只有作业结果存储在数据平面（您的存储空间）中，交互式笔记本的结果则存储在控制平面（用于在用户界面中展示的部分结果）和客户存储空间的组合中。
https://docs.microsoft.com/en-us/azure/databricks/getting-started/overview#-high-level-architecture 上述文档中的片段、图形用户界面、自动生成的应用程序说明

如何改变这种行为？
一旦启用，所有交互式结果都将存储在客户账户（数据平面）中，但 Databricks 最近推出的新笔记本可视化功能除外，不管下面的设置如何，该功能仍会在控制窗格中存储一些元数据。
图形用户界面、文本、应用程序、电子邮件自动生成说明

为什么要知道这一点？
我最近参与了一个项目，我们需要处理客户的敏感信息，我们有一个安全要求，即所有数据都需要存储在数据平面中，包括笔记本电脑的结果。

Q55. 问题-26.有 5000 个不同颜色的球，其中 1200 个是粉红色的。最大值是多少？
色球测试集中 "粉色 "项目所占比例的似然估计值？

2.4

24 0

.24

.48

4.8

说明
在没有其他信息的情况下，测试集中某个项目的概率的 MLE 恰好是其频率
在训练集中。最大似然法与许多著名的估计方法相对应
统计中。例如，人们可能对成年雌企鹅的身高感兴趣，但却无法
由于成本或时间限制，无法测量企鹅种群中每一只企鹅的身高。假设
高度呈正态（高斯）分布，具有未知的均值和方差，均值和方差为
可以用 MLE 估算，而只需知道总体中某些样本的高度。MLE
为此，可以将均值和方差作为参数，并找出特定的参数值
使观察到的结果成为最有可能的结果（给定模型）。
一般来说，对于一组固定的数据和基本统计模型，最大似然法可以选择
使似然函数最大化的模型参数值集。直观地说，这就是最大化
所选模型与观测数据的 "一致性"，而对于离散型随机变量来说，它确实是
使观测数据在所得分布下的概率最大化。最大似然法
估算给出了一种统一的估算方法，在正态分布的情况下定义明确
以及许多其他问题。然而，在一些复杂的问题中，确实会出现一些困难：在这些问题中、
最大似然估计值不合适或不存在。

Q56. 数据工程团队每天使用 SQL 查询来审查数据的完整性，以监控 ETL 作业，查询输出被用于多个仪表盘，以下哪种方法可用于设置计划并自动执行此流程？

他们可以通过 "工作 "用户界面安排查询每天运行。

他们可以在 Databricks SQL 的查询页面上安排每天刷新查询。

他们可以在 "工作 "用户界面上安排查询每 12 小时运行一次。

他们可以通过 Databricks SQL 中的 SQL 端点页面安排每天刷新查询。

他们可以通过 Databricks SQL 中的 SQL 端点页面安排查询每 12 小时刷新一次。

说明
答案是他们可以在 Databricks SQL 中的 SQL 端点页面安排查询每 12 小时刷新一次，Databricks SQL 工作区中的查询窗格视图提供了添加或编辑以及安排单个查询运行的功能。
您可以使用计划的查询执行来更新仪表盘或启用常规警报。默认情况下，您的查询没有计划。
备注
如果警报使用了您的查询，则警报按自己的刷新计划运行，而不使用查询计划。
设置时间表
* 点击查询信息选项卡。
* 图形用户界面、文本、应用程序、电子邮件自动生成说明
* 单击 "刷新计划表 "右侧的链接，打开计划表时间间隔选择器。
* 图形用户界面，自动生成应用程序说明
* 3.设置时间表。
* 选择器滚动并允许您选择：
* 间隔时间：1-30 分钟、1-12 小时、1 或 30 天、1 或 2 周
* 时间。只有当时间间隔大于 1 天，日期选择大于 1 周时，时间选择器才会显示在选择器中。安排特定时间时，Databricks SQL 会以计算机时区输入并转换为 UTC。如果要在 UTC 的某个时间运行查询，必须根据本地偏移调整选择器。例如，如果您希望查询在UTC 每天的 00:00 执行，但您当前的时区是 PDT (UTC-7)，则应在选择器中选择 17:00：
* 图形用户界面自动生成说明

Q57. 一位数据工程经理注意到，Databricks SQL 仪表板中的每个查询都需要花费几秒钟的时间。
当他们手动点击 "刷新 "按钮时，几分钟后才会更新。他们很好奇为什么会出现这种情况
因此，一名团队成员提供了各种可能出现延迟的原因。
以下哪个原因无法解释仪表板可能需要几分钟才能更新？

在正常情况下，仪表板附加的查询可能需要几分钟才能运行

连接到仪表板的查询可能都连接到各自未启动的 Databricks 集群

与更新仪表板相关的工作可能使用的是非池化端点

每个查询使用的 SQL 端点可能需要几分钟才能启动

附加到仪表板的查询可能会首先检查是否有新数据可用

Q58. 直接对外部文件进行查询，选项有限，为 CSV 文件创建带标题和管道分隔的 CSV 文件外部表，填空完成创建表格语句 CREATE TABLE sales（id int，unitsSold int，price FLOAT，items STRING）
________
________
位置 "dbfs:/mnt/sales/*.csv"

格式 CSV
OPTIONS ( "true","|")

使用 CSV
TYPE ( "true","|")

使用 CSV
OPTIONS ( 标头 ="true", 分隔符 = "|")
正确

格式 CSV
FORMAT TYPE ( 标头 ="true", 分隔符 = "|")

格式 CSV
TYPE ( 标头 ="true", 分隔符 = "|")

说明
答案是
使用 CSV
OPTIONS ( 标头 ="true", 分隔符 = "|")
以下是创建外部表格的语法，并附有其他选项
创建表 table_name（col_name1 col_typ1，...）
使用数据源
选项（key='value', key2=vla2）
位置 = "/location"

Q59. 假设有三个事件，那么哪个公式必须始终等于 P(E1|E2,E3)？

p(e1,e2,e3)p(e1)/p(e2:e3)

p(e1,e2;e3)/p(e2,e3)

p(e1,e2|e3)p(e2|e3)p(e3)

p(e1,e2|e3)p(e3)

p(e1,e2,e3)p(e2)p(e3)

说明
这是条件概率的应用：P(E1,E2)=P(E1|E2)P(E2) 所以
p(e1|e2) = p(e1.e2)/p(e2)
p(e1,e2,e3)/p(e2,e3)
如果事件分别是 A 和 B，这就是 "A 给定 B 的概率"。
通常用 P(A|B):表示，有时也用 PB(A)表示。如果 "A "和 "B "都是分类的
变量，通常使用条件概率表来表示条件概率。

Q60. 数据工程团队的一名初级成员正在探索 Databricks 笔记本的语言互操作性。以下代码的预期结果是注册一个视图，显示在 geo_lookuptable 中出现的非洲大陆国家的所有销售情况。
在执行代码之前，在当前数据库上运行 SHOWTABLES 表明数据库只包含两个表：ge_lookup 和 sales。

哪项陈述正确描述了在交互式笔记本中按顺序执行这些命令单元的结果？

两条命令都将成功执行。执行 show tables 将显示 countries at 和 sales at 已被注册为视图。

Cmd 1 将成功执行。命令 2 将在所有可访问的数据库中搜索名为 countries af 的表或视图：如果该实体存在，命令 2 将成功执行。

Cmd 1 将成功，Cmd 2 将失败，国家 at 将是一个代表 PySpark DataFrame 的 Python 变量。

这两条命令都将失败。不会创建新变量、表或视图。

Cmd 1 将成功执行，Cmd 2 将失败执行，国家 at 将是一个包含字符串列表的 Python 变量。

说明
这是正确答案，因为 Cmd 1 是用 Python 编写的，它使用列表理解从 geo_lookup 表中提取国家名称，并将其存储到名为 countries af 的 Python 变量中。这个变量将包含一个字符串列表，而不是 PySpark DataFrame 或 SQL 视图。Cmd 2 是用 SQL 编写的，它试图通过从销售表中选择 countries af 中包含的城市来创建名为 sales af 的视图。但是，这条命令会失败，因为 countries af 不是有效的 SQL 实体，不能用于 SQL 查询。要解决这个问题，更好的办法是使用 spark.sql() 在 Python 中执行 SQL 查询，并将 countries af 变量作为参数传递。已验证的参考文献：[Databricks Certified Data Engineer Professional], under
"语言互操作性 "部分；Databricks 文档，"混合语言 "部分。

Q61. 您注意到同事正在手动复制带有 _bkp 的笔记本来存储以前的版本，您会推荐以下哪种功能来代替。

Databricks 笔记本支持变更跟踪和版本管理

应将 Databricks 笔记本复制到本地计算机上，并在本地设置源代码控制，以便对笔记本进行版本控制

可将 Databricks 笔记本导出为 dbc 存档文件并存储在数据湖中

Databricks 笔记本可导出为 HTML 格式，稍后再导入

说明
答案是 Databricks 笔记本支持自动更改跟踪和版本管理。
在编辑笔记本时，您可以在右侧查看版本历史记录以查看所有更改，您所做的每一项更改都会被记录和保存。

Q62. 一名数据工程师配置了一个结构化流作业，以从表中读取数据，处理数据，然后
向新表执行流式写入。数据工程师使用的代码块如下：
1. (spark.table("sales")
2. .withColumn("avg_price", col("sales") / col("units"))
3. .writeStream
.option("checkpointLocation", checkpointPath)
.outputMode("complete")
6. ._____
.table("new_sales")
8.)
如果数据工程师只想让查询执行一个微型批处理所有可用数据、
数据工程师应使用以下哪行代码来填补空白？

.处理时间（1）

.processingTime("一次")

.trigger(processingTime="once")

.trigger(once=True)

.trigger(continuous="once")

Q63. 与标准数据管道相比，Delta Live Tables 为 ELT 管道提供了以下哪些优势
在 Databricks 上利用 Spark 和 Delta Lake？

能够使用 Python 和/或 SQL 编写流水线

声明和维护数据表依赖关系的能力

自动扩展计算资源的能力

能够访问以前版本的数据表

能够执行批量和流式查询

加载中 …