-
4 votesanswersviews
BigQuery JSON模式验证
是否有任何工具可以针对BigQuery架构验证JSON字符串?我想将有效的加载到BQ,并重新处理无效的 . 我知道您可以使用(例如)python的jsonschema来验证标准JSON模式,BQ模式是否有类似的东西? Re Pentium10的评论,我可以想象一些ETL场景,其中来自多个源的数据必须被组装以便它与BQ架构匹配 - 目前我需要2个数据模式,JSON模式和BQ模式 - 我验证了JSO... -
5 votesanswersviews
我是否需要在Google BigQuery中手动创建表格以查看来自Firebase的原始事件数据?
我创建了一个支持Google Firebase的Android应用程序,并且昨天与BigQuery相关联 . 今天我在Firebase Console上看到了事件报告,但在我点击了事件页面中的 View 按钮之后,如下图 我在BigQuery页面中没有看到任何表,并得到一个警告,说该项目的表正在解雇 . 我想知道我是否需要做一些事情,比如手动创建一些表格或在我的应用程序中调用一些Firebase... -
1 votesanswersviews
根据Google Data Studio中的用户属性过滤Firebase分析事件
使用BigQuery可以将Firebase分析连接到Data Studio . 数据源可以是“事件”或“用户属性” . 我的问题是我想根据用户属性过滤事件,但我不能将它们都放在同一个数据源中 . 更新:这是一个显示我的仪表板的屏幕截图 . 正如您在添加Firebase分析报告的数据源时所看到的,在选择表后,您必须选择"EVENTS"或"USER PROPERTIES&... -
1 votesanswersviews
来自BigQuery的Data Studio中的Firebase日内事件
我们有一个iOS应用和一个Android应用,其中Firebase事件被发送到Google BigQuery并显示在Google Data Studio中 . 对于两个客户端,我们都有app_events_intraday_YYYYMMDD的数据源 . 问题是,当每一天都过去时,我们必须删除日内事件的数据源并重新添加它们 . 我想它每天晚上都有数据源滚动,每天都有新的后缀 . 有没有办法为日内事件... -
0 votesanswersviews
如何通过Datalab查询BigQuery视图?
我在BigQuery中保存了一个SQL视图 . 我想在此View上运行SQL查询 . 我们可以在表上运行SQL Query,如下所示: %%bq query SELECT * FROM tablename WHERE condition 但是我在View中运行相同时遇到错误: %%bq query SELECT * FROM viewname 错误: invalidQuery:无法在标准S... -
0 votesanswersviews
Google Data Studio:与BigQuery Time Filtering的Firebase链接
我最近将我的Firebase帐户与BigQuery相关联,以便查询我的原始数据并在Google Data Studio中对其进行可视化 . 关于日期范围过滤,我遇到了以下问题 . 在我的仪表板上,我有4个图表从firebase在控制台中提供的“默认”表中提取数据1图表通过自定义查询提取数据,如下所示: SELECT (SELECT x.date) as event_date, (SELEC... -
0 votesanswersviews
Youtube Data Studio,如何从两个不同的数据源(例如两个BigQuery表)创建计算字段
https://support.google.com/datastudio/answer/6390659 从说明视频“创建新的计算尺寸和指标,然后可以在图表和控件中使用”,它显示了如何从一个数据源创建计算字段 . 但我需要一个计算字段,它将总结来自两个不同数据源(特别是两个BigQuery表)的字段值 . 无论如何我都找不到那样做 . 除此之外,我可以创建一个BigQuery视图,总结BigQue... -
0 votesanswersviews
从Firebase到BigQuery的实时或每小时数据同步
我们使用firebase捕获应用程序上的事件 . 我们已将其与BigQuery相关联,以便将firebase捕获的分析数据导出到BigQuery . 对我们来说唯一的问题是导出到BigQuery的数据在24小时内发生一次 . 我们希望每小时将数据导出到BigQuery . 我还没有找到在Firebase控制台上执行此操作的方法 . 我想知道是否有任何方法可以确保从Firebase分析中每小时导出一... -
0 votesanswersviews
Firebase与Data Studio的连接 - 如何组合事件数据和用户属性?
我正在尝试使用Data Studio来显示来自Firebase的数据 . 但是,似乎Data Studio将事件数据和用户属性分离为不同的数据源 . 我需要能够按用户属性过滤我的事件数据 . 例如,我们需要知道付费用户最常使用的事件与免费/非付费用户最常使用的事件 . 但是,我似乎无法在“用户属性”中创建用于事件数据的过滤器,因为当从BigQuery中提取时,Data Studio会将它们分成两个... -
1 votesanswersviews
firebase事件中未记载的“user_dim.user_properties.value.cleared”属性在Bigquery日内表中导入数据
在Bigquery日内表(ANDROID事件数据集)中的firebase事件导入数据中有未记录的 "user_dim.user_properties.value.cleared" 属性 .如您所见,架构中没有这样的属性https://support.google.com/firebase/answer/7029846?hl=en但我们有它(见截图) . screenshot几... -
0 votesanswersviews
如何从记录至少3个不同事件的唯一用户创建自定义尺寸来自BigQuery of Firebase数据的Data Studio
我已经将firebase连接到bigquery,现在我正在尝试创建一个“参与用户”的自定义维度,这些用户是记录至少3个不同(和特定)事件的唯一用户 . 我没有查询经验 . 谢谢 -
0 votesanswersviews
如何在Firebase Analytics仪表板或事件板上显示BigQuery数据集
这里的场景是我将Firebase Analytics项目链接到BigQuery并创建了查询/数据集 . 然后,我将BigQuery与Data Studio连接起来,为数据集创建可视化报告 . 到目前为止,每件事都很好,我的问题是: 如何在Firebase Analytics信息中心或活动主板上显示Data Studio报告? 如果无法解决上述问题,如何将BigQuery数据源导出回Fire... -
2 votesanswersviews
Google Data Studio无法探索Big Query时间分区表
尝试在连接到Google Data Studio后探索大查询表时,我收到以下错误 . 任何想法如何处理它或它意味着什么? 查询返回错误 . 无法识别的名称:[1:167]处的_PARTITIONTIME错误ID:a6e0a88c -
3 votesanswersviews
如何在标准SQL中使用BigQuery UDF - WebUI?
我想知道如何在新的标准SQL - WebUI中使用BigQuery UDF . UDF函数似乎只在“使用传统SQL模式”中启用,但在新的标准SQL模式中不起作用 . 这是UDF编辑器中的UDF函数: // UDF registration bigquery.defineFunction( 'urlDecode', // Name used to call the function fro... -
0 votesanswersviews
如何使用BigQuery Standard SQL UDF?
https://cloud.google.com/bigquery/docs/reference/standard-sql/user-defined-functions#including-external-libraries 我指的是BigQuery Standard SQL UDF文档 但我仍然不知道如何包含js包括BigQuery 我试图在Options中添加js lib源代码 但得到此错误... -
1 votesanswersviews
Tableau - 无法执行使用标准SQL创建的BigQuery视图
我无法执行使用标准SQL创建的BigQuery视图 . 以下是错误: Google BigQuery服务无法编译查询 . 无法在旧SQL查询中引用SQL视图 . Tableau version - 9.3 -
0 votesanswersviews
DataStudio:BigQuery和标准SQL
如何使用BigQuery数据源在Google Data Studio上使用标准SQL查询?谢谢 -
5 votesanswersviews
BigQuery无法保存使用函数的视图
我们正在使用BigQuery的新方言“standard”SQL . 新的SQL支持用SQL而不是JS编写的内联函数,因此我们创建了一个处理日期转换的函数 . CREATE TEMPORARY FUNCTION STR_TO_TIMESTAMP(str STRING) RETURNS TIMESTAMP AS (PARSE_TIMESTAMP('%Y-%m-%dT%H:%M:%E*SZ', ... -
1 votesanswersviews
无法使用R dplyr在旧版SQL查询中引用SQL视图
我正在尝试使用dplyr访问/操作Google Bigquerry中的表格视图 . 但是,当我尝试使用dplyr函数(select,filter等)聚合表时,它给出了这个错误:“错误:无法在旧SQL查询中引用SQL视图 . ”下面的代码说明了我正在尝试做什么 . #source the table pd = src_bigquery(project, dataset) %>% tbl(ta... -
1 votesanswersviews
BigQuery中Google Analytics数据的标准版或旧版SQL?
我们刚刚开始在BigQuery中使用Google Analytics数据,之前在工作环境中只使用了MSSQL Server . 我们想将一些分析转移到GCP和BigQuery,但无法决定使用什么更好的选项 - 标准SQL还是遗留SQL?在这两种情况下,我们都必须适应新的语言版本,但真正的问题是什么是Google Analytics数据分析的最佳选择?从技术角度来看,是否应该让我们选择传统而不是标准... -
0 votesanswersviews
限制用户访问GCP for Data Studio到Big Query连接
我创建了一个Data Studio报告,它使用BigQuery视图作为它的数据源 . 我已经成功地为不同的用户实现了差异化的行级访问,但为了做到这一点,我必须在我的Google Cloud项目中为报告的用户提供“BigQuery Job User”访问权限 . 有没有人找到这样做的方法而不这样做?虽然除了查看视图的查询并在BigQuery中仅使用他们有权访问的数据(我知道)查看视图的查询以外,用户... -
0 votesanswersviews
在DataStudio中传输BigQuery帐户
我使用大查询帐户(QA帐户)在Google Data Studio中创建报告 . 现在我们已经为bigquery创建了一个新帐户(用于 生产环境 ),我已将所有表/视图复制到新帐户 . 此外,我还为data studio中的新帐户用户授予了编辑权限 . 之后我使用新帐户登录数据工作室,然后我去了bigquery连接器我能够查看我的数据集和新帐户的表,但是当我尝试连接这些表时,我得到以下错误: Th... -
0 votesanswersviews
Google Data Studio:日期范围过滤器错误
我正在使用Google BigQuery Custom查询数据源创建Google Data Studio信息中心 . 当我在表/图表上应用日期过滤器时,我在Datastudio中遇到以下错误 The query returned an error. Failed to parse input string "2018-04-15" Error ID: 1f94c822 这是... -
0 votesanswersviews
Datastudio和BigQuery分区列
我的BigQuery表上有DateTime列 Order Time 和 Delivery Time . 我的BQ表在 Order Time 列上有 partition 但在我的DataStudio报告中我想使用列 Delivery Time . Delivery Time 可以在 Order Time 之后最多10天 . 由于在BigQuery上查询数据很昂贵,我想通过 Partition... -
6 votesanswersviews
用于滑动窗口聚合的Bigquery SQL
嗨我有一张看起来像这样的 table Date Customer Pageviews 2014/03/01 abc 5 2014/03/02 xyz 8 2014/03/03 abc 6 我想获得按周分组的页面视图聚合,但显示过去30天的聚合 - (窗口大小为每周30天的窗口大小) 我正在使用google bi... -
5 votesanswersviews
计算BigQuery中的移动最大值
给定一个带有一些排序的BigQuery表和一些数字,我想计算一个"moving maximum"的数字 - 类似于移动平均线,但是最大值 . 从Trying to calculate EMA (exponential moving average) using BigQuery看来,最好的方法是使用 LEAD() 然后自己进行聚合 . (Bigquery moving ave... -
1 votesanswersviews
BigQuery计算timeperiod Group By之间的实例
我有一个上传到BigQuery的订单表,其中包含以下 Headers ConsumerID,TransactionDate,Revenue,OrderID ConsumerID和OrderID是整数TransactionDate是TIMESTAMP 数据结构如下 ConsumerId || TransactionDate || Revenue || OrderID ... -
0 votesanswersviews
用于PARTITION BY的排序运算符使用了太多内存(Big Query)
我正在尝试按周数对平均得分进行分组,以便我可以显示平均值,以及同一图表中的过滤平均值,但运行以下查询会返回错误 . 错误:查询执行期间超出资源:无法在分配的内存中执行查询 . 用于PARTITION BY的排序运算符使用了太多内存.. Select AVG(table.score) OVER (PARTITION BY cal.weeknum) as AVGScore FROM (S... -
0 votesanswersviews
如何使用CASE表达式匹配Google Data Studio中的多个行(SQL / Big Query数据集)
我有一个BigQuery表,其中包含一个列,其中包含“类别”列表(由“/”分隔): { "ID": "452", "Location": "France", "Calories": "400", "Categories": &q... -
0 votesanswersviews
日,类别聚合的最大值?
Goal :2018年每周的每一天(唯一)仅输出(类别,事件总数) . 即显示一周中每一天的最高类别及其总事件数 . 因此,此数据集应该只有7行(但 LIMIT 7 不是't really answer the core problem I' m试图理解) 使用BigQuery标准SQL: SELECT dayofweek, category, SUM(incident_c...