-
1 votesanswersviews
脚本路径到Azure Data Factory DataLakeAnalytics u-sql管道
我正在尝试使用此ADF DataLakeAnalyticsU-SQL 管道活动发布数据工厂解决方案,遵循azure逐步doc(https://docs.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity) . { "type": "DataLakeAnalyticsU-SQL&q... -
0 votesanswersviews
在Azure Data Factory V2上构建此管道
我目前正在尝试在Azure Data Factory V2上设置此管道(如附图所示) . 总之,该ERP系统将每月导出此报告(包含实际数据和预测数据的CSV文件),并将其保存在blob容器中 . 保存此文件CSV后,事件触发器应激活此存储过程,该过程将依次从Azure SQL中的事实表中删除所有实际值,因为每月都会替换它 . 删除实际值后,管道将随后具有复制活动,该复制活动将CSV报告(实际预测)... -
2 votesanswersviews
了解CPU流水线阶段与指令吞吐量
我遗漏了一些基本的东西 . CPU流水线:在基本级别,为什么指令需要不同数量的时钟周期才能完成,为什么某些指令在多级CPU中只需要1个周期? 除了明显的“不同指令需要完成不同的工作量”之外,请听我说... 考虑一个带有大约14级流水线的i7 . 这需要14个时钟周期才能完成一次运行 . AFAIK,这应该意味着整个管道的延迟为14个时钟 . 然而事实并非如此 . XOR在1个周期内完成,延迟为... -
68 votesanswersviews
在多个同步上游作业成功后,如何让Jenkins工作开始?
为了尽可能快地获得反馈,我们偶尔会希望Jenkins的作业能够并行运行 . Jenkins能够在作业完成时启动多个下游作业(或“分叉”管道) . 但是,Jenkins似乎没有任何方法可以使下游作业只启动该fork的所有分支成功(或者将fork连接在一起) . 詹金斯有一个"Build after other projects are built"按钮,但我将其解释为“当 an... -
0 votesanswersviews
在GoCD管道中创建自定义管道标签
我想在GoCD管道中添加我在Materials部分中指出的分支名称 . 目前,我的管道标签有count和commit hash . 例如: 如果我的分支名称为“master”,则标签应为104-master-82862b9a99599130e0306429882ead4c22d07ce4 如果我的分支名称是“US73173”,则标签应为104-US73173-82862b9a99599130e03... -
2 votesanswersviews
自定义sklearn管道变换器给出“pickle.PicklingError”
我正在尝试根据本教程的指导为Python sklearn管道创建自定义转换器:http://danielhnyk.cz/creating-your-own-estimator-scikit-learn/ 现在我的自定义类/变换器看起来像这样: class SelectBestPercFeats(BaseEstimator, TransformerMixin): def __init__(s... -
3 votesanswersviews
Azure数据工厂管道ML
我正在尝试在Azure数据工厂V1中执行管道,该管道将对文件执行Azure批处理执行 . 我使用blob存储作为输入和输出来实现它并且它工作 . 但是,我不是要将输入和输出更改为我的数据湖存储中的文件夹 . 当我尝试部署它时,它会给我以下错误: Entity provisioning failed: AzureML Activity 'MLActivity' specifies 'Datalake... -
0 votesanswersviews
使用Python中的Dataflow Pipeline将数据从Google Datastore传输到Bigquery
我们遇到了从Google Cloud Datastore到Bigquery的数据传输问题 . 我们需要在python中为这个作业创建数据流脚本 . 这个作业应该通过在python中使用管道将数据从数据存储区传输到bigquery . 对于python中的这项工作,它需要“Apache Beam”库 . 但Apache Beam库不起作用 . 有人可以帮助我们吗? -
2 votesanswersviews
用于大型数据集的Tensorflow图像输入管道:加载多个连续图像
我正在尝试为Tensorflow构建一个有点复杂的输入管道 . 该数据集由257天的图像组成,每天有大约5000张图像(图像大约每8秒拍摄一次并按时间顺序排列) . 它们以jpeg编码 . 我需要能够在每天内按顺序(暂时)访问它们 . 但是,我还需要能够创建洗牌批次(在几天内和一天内随机化) . 此外,一个样本可能包含2或3个连续图像,分别带有最后一个图像的标签 . 另外,我应该能够在一个样本中的... -
1 votesanswersviews
为什么这个管道在for循环中不起作用
当我运行代码时,它输出 FIND: Parameter format not correct 和 The process tried to write to a nonexistent pipe. . 由此,我'm pretty sure the for loop can't处理管道和/或重定向 . 我已经尝试在循环外运行它,并且工作正常,但在循环内它会丢弃假人 . 有谁知道为什么,或者我如何解... -
0 votesanswersviews
spark ml管道处理看不见的标签
为了处理spark ml管道中新的和看不见的标签,我想使用最频繁的插补 . 如果管道包含3个步骤 预处理 学习最频繁的项目每个分类列的 stringIndexer 矢量汇编程序 估算器,例如随机森林 假设(1)和(2,3)和(4,5)构成单独的管道 我可以为火车和测试数据拟合和转换1 . 这意味着处理所有的纳米值,即估算 2,3将很好地适合4,5 然后我可以使用... -
3 votesanswersviews
由C#应用程序调用的Powershell脚本
我有这个powershell脚本(test1.ps1)调用另一个PowerShell脚本(test2.ps1)来完成这项工作 . 两个脚本文件都在同一个文件夹中 test1.ps1 echo "from test1.ps1" .\test2.ps1 test2.ps1 echo "from test2.ps1" 当我通过创建运行空间在C#中调用test... -
0 votesanswersviews
OpenGL图形管道中的NURBS
我很好奇NURBS是如何在GPU / OpenGL图形管道中渲染的 . 我知道在OpenGL和GLUT中有各种调用,可以使用glMap和glMapGrid从编码角度轻松渲染NURBS对象,但我没有得到的是OpenGL完成此过程的过程 . NURBS背后的想法是使用曲线来定义曲面,而图形管道似乎围绕三角形栅格化和三角形网格构建,而NURBS基于Bezier曲线,它们是弯曲的 . 那么,从(高级)管... -
1 votesanswersviews
OpenGL中的简单图形管道
我正在阅读Schaum的概述COMPUTER GRAPHICS . Book说,一个简单的图形管道是这样的: geometric representation --> transformation --> scan conversion (尽管作者决定在转换章之前教授扫描转换章节) . 我希望通过openGL中的一个例子来学习这个简单的管道 . 假设我希望在窗口大小(750,500)... -
0 votesanswersviews
如何确保两个adf管道不并行运行
我有两个adf管道,我不希望它并行运行,我想确保管道A(每天只运行一次)先运行,管道B运行(每天运行4次) . 因此,在管道A未运行之前,管道B不应运行 . 我想创建一个依赖管道 . 当管道b正在执行时,它应该触发管道A,一旦A中的活动结束,那么只有它应该执行管道B的活动 . 提前致谢 . -
1 votesanswersviews
在Pipeline上搜索网格后更新变换器参数
我有一个简单的管道,用于文本分析和分类,包括CountVectorizer,TfidfTransformer,最后是Multinomial Naive Bayes分类器 . from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer from sklearn.naive_bayes import Mul... -
-1 votesanswersviews
管道对象上的超参数调整
我有这条管道, pl = Pipeline([ ('union', FeatureUnion( transformer_list = [ ('numeric_features', Pipeline([ ("selector", get_numeric_data), ])), ... -
4 votesanswersviews
Doc2Vec的管道和GridSearch
我目前有以下脚本,有助于找到doc2vec模型的最佳模型 . 它的工作方式如下:首先根据给定的参数训练一些模型,然后针对分类器进行测试 . 最后,它输出最好的模型和分类器(我希望) . Data 示例数据(data.csv)可以在这里下载:https://pastebin.com/takYp6T8请注意,数据的结构应该是1.0精度的理想分类器 . Script import sys import ... -
3 votesanswersviews
将自定义函数放入Sklearn管道中
在我的分类方案中,有几个步骤,包括: SMOTE(合成少数民族过采样技术) Fisher特征选择标准 标准化(Z分数归一化) SVC(支持向量分类器) 在上面的方案中要调整的主要参数是百分位数(2.)和SVC的超参数(4.),我想通过网格搜索进行调整 . 当前的解决方案构建了一个"partial"管道,包括方案 clf = Pipeline([('norma... -
17 votesanswersviews
sklearn估算器管道的参数无效
我正在使用Python 2.7和sklearn 0.16从O'Reilly的书“使用Python进行机器学习简介”中实现一个示例 . 我正在使用的代码: pipe = make_pipeline(TfidfVectorizer(), LogisticRegression()) param_grid = {"logisticregression_C": [0.001, 0.01,... -
1 votesanswersviews
使用KNeighborsClassifier的SKlearn管道
我正在尝试在sklearn中构建一个GridSearchCV管道,以使用KNeighborsClassifier和SVM . 到目前为止,已尝试过以下代码: from sklearn.model_selection import GridSearchCV from sklearn.pipeline import Pipeline from sklearn.neighbors import KNei... -
13 votesanswersviews
如何在scikit-learn中用管道调整自定义内核函数的参数
目前我已经使用def函数成功定义了一个自定义内核函数(预先计算内核矩阵),现在我使用GridSearchCV函数来获取最佳参数 . 因此,在自定义内核函数中,总共有2个参数将被调整(即下例中的gamm和sea_gamma),而且对于SVR模型,还必须调整cost c参数 . 但到目前为止,我可以使用GridSearchCV调整成本c参数 - >请参考下面的第一部分:示例 . 我搜索了一些类似... -
0 votesanswersviews
sklearn RandomizedSearchCV with Pipelined KerasClassifier
我正在使用Keras模型上的sklearn执行超参数调优优化任务 . 我正在尝试优化管道中的KerasClassifiers ...代码如下: import numpy as np import pandas as pd from keras.models import Sequential from keras.layers import Dense from keras.wrappers.sc... -
1 votesanswersviews
通过网格搜索和sklearn中的管道获得正确的交叉验证分数
我的设置:我正在运行一个进程(=管道),在我选择相关变量之后运行回归(在标准化数据之后 - 我已经省略的步骤,因为它们在这个实例中是无关的),我将通过网格搜索进行优化,如下所示 fold = StratifiedShuffleSplit(n_splits=10, test_size=0.2, random_state=777) regression_estimator = LogisticRegr... -
0 votesanswersviews
错误ID:VertexFailedFast,错误消息:顶点失败并出现故障快速错误
当我运行下面的U SQL我得到“活动U-SQL1失败: 错误ID:VertexFailedFast,错误消息:Vertex因失败快速错误而失败 . “ 输入架构有7列 . 但我仍然得到这个错误 . 我也跳过第一行,因为它包含 Headers . DECLARE @file_set_path string ="/Sample_{*}.csv"; @searchlog = ... -
0 votesanswersviews
在Azure Data Factory管道上执行自定义活动
我在数据工厂中创建只应运行自定义活动的简单管道 . 管道的部署模板如下所示: { "type": "pipelines", "name": "MyCustomActivityPipeline", "dependsOn": [ "DataF... -
1 votesanswersviews
在Bluemix DevOps管道上运行阶段时超时
我正在Bluemix DevOps管道的一个阶段运行e2e测试,但它超过了60分钟的限制: The execution exceeded the time limit of 60 minutes. One possible solution is to split up your execution. Finished: ERRORED 有没有办法增加阶段超时?我不想将我的测试分成不同的阶... -
1 votesanswersviews
如何在Bluemix DevOps管道阶段中使用自定义工具
我想在我的BlueMix DevOps Services管道的一个阶段中使用自定义构建工具(例如,使用brew install或其他一些安装) . 医生说每个阶段都在一个新容器中运行 . 如何将我的工具加载到该容器中以便在我的管道阶段使用? -
1 votesanswersviews
Travis中的Cloud Foundry部署
我知道我可以这样做:https://docs.travis-ci.com/user/deployment/cloudfoundry 现在在.travis.yml,它将有 deploy: edge: true provider: cloudfoundry username: hulk_hogan@example.com password: supersecretpas... -
0 votesanswersviews
Azure Data Factory v2 Pipeline API调用触发器时间戳
我不熟悉azure数据工厂,我正在尝试 Build 一个管道,从特定时间范围内从API获取数据 . 这是我到目前为止所做的:我为API调用创建了一个翻滚窗口管道,将数据作为JSON文件引入并存储在具有特定时间戳的ADL文件夹中 . 问题是我只需要当前日期和小时的数据并存储在该特定文件夹中egyear / month / day / hour / json文件如何告知URL只是在激活触发器的一小时内...