-
2 votesanswersviews
Mac OS X上的NetBeans8 Scala - 无法检测和安装所选平台
我已经设置了SCALA_HOME和JAVA_HOME并使用每个环境变量的绝对路径更新了netbeans.conf中的netbeans_default_options，并且NetBeans 7或8仍然无法在OS X上检测到Scala Platform . SCALA_HOME = / Volumes / MyPassportForMac / scala-2.11.1 JAVA_HOME = / Li... -
2 votesanswersviews
远程连接到hdfs aws - 连接被拒绝
我能够在AWS EC2上创建单节点hadoop集群 . 我在那里保存了一个文件（sample.txt），我试图通过我的应用程序远程访问 . 但是，连接被拒绝 . 我能够在 http://ec2-...:50070 上查看该文件，一切似乎都运行良好 . EC2的安全性设置为 输入|协议|港口范围|目的地/来源 所有交通|全部|全部| 0.0.0.0/0 JPS 13168 SecondaryName... -
0 votesanswersviews
AWS EMR集群中的spark-submit“错误：JAR中没有主类设置”
我在AWS EMR集群中收到此错误 - $ spark-submit Movierecommendation错误：无法从JAR文件加载主类：/ home / hadoop / Movierecommendation运行--help用于使用帮助或--verbose用于调试输出 可能导致此错误的原因 . Scala代码能够使用sbt进行编译 . 让我知道 . -
1 votesanswersviews
在EMR上引发JAR时引发ClassNotFoundException
我正在使用eclipse / Maven创建一个JAR并在EMR上运行它 这是我的pom.xml文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio... -
1 votesanswersviews
使用线性代数和scala微风的简单神经网络
下面是我对具有1个输入层，两个隐藏层和1个输出层的神经网络的实现： import breeze.linalg._ import breeze.math._ import breeze.numerics._ object NN extends App { //Forward propogation val x1 = DenseVector(1.0, 0.0, 1.0) val y1 ... -
50 votesanswersviews
ScrollView中的Google Maps API v2 SupportMapFragment - 用户无法垂直滚动 Map
我正在尝试将Google Map 放在滚动视图中，以便用户可以向下滚动其他内容以查看 Map . 问题是这个滚动视图占用了所有垂直触摸事件，因此 Map 的UI体验变得非常奇怪 . 我知道在谷歌 Map 的V1中，您可以覆盖onTouch或setOnTouchListener以在MotionEvent.ACTION_DOWN上调用requestDisallowInterceptTouchEven... -
6 votesanswersviews
Scala SBT：scala.tools.nsc没有运行
我有 scala.tools.sbt 的问题 scala file 在这里，我使用解析器功能来制作代码的抽象语法树 2 + 3 import scala.tools.nsc._ object Main extends App { var i = new Interpreter println(i.parse("2 + 3")) } SBT configurat... -
2 votesanswersviews
如何使用slick 3.0.1连接到Oracle DB？
我开始学习和试验光滑 . 我正在尝试连接到由我们的DBA设置的oracle开发数据库 . 但是，我遇到问题，我无法连接 . 这是我到目前为止所做的： oracledev = {url =“jdbc：oracle：thin：@ // vdevdbms2：4208 / TPSDEV.IADB.ORG”driver = com.typesafe.slick.driver.oracle.OracleDr... -
1 votesanswersviews
简单光滑示例Scala
我试图用 Postgres 中创建的1个表来练习一个简单的光滑示例 . 它涉及4个文件 . 这是我的 DAO.scala 文件 import slick.dbio.Effect.Write import slick.lifted.{CanBeQueryCondition, Rep, Tag} import slick.jdbc.PostgresProfile.api._ import slick.... -
89 votesanswersviews
“抽象”是什么意思？
通常在Scala文献中，我遇到了短语"abstract over"，但我不明白其意图 . For example，Martin Odersky写道 您可以将方法（或“函数”）作为参数传递，也可以对它们进行抽象 . 您可以将类型指定为参数，也可以对它们进行抽象 . 另一个例子，在"Deprecating the Observer Pattern"论文中，... -
2 votesanswersviews
哪里是逆变？
修补其他协变类的规范示例如下： abstract class Stack[+A] { def push[B >: A]( x: B ) : Stack[B] def top: A def pop: Stack[A] 现在，如果我删除隐式协方差并手动注释类，我得到这个： abstract class Stack[A] { def push[B >: A]( x: B )... -
0 votesanswersviews
Scala匿名函数genric方差问题
我很难理解逆变量，协变量，不变性等 . 从Why doesn't the example compile, aka how does (co-, contra-, and in-) variance work?我已经学会了如何将函数视为另一个函数的子类型 . （真的很有用！） 下面的代码是我认为解决我的难题的重要部分 . 我提取的部分我认为会给问题增加不必要的复杂性 . 根据示例，我有一个Stu... -
5 votesanswersviews
逆变型的方法继承
我定义了两个类型类： trait WeakOrder[-X] { self => def cmp(x: X, y: X): Int def max[Y <: X](x: Y, y: Y): Y = if (cmp(x, y) >= 0) x else y def min[Y <: X](x: Y, y: Y): Y = if (cmp(x, y) <= 0... -
12 votesanswersviews
在所有情况下都不强制键入别名参数边界
TL; DR：似乎类型别名的类型参数（例如 type T[X<:Serializable] ）在被引用为变量，参数和其他情况时不会强制执行它们的约束 . 但是，案例类会为其参数正确实施边界 . 考虑设计用于表示泛型类型子集的类型别名 . 例如，让我们说我想要一个 Serializable 列表的类型： scala> type SerializableList[T <: Seria... -
15 votesanswersviews
当参数不符合类型约束时，为什么Scala函数会编译？
假设我有一个名为 Marker 的空标记特征和一些由 Marker 绑定的类型参数的函数： trait Marker object Marker { def works[M <: Marker](m:M):M = m def doesntWork[M <: Marker](f:M => String):String = "doesn't matter"... -
310 votesanswersviews
如何建模类型安全的枚举类型？
Scala没有类似Java的类型安全 enum . 给定一组相关常量，Scala表示这些常量的最佳方法是什么？ -
3 votesanswersviews
如何在Spark中以小块的形式迭代大型Cassandra表
在我的测试环境中，我有1个Cassandra节点和3个Spark节点 . 我想迭代一个大约有200k行的大表，每个大约需要20-50KB . CREATE TABLE foo ( uid timeuuid, events blob, PRIMARY KEY ((uid)) ) 这是在spark集群中执行的scala代码 val rdd = sc.cassandraTable(&quo... -
2 votesanswersviews
用于JVM的轻量级分布式单 生产环境 者多消费者消息服务
我正在为jvm寻找一个轻量级的分布式单 生产环境 者多消费者消息服务 . 我希望该服务能够在与 生产环境 者相同的过程中运行 . 它只需要支持10个读卡器（最多可能低100个），但它需要能够具有高吞吐量 . 每条消息都需要只发送给一个消费者，哪个消息无关紧要 . 应该只有一个有界缓冲区， 生产环境 者应该阻止缓冲区已满 . 如果没有可用消息，消费者应该阻止 . 一旦所有消费者都收到数据信号的结束，... -
6 votesanswersviews
使用Akka，SQS和Camel的消费者民意调查率
我正在研究的项目需要从SQS读取消息，我决定使用Akka来分发这些消息的处理 . 由于SQS是Camel支持的，并且内置了在Consumer类中使用Akka的功能，我想最好以这种方式实现 endpoints 和读取消息，尽管我没有看到很多人这样做的例子 . 我的问题是我不能足够快地轮询我的队列以保持我的队列空，或接近空 . 我最初的想法是，我可以让消费者从SQS以X / s的速率接收来自Camel... -
1 votesanswersviews
用于Java的Google Cloud Pub / Sub客户端库不使用本地模拟器
我正在尝试使用Google Cloud Pub / Sub模拟器来测试我的scala应用 . Documentation陈述以下内容 - 运行env-init命令以确定和设置模拟器使用的环境变量 . 请注意，按照这些说明操作后，代码中的Google Cloud Pub / Sub客户端库会调用在本地实例中运行的API，而不是 生产环境 API . 但是当我发布消息或创建主题时，它会在 Clo... -
0 votesanswersviews
Scala生成可选的swagger字段
使用swagger编辑器（http://editor.swagger.io/#/）为可选字段的定义生成客户端scala我希望这些字段的scala生成为Option []，但似乎并非如此 . 以Pet Store样品json为例：https://raw.githubusercontent.com/OAI/OpenAPI-Specification/master/examples/v2.0/json/... -
2 votesanswersviews
用于生成Swagger文件的Scala API？
我正在寻找一种从Scala以编程方式生成Swagger（JSON和/或YAML）输出文件的方法 . 这对于案例类来说实际上是一个简单的用法，但是我想知道这样的项目是否已经存在，即一种制作API模式的类型化方法 . 大多数解决方案似乎从注释中提取接口，但我需要创建任意Swagger输出 - 而不是直接绑定到我的服务的路由实现 . 为此，我还没有找到一个现成的解决方案 . -
0 votesanswersviews
如果群集的一个节点关闭，Kafka Consumer不会收到消息
我有一个有3个经纪人的Kafka集群 . 复制配置为： offsets.topic.replication.factor = 3 在其中一个经纪人倒闭之前，一切正常 . 然后，Consumer（用Scala编写）停止接收消息并开始连续生成以下消息： 2018-05-24 19:59:27 DEBUG Fetcher：425 - 分区领导SOMETOPIC-1无法获取偏移量，等待元数据刷新201... -
1 votesanswersviews
在接收对等方的close_notify之前，Spray HTTPS Inbound已关闭
目前，我正在使用Spray i / o实现Scala的Web服务 . 希望使用SSL来保护我的请求 . 但是我在配置SSL时遇到了困难 . 当启动https调用时，会出现与握手相关的错误 fatal error: 80: Inbound closed before receiving peer's close_notify: possible truncation attack? javax.ne... -
1 votesanswersviews
java.util.ConcurrentModificationException：KafkaConsumer对于多线程访问不安全
我有一个 Scala Spark Streaming 应用程序，它从3个不同的 Kafka producers 接收来自同一主题的数据 . Spark流应用程序在主机 0.0.0.179 的机器上，Kafka服务器在机器上，主机 0.0.0.178 ， Kafka producers 在机器上， 0.0.0.180 ， 0.0.0.181 ， 0.0.0.182 . 当我尝试运行 Spark... -
3 votesanswersviews
TCP连接如何由kafka-clients scala库管理？
我正在使用kafka-clients库来集成Kafka和Scala应用程序 . 并且发现很难理解，如何以及何时在经纪人和 生产环境 者/消费者之间 Build TCP连接 . 请核实我对以下几点的理解 - （1）在初始化KafkaProducer实例时没有 Build TCP连接 . val producer = new KafkaProducer[String, String](properti... -
0 votesanswersviews
最长的IPv6前缀匹配
我们正在尝试实现IPv6地址的最前缀匹配 . 表示IPv6地址以有效执行此计算（最长前缀匹配）的最佳方法是什么 . IPv6地址通常以Array [Byte]表示 . （IPv6地址通常以Array [Byte] [16]表示） . 为了找到最长的前缀匹配，我们需要将地址转换为BitSet（或某种位的数组表示），然后找出最长的前缀 . 这个堆栈级别的新手，并想知道我是否有任何遗漏 . 任何有助于... -
2 votesanswersviews
Kafka API：java.io.IOException：无法解析地址：xxx.x.x.xx：9091
我正在尝试向安装在Ubuntu VM中的Kafka发送消息 . 已经有3个Kafka代理在虚拟机中启动，而消费者也在虚拟机中监听主题 . 这一切都很好 . 在Windows 7的Intellij中，我为KafkaProducer编写了一个小型演示应用程序， import org.apache.kafka.clients.producer.KafkaProducer; import org.apac... -
2 votesanswersviews
有没有人在Cassandra上成功运行Apache Spark＆Shark
我正在尝试配置一个5节点cassandra集群来运行Spark / Shark来测试一些Hive查询 . 我安装了Spark，Scala，Shark并根据Amplab [在集群上运行Shark] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster进行配置 . 我能够进入Shark CLI，当我尝试从我的一个Cassandr... -
1 votesanswersviews
Scala Spark / Shark：如何访问Hortonworks中现有的Hive表？
我正在尝试找到关于这个主题的方法的一些文档/描述，请帮忙 . 我从Hortonworks安装了Hadoop 2.2.0，并安装了一些我需要查询的现有Hive表 . Hive SQL在单个节点和集群上工作极其缓慢且不合理地慢 . 我希望Shark能更快地工作 . 从Spark / Shark文档中我无法弄清楚如何使Shark与现有的Hive表一起工作 . 任何想法如何实现这一目标？谢谢！