-
0 votesanswersviews
Kafka - 消费者偏移自动重置
使用Apache Kafka和Java API高级消费者时,我有时会收到以下错误, WARNpool-1-thread-4自动提交偏移量{my_topic-2 = OffsetAndMetadata {offset = 53847,metadata =''}}组my_consumer_group失败:偏移提交失败并出现可重试异常 . 您应该重试提交偏移量 . 潜在的错误是:这不是正确的协调员 .... -
8 votesanswersviews
启动kafka经纪人时出错
我昨天成功地成立了zookeeper和一名kafka经纪人 . 一切都按预期工作 . 我关闭了kafka(ctrl c)然后关闭了zookeeper . 今天我开始使用zookeeper,当我开始使用kafka( bin/kafka-server-start.sh config/server0.properties )时,我收到以下错误 . 我尝试了各种补救措施(完全删除我的kafka安装并从头开... -
0 votesanswersviews
一旦通过文件摄取生成段,如何更新德鲁伊度量值
多个间隔(段)中的druid数据源分片被摄取了json文件 . 但是我如何更新现有数据的度量's and dimension' s值 . 期待一些查询设置,如德鲁伊格式的SQL更新 . 这是任务设置示例 { "type":"index", "spec":{ "dataSchema":{ ... -
1 votesanswersviews
经纪商删除后,Kafka分区负责人未更新
我有由marathon / mesos管理的Kafka集群,它有3个经纪人版本 0.10.2.1 . 泊坞窗图像基于wurstmeister/kafka-docker . broker.id=-1 在启动时自动分配,领导者自动重新 balancer auto.leader.rebalance.enable=true . 客户端版本为 0.8.2.1 . Zookeeper配置: ➜ z... -
12 votesanswersviews
生成Kafka消息到选定的分区
根据Kafka文件: 生产环境 者负责选择将哪个消息分配给主题中的哪个分区 . 因此我的主要问题是: How can I send message to selected partition using kafka-console-producer.sh (or Kafka Java client)? 我想在消息发送时指定某种“分区ID” . 可能这样的“分区ID”存储在Zookeeper中的... -
1 votesanswersviews
在zookeeper重启后,Kafka集群丢失消息
我正在使用Docker启动一个kafka经纪人集群(例如,5个经纪人,每个集装箱一个经纪人) . Kafka版本2.12-0.11.0.0,Zookeeper 3.4.10 . The scenario: 使用下面的配置启动第一个代理 zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/opt/zookeeper/data cl... -
3 votesanswersviews
如何在kubernetes上为Kafka多代理设置指定广告监听器并在经验上公开集群?
我正在尝试在Azure中托管的kubernetes集群上设置多代理kafka . 我有一个代理设置工作 . 对于多代理设置,目前我有一个管理kafka服务的zookeeper节点集合(3) . 我正在将kafka集群部署为复制控制器,复制因子为3.这是3个代理 . 如何向Zookeeper注册这三个代理,以便它们与Zookeeper注册不同的IP地址? 部署服务后,我会调出复制控制器,并在复制控制... -
1 votesanswersviews
制作apache时的GWT StatusCodeException ZooKeeper getChildren()调用服务器端
我创建了一个GWT应用程序,可以在更改时显示Zookeeper节点数据 . 我已经在GWT之外测试了我的zookeeper观察者课程并知道它们有效 . 但是,当我的servlet类调用我的zookeeper观察者类时,这些类尝试在zookeeper节点上调用getChildren(...),我的代码在该调用内失败 . 当从其他没有涉及GWT的类调用时,这个确切的代码可以工作 . 它抛出了这个异常 ... -
1 votesanswersviews
执行hdfs zkfc命令时出错
我试图使用3个namenode机器,2个datanodes机器和1个客户端机器运行hdfs . 当我执行 hdfs zkfc –formatZK 时,我有下一个致命错误,我不知道为什么,因为我已经尝试了其他时间的群集并且它可以工作,但现在它不起作用 . 16/01/21 15:05:14 INFO zookeeper.ZooKeeper: Session: 0x25264b6c3d90000 cl... -
0 votesanswersviews
kafka使用者错误 - 无法连接到zookeeper
我正在尝试为消息服务设置kafka . 我正在使用kafka_2.9.2-0.8.1.1版本,我已经启动了zookeeper,kafka并创建了一个没有分区和复制因子的主题 . 一旦我启动了我的消费者,我就会收到以下错误 ./kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning Exce... -
4 votesanswersviews
在Mesos上运行的Kafka消费者“无法添加分区的领导者”错误
我正在使用mesos/kafka库运行一个由6个代理组成的Kafka集群 . 我能够在6个不同的机器上添加和启动代理,并使用Python SimpleProducer和kafka-console-producer.sh脚本将消息发布到集群中 . 但是我无法使消费者正常工作 . 我正在运行以下使用者命令: bin/kafka-console-consumer.sh --zookeeper 192.1... -
0 votesanswersviews
Zookeeper错误:由于java.io.IOException导致关闭会话0x0的异常:Len错误
我们有一个配置良好的zookeeper和kafka集群节点 . 用于创建主题和发送有关该主题的消息的手动测试已成功通过 . 但是当我从e测试设备运行测试以创建MQTT协议的主题时,我收到: Exception causing close of session 0x0 due to java.io.IOException: Len error 271056900 [myid:1] - INFO... -
9 votesanswersviews
Kuberka在Kubernetes - 将协调员标记为团体死亡
我对Kubernetes很新,并想用它设置Kafka和zookeeper . 我能够使用StatefulSets在Kubernetes中设置Apache Kafka和Zookeeper . 我按照this和this来构建我的清单文件 . 我制作了1张kafka和zookeeper的复制品,并且还使用了持久卷 . 所有pod都在运行并准备就绪 . 我尝试通过指定nodePort(30010)来公开k... -
1 votesanswersviews
创建主题,但在Kubernetes上使用Python获取Kafka FailedPayloadsError
我在python kafka-library中使用SimpleProducer . 这个脚本以前完美无缺地使用了我尝试过的其他更加硬配置的kafka-setup . kafka = KafkaClient(u'[masterNodeIp]:[servicePort]') producer = SimpleProducer(kafka) #make a simple message, while t... -
2 votesanswersviews
为什么我们需要在Kafka Consumer Configuration中添加所有zookeeper节点
看起来我们需要在属性“zookeeper.connect”中添加所有zookeeper节点的ip地址来配置使用者 . 现在我的理解是,zookeeper集群有一个以故障安全方式管理的领导者 . 那么,为什么我们只能为zookeeper节点提供一个引导列表,就像它在Producer配置中完成一样(同时提供引导代理列表),它们应该提供有关整个zookeeper集群的元数据? -
1 votesanswersviews
Kafka无法解析Zookeper的DNS名称
我有一个kafka 0.10.1.0集群(2个节点)和zookeeper 3.4.6(3个节点) 在this tutorial之后,群集在Kubernetes上托管 . 来自Kafka的相关条目 server.properties : listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://kafka.internal... -
0 votesanswersviews
Kafka - 动物园管理员不和别人一起跑
我有Apache kafka的问题 我有4个集群,我想安装kafka实例 . 在3个集群上,它们可以产生,并在彼此之间消费消息,动物园管理员工作得很好 . 但是在第4集群上,我无法运行与其他动物园管理员相关的动物园管理员 . 如果我在zoo.cfg中设置只有本地服务器(0.0.0.0:2888:3888),zookeeper以独立模式运行,但是如果我添加其他服务器我会收到错误 ./zkServer... -
4 votesanswersviews
无法从Kafka制作人连接到远程zookeeper
我已经和Apache Kafka玩了几天了,这是我的问题,如果我在网站的“快速入门”部分中设置本地测试,一切都很好,kafka 生产环境 者/消费者,zookeeper服务器和 Kafka 经纪人完美合作 . 现在,如果我在远程服务器上运行(我们称之为node2): - Zookeeper - 端口2181 - Kafka Broker - 端口9092 - kafka consum... -
5 votesanswersviews
Kafka Zookeeper连接问题
我正在使用Kafka 0.8.2-beta并拥有2个Ubuntu 14虚拟机: 172.30.141.127正在运行Zookeeper 172.30.141.184正在运行Kafka经纪人 我正在启动Zookeeper实例,一切都很好 . 然后我尝试启动代理并将其连接到172.30.141.127:2181 . 它似乎能够在特定端口上连接并 Build 会话,但由于某些异常似乎没有记录... -
0 votesanswersviews
使用AWS ECS docker容器,是否可以将所有三个必需的Zookeeper端口映射到主机? (似乎没有)
每个Zookeeper实例(每个docker容器一个)需要三个端口用于三个不同的目的(端口2181,2888,3888) . 通过这些端口,这些Zookeeper实例的集群(通常是3到5个)相互通信以确定领导者,跟随者(等) . 从我今天的工作(在AWS上)看来, AWS ECS docker containers 似乎无法将多个端口映射到容器主机;所以我怀疑这是不可能的 - 至少不是没有麻烦,这... -
0 votesanswersviews
当zookeeper节点都有不同的端口时,如何配置hbase.zookeeper.quorum?
我有一个使用docker-compose设置的Zookeeper,HDFS和HBase的“分布式”部署 . 我想从主机(我的macbook pro)连接到hbase,而不是从docker容器中 . 每个Zookeeper容器从docker容器外部暴露到不同的端口: z1:2181 z2:2182 z3:2183 如何配置hbase.zookeeper.quorum以映射到每个主机的不同端口? -
3 votesanswersviews
连接到Apache Zookeeper的Apache Kafka使用者客户端:EndOfStreamException
尝试使用Zookeer独立(3.4.5)从Kafka(2.9.2-0.8.1)“消费”消息时出错 . 您可以在下面看到源代码以及Zookeeper中的错误消息和日志文件 . 我不确定Java库是否不兼容,因为我通过Maven添加了依赖性kafka_0.9.2(0.8.1),它自动解决了zkclient(0.3)和zookeeper(3.3.4)的依赖关系 . 消费者源代码: import java... -
0 votesanswersviews
使用Kafka和Zookeeper,不同的组ID不会从头开始检索Kafka消息
我们有kafka v2.10和zookeeper v3.4设置和工作 . 我们编写了高级消费者,消费来自Kafka的log msgs . 消费者A开始消耗主题T和组ID G1的消息(遵循Apache Kafka文档中提供的高级消费者示例) . 然后,当消费者B使用相同的主题T但组ID为G2启动时,它会连接到kafka / zookeeper,但会消耗日志消息,这些消息从消费者A使用的最后一个消息后... -
0 votesanswersviews
kafka zookeeper / consumers / group
我真的很难理解/消费者/团体来自哪里 . 我有2个Kafka集群,我正在使用镜像制造商进行复制 . 复制工作正常,但有一块东西在逃避我 . 当我从Kafka(在这种情况下利用python)中提取消息时,我发现复制工作正常 . 但是我在zookeeper / consumers / group中什么也看不见,因此我无法用“bin / kafka-run-class.sh kafka.tools.Co... -
2 votesanswersviews
Kafka 消费者在zookeeper中的注册名单
我正在使用C kafka lib来生成/使用kafka消息 - 一切都很好 . 现在我想监视我的消费者以处理断线/故障 . 我正在寻找所有消费者的连接列表 . 来自kafka documentation: Consumer Id Registry除了group_id由组中的所有使用者共享之外,每个使用者都被赋予一个瞬态的,唯一的consumer_id(主机名:uuid),用于识别目的 . 消费者... -
1 votesanswersviews
zookeeper日志中的Couchbase-Kafka-Connector错误
我刚接触Couchbase和Kafka . 每当我将消息插入Couchbase存储桶中说“xyz”时,连接器将其拾起并放入具有相同名称的kafka主题,即“xyz” . 到现在为止还挺好 . 但是在这里我有一个kafka消费者运行,它读取这个主题并放入另一个主题说“abc_123”,但这种情况从未发生过 . 主要是我在zookeeper中看到这个错误(我作为kafka的一部分运行)并且想知道,如果... -
1 votesanswersviews
Spring XD Kafka源没有注册为消费者?
部署以下Spring XD流后: “kafka --topics = rm-sdrs --outputType = text / plain --zkconnect = hw1-vapp033:2181 | file --dir = / tmp / myfile --name = all_sdrs” 我希望在kafka主题“rm-sdrs”上看到一个新的消费者,但在Zookeeper上看不到任何内... -
0 votesanswersviews
无法在多节点Kafka群集中发送/接收消息
我有一个多节点kafka集群,我能够成功创建主题,这在zookeeper日志中很清楚 . 但我无法发送/接收来自某些主题的消息,即使它们已创建 . 此外,我没有在3个节点的任何kafka代理中的/ tmp / kafka-logs目录中看到为其中一些主题创建的日志 . 例如:如果我创建了Topic1 ... Topic5 . 我能够发送和接收topic3,topic4的消息 . 我让我的 生产环境... -
0 votesanswersviews
如何在启动反应原生应用程序时检索zookeeper数据?
在启动反应本机应用程序时 . 如何连接到zookeeper以获取数据作为应用程序配置的一部分? 我试图在react本机应用程序中导入zookeeper库但我收到此错误: 无法从/path/to/workspace/node_modules/zookeeper/lib/zookeeper.js解析模块事件:模块映射中不存在模块 -
2 votesanswersviews
Kafka ,无法制作和消费活动
当试图在2个奴隶和1个主盒子上设置kafka时,得到了一个奇怪的情况,我无法消耗或产生一个主题 . 使用 Mirror Maker 在 slave <--> Master 之间同步数据 . 获取以下日志无休止: [2016-08-26 14:28:33,897] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.cl...