首页 文章
  • 0 votes
     answers
     views

    需要帮助ElasticSearch Cluster运行状况为红色

    ElasticSearch集群运行状况在所有级别(索引和分片)显示为红色 . 我们不能通过在集群上进行试验来放弃任何数据,因为它非常重要 . 任何人都可以建议我们可以做些什么来使状态变为黄色或绿色(如果可能)? 以下是检查群集运行状况时获得的响应 { "cluster_name": "397183968343:n_cl", "statu...
  • 0 votes
     answers
     views

    在大学实验室需要帮助设置hadoop集群

    对于我的最后一年项目,我需要在我的大学实验室中 Build 一个小型的hadoop集群 . 我之前曾在hadoop上工作,但只在伪集群中工作过 . 现在我们面前的任务是在我们拥有的所有计算机上安装ubuntu,然后在每个计算机中设置hadoop . 我计划在ubuntu 12.04中使用自定义的hadoop用户iso来做到这一点 . 我在想做什么1.在所有系统中安装ISO . 2.如果1正确完成...
  • 7 votes
     answers
     views

    具有Docker的多节点Hadoop集群

    我正在基于 Docker 的环境中规划多节点 Hadoop 群集的阶段 . 所以它应该基于轻量级易用的虚拟化系统 . 当前架构(关于文档)包含1个主节点和3个从节点 . 该主机使用 HDFS 文件系统和 KVM 进行虚拟化 . 整个 Cloud 由 Cloudera Manager 管理 . 此群集上安装了多个Hadoop模块 . 还有一个 NodeJS 数据上传服务 . 这次我应该以 Docke...
  • 1 votes
     answers
     views

    我们可以在哪种部署模式中“不”将节点添加到Apache Spark 2.3.1中的集群

    我们可以在哪种部署模式中将节点/工作者添加到Apache Spark 2.3.1中的集群 1.Spark Standalone 2.Mesos 3.Kubernetes 4.Yarn 5.Local Mode 我在我的机器上安装了Apache Spark 2.3.1并在本地模式下运行它 在本地模式中,我们可以将节点/工作者添加到Apache Spark吗?
  • -5 votes
     answers
     views

    火花数据形成集合

    我制作了一个7个独立的apache集群 . 要运行scala代码,代码是 /** Our main function where the action happens */ def main(args: Array[String]) { // Set the log level to only print errors Logger.getLogger("org&...
  • 4 votes
     answers
     views

    Cassandra节点所有权为0.00%

    我有一个带有2个节点的Cassandra集群 . 我正在使用NetworkTopologyStrategy我试图将Cassandra中键空间的复制因子增加到2.我做了以下步骤:UPDATE KEYSPACE demo with strategy_options = {DC1:2,DC2:2};在两个节点上然后我在两个节点上运行nodetool修复然后我运行我的Hector代码来计算数据库中的行数和...
  • 1 votes
     answers
     views

    用cassandra文件系统激发火花

    我在独立模式下运行Spark,现在我想使用数据来处理但是我必须在同一路径中的所有节点中复制 . 现在我决定使用cassandra文件系统(CFS)在所有节点之间共享数据 . 但是如何运行我的spark作业以在另一个节点中使用cassandra键空间/表数据?如何让所有节点都可以访问Cassandra表?
  • 0 votes
     answers
     views

    Nodejs使用“动态”代码集群工作者

    晚上好/下午/早上好,所以我遇到了来自nodejs的集群模块的某种问题 . 首先,我目前的情况是:我正在运行一个nodejs“script”,它有一个“master”部分和一个“worker”部分,这意味着master部分从一个网站获取数据并将其发送给工作人员以“传递”通过websocket访问者 . 那么有没有什么方法可以“动态地”重新加载工作程序代码而无需重新启动主服务器本身? (例如,停止工...
  • 5 votes
     answers
     views

    NodeJS集群和数据库连接

    我一直在尝试NodeJS(https://nodejs.org/api/cluster.html)中的集群,并能够集群我的服务器 . 我有一个mongodb连接,它在服务器启动时 Build 之前这不是问题,因为它 Build 一次(没有集群) . 我认为,通过聚类,它为每个集群 Build 一次(我不清楚这一点) . 那么,是否应该为整个服务器(或)为每个工作者(或)仅为主进程执行一次连接? 推...
  • 1 votes
     answers
     views

    如何从Kubernetes集群中的应用程序连接Redis集群?

    这是我的应用程序代码: from flask import Flask from redis import Redis, RedisError import os import socket # Connect to Redis redis = Redis(host=os.getenv("REDIS", "redis"), db=0, socket_con...
  • 0 votes
     answers
     views

    注销后Python模块无法正常工作

    我在计算集群上运行一些分子动力学模拟时遇到了一些奇怪的问题 . 我的模拟使用了一个名为hoomd-blue的系统,我从集群的源代码编译 . 注销并重新登录到群集后,我发现使用hoomd-blue提交的作业无法启动,从而出现以下错误: ImportError:动态模块没有定义init函数(init_hoomd) 昨天我遇到了类似的问题,我通过重新编译hoomd-blue来解决这个问题 . 然而,...
  • 24 votes
     answers
     views

    在HPC上使用scikit-learn功能的并行选项的简便方法

    在scikit-learn的许多功能中实现了用户友好的并行化 . 例如,在 sklearn.cross_validation.cross_val_score 中,您只需在 n_jobs 参数中传递所需数量的计算作业 . 对于具有多核处理器的PC,它将非常好用 . 但是,如果我想在高性能集群中使用这样的选项(安装了OpenMPI包并使用SLURM进行资源管理)?据我所知 sklearn 使用 job...
  • 2 votes
     answers
     views

    群集故障转移

    我知道我正在问一些关于集群故障转移的非常明显的事情 . 我在redis.io上读到,如果任何主集群节点发生故障,它将影响到其他主节点,直到奴隶来负责 . 在我的结构中,我没有定义任何奴隶,只是与3个主人合作 . 我正在考虑修改redis-trib.rb文件,该文件将删除缺陷服务器,并将启动其他2个节点的集群 . 我对几件事感到困惑, 1)重新分析 在服务器出现故障之前无法实现 2)创建集群的最...
  • 2 votes
     answers
     views

    如何构建简化的redis集群(支持数据分片和负载均衡)?

    由于redis集群仍在进行中,我想在当前阶段自己构建一个简单的集群 . 系统应支持数据分片,负载 balancer 和主从备份 . 初步计划如下: 主从:在不同位置使用多个主从对,以增强数据安全性 . Matsters负责写操作,而主设备和从设备都可以提供读取服务 . 在一次写操作期间,数据被发送到所有主设备 . 在主站和从站之间使用Keepalived来检测故障并自动切换主从站 . 数...
  • 1 votes
     answers
     views

    Redis将单实例从属(slave)连接到cluster或sentinel

    当运行单个实例redis时,我可以使用“slave of”来创建一个(或许多我喜欢的)这个redis节点的只读副本 . 使用redis群集时,我将数据拆分为Partitons(Masters)并为每个分区创建一个slave . 是否可以将此群集视为单个实例,并将“Slave”奴隶连接到此群集,该群集将保存群集中所有数据的副本,而不仅仅是连接节点的分区? 如果使用redis群集不可能,那么使用sen...
  • 0 votes
     answers
     views

    InfiniSpan复制超时

    我是InfiniSpan的新手,为这两个节点之间的复制条目构建了一个2节点集群 . 在只有一个节点的开发人员计算机上,它完美,快速且稳定 . 在带有InfiniSpan 9.2.0的CentOS 7上的集群环境中,我使用默认的repl缓存容器来存储我的条目 . 在正常使用轻缓存活动期间,我经常会,但经常 WARN [org.infinispan.server.hotrod.Decoder2x] ...
  • 0 votes
     answers
     views

    HA Tomcat集群:崩溃后的起始节点

    我想在nginx反向代理后面运行一个tomcat(v7)集群 . 在我的testenviroment中,我设置了tomcat集群(2个节点[A / B])与会话复制和nginx作为反向代理(循环) . 当两个节点(A和B)都在运行时,nginx将通过循环中继请求 . 第一个请求=>节点A. 第二个请求=>节点B. 第3次请求=>节点A ...... 一切正常,即使...
  • 0 votes
     answers
     views

    在Infinispan分布式群集中找到密钥

    我有一个带有 numOwners = 2 的3个节点的Infinispan 7.1.1集群 . 我无法在群集中物理定位密钥的位置 . 我在分布式模式下运行infinispan,使用默认缓存, ispn-cli.sh CLI工具进行连接 . User Guide 表示 locate 命令执行此作业,但CLI工具无法识别此命令 . 谁能帮我吗?
  • 0 votes
     answers
     views

    同一台机器上有两个hadoop节点,而另一台机器没有加入集群

    我有一台两台机器的测试集群,两台都安装了hadoop . 我已经配置了hadoop集群但是在管理UI上(如下图所示)我看到两个节点在同一台主机上运行,而另一台机器没有Hadoop节点 . 在主机上运行以下服务: ~$ jps 26310 ResourceManager 27593 Jps 26216 DataNode 26135 NameNode 26557 NodeManager 26701 ...
  • 1 votes
     answers
     views

    在Wildfly 9 AS中实现Infinispan缓存(考虑集群)

    The situation: 我有一个包含数千条记录的清算表 . 它们被分成例如包装盒 . 500条记录 . 然后,每个数据包通过Message Driven Beans发送到AS . AS根据每个记录的内容(例如currency,validStart,validEnd)计算密钥,并且需要将该密钥存储在数据库中(与内容的组合一起) . The request: 为了避免重复,我想要一个集中的“...
  • 0 votes
     answers
     views

    Infinispan JGROUPS强制改变视图

    我正在使用Infinispan 7.2.3与Wildfly 9.x一起工作 . 我正面临强迫jgroups change_view事件的问题,以便在“predestroy”阶段选出一个不同的协调器 . 这段代码: Address localAddr=cacheManager.getAddress(); Address coord=cacheManager.getMembers()....
  • 1 votes
     answers
     views

    如何在Spark Cluster模式下运行此代码

    我想在群集上运行我的代码:我的代码: import java.util.Properties import edu.stanford.nlp.ling.CoreAnnotations._ import edu.stanford.nlp.pipeline._ import org.apache.spark.{SparkConf, SparkContext} import scala.collec...
  • 2 votes
     answers
     views

    异构集群中的Kubernetes cpu请求/限制

    Kubernetes允许为POD指定cpu limit and/or request . CPU资源的限制和请求以cpu为单位进行测量 . Kubernetes中的一个cpu相当于: 1 AWS vCPU 1 GCP Core 1 Azure vCore 1 IBM vCPU 1 Hyperthread on a bare-metal Intel processor with Hyperthre...
  • 3 votes
     answers
     views

    MySQL NDB集群无缘无故

    我有一个mysql ndb集群(详情如下) . 问题是当我做最简单的事情,比如恢复使用mysqldump转储的数据库时,它需要一个绝对的年龄! IE 6小时可以恢复745MB大小的数据库,在大约30个表中有大约270万行,这些都是非常标准的东西 . 我找了瓶颈,没有1个CPU核心超载,也没有磁盘,也没有网络,所以为什么这么慢? 仅供参考,在导入数据库时,网络以大约2Mbit / s的速度使用,而n...
  • 2 votes
     answers
     views

    多租户Job Scheduler

    我想 Build 一个工作计划系统,可以在一个集群上安排工作,这个集群将在几个孤立的租户之间共享 . 每个租户都需要在此共享群集上跟踪他们的工作 . 这样的事情已经存在吗?我真的想知道这种调度系统的功能 . 从节流到安全的东西 . 非常感谢任何领导 .
  • 0 votes
     answers
     views

    单词聚类

    我'm trying to cluster some words (let'采取汽车品牌) . 为了做到这一点,我可以尝试使用Sklearn的Affinity Propagation . 我正在使用距离lib的 levenshtein 或 pyxdameraulevenshtein lib的 damerau_levenshtein_distance . 示例:https://stats.sta...
  • 0 votes
     answers
     views

    docker cluster name中的elasticsearch相同但不是群集

    $ curl localhost:9200 / _cat / health?v epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1469016273 12:04:33 jh-...
  • 0 votes
     answers
     views

    使用Meteor的级联微服务

    我一直在研究扩展Meteor,并通过使用Meteor Cluster package获得了一个想法; 创建一个用户连接的超级服务*,包含每个微服务使用的一般核心包(api,app,salesSite等会使用它的包), 然后,超级服务路由到适当的微服务(例如,应用程序),为其提供其自己的包的功能 . (* - 就像超级和次级,不是很棒......我的意思是......但是......)...
  • 0 votes
     answers
     views

    Nodejs - 群集微服务问题的高流量

    对不起小说...... 我正在开发一个Nodejs项目,我需要在多个文件中解密数百万个信封 . 我的应用程序的任何API都必须在localhost上运行 . 主API处理客户端请求以解密一批文件 . 每个文件包含数千到数百万个需要解密的信封 . 每个文件都被视为一个作业,这些作业由Main API排队,然后通过为每个作业分配一个新进程来同时运行 . (我一次只允许5个并发作业/分支)在每个进程中...
  • 0 votes
     answers
     views

    使用vagrant设置集群

    我想使用Vagrant创建一个包含4个CentOS VM的集群 . 我在Widnows机器上安装了Vagrant和VirtualBox,下载了CentOS 64盒并创建了集群 . Steps : 执行'vagrant box add --name centos65-base' 执行'vagrant init centos65-base' 编辑VagrantFile,如下所示: ...

热门问题