现在位置: 首页 > 分布式
Zookeeper的基本概念分为以下几个: 集群角色、会话、数据节点、版本、watcher、ACL权限控制。 1.集群角色 在Zookeeper搭建的集群环境中,集群的角色分为Leader、Follower、Observer。 其中Leader服务器是整个Zookeeper集群工作机制中的核心,Follower服务器是Zookeeper集群状态的跟随者,Observer服务器充当一个观察者的角色。 我们这里了解以上几个角色即可,在后面的总结中,我们将深入探讨这些角色在实际中的运用。 2.会话 ...
阅读全文
2016-06-28 18:10 工业·编程 ⁄ 共 2021字 暂无评论
1.背景 随着互联网技术的高速发展,企业对计算机系统的计算,存储能力要求越来越高,最简单的证明就是出现了一些诸如:高并发,海量存储这样的词汇。在这样的背景下,单纯依靠少量高性能主机来完成计算任务已经不能满足企业的需求,企业的IT架构逐步从集中式向分布式过渡,所谓的分布式是指:把一个计算任务分解成若干个计算单元,并且分派到若干计算机中去执行,最后汇总结算结果的过程。 分布式系统需要解决的核心任务就是,...
阅读全文
为解决对跨楼层、跨区域、跨省市显示设备及内容的统一控制和管理问题,大华推出新一代分布式显控解决方案,所有设备之间通过网络连接,在网络带宽允许条件下,可任意增加相应模块设备来扩展系统接入能力和电视墙。 大华分布式显控解决方案采用全新的分布式架构体系,由多种设备组合完成前端音视频采集、编码、流媒体转发、解码、大屏的拼接、漫游等功能。主要设备有分布式主控服务器、编码盒(支持BNC/DVI/HDMI/SDI/VGA输入)、解...
阅读全文
关于Kris Beevers Kris Beevers一直以来都在进行全球级的分布式大规模应用程序的设计工作。当年,他曾经逃课一年来为一个文件共享的初创项目来设计后端框架。而且,项目用户很快增加到了数百万。然而,RIAA律师的出现,导致了项目流产。Kris也不得不回学校继续学习。但是,通过这件事,Kris开始在扩展系统方面积累了一定的经验。 之后,Kris又曾在一家被Internap在2011年收购的互联网框架提供商——Voxel公司工作。当时,他负责...
阅读全文
Tachyon是一个以内存为核心的开源分布式存储系统,也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架(如Apache Spark,Hadoop MapReduce, Apache Flink等)提供可靠的内存级的数据共享服务。此外,Tachyon还能够整合众多现有的存储系统(如Amazon S3, Apache HDFS, RedHat GlusterFS, OpenStack Swift等),为用户提供统一的、易用的、高效的数据访问平台。本文首先向读者介绍Tachyon项目的诞生背景和目...
阅读全文
2015-11-16 04:55 工业·编程 ⁄ 共 3575字 暂无评论
分布式系统并不是什么新鲜词,在上个世纪七八十年代就已经有各种分布式系统出现。只是在互联网时代,分布式系统才大放异彩,尤其是Google更是把分布式系统运用到了极致。Google整个的软件构架都是基于各种各样的分布式系统,诸如Borg、MapReduce、BigTable等。正是这些分布式系统,使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Mesos等分布式系统,把大数据处理相关技术变得非常亲民,让更...
阅读全文
赵海平在Facebook工作8年期间,主要针对后端进行性能优化的工作,包括PHP的优化,memcache的优化,等等后端组件。偶然有机会跟阿里的朋友沟通他们遇到的问题,聊得比较深入,就发现虽然阿里是用Java的,但在大的系统优化方面遇到的问题,跟Facebook是很类似的,因此回国加入阿里,希望帮助阿里把整个系统优化得更好。计划第一步是先做整体的profiling系统,以找到性能的局部优化点;之后再进行一些大的架构优化,以及深入到JVM...
阅读全文
张亮,当当网架构师,当当技术委员会成员。对架构设计、消息中间件、分布式等领域兴趣浓厚。 目前主导当当应用框架ddframe研发和推广以及技术白皮书撰写。其中ddframe的分布式作业部分elastic-job已经正式开源。 作业的必要性以及存在的问题 1. 为什么需要作业? 作业即定时任务。一般来说,系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景,如队列表。将待处理的数据放入队列表,然后使用频率...
阅读全文