2015-06-17 15:40
⁄ 工业·编程
⁄ 共 654字
云计算目前没有公认的定义,而NIST(美国国家标准与技术研究院)对云计算下的定义相对能得到广泛认可,NIST是这么定义云计算的。
云计算是一种按使用量进行付费的模式,这种模式提供可用的、便捷的、按需的网络访问,使用可配置的计算资源共享池,共享池的资源包括网络、服务器、存储、应用软件、服务等,这些资源能够通过云计算平台快速提供给客户,只需投入很少的管理工作,或与服务供应商进行很少的交互。
云计算是分布式计算...
Hadoop, 云计算阅读全文
2015-06-16 13:45
⁄ 工业·编程
⁄ 共 530字
趋势1:响应式设计
响应式Web设计是今年国外最流行的词语之一。
根源在于智能设备的发展及普及,平板电脑的销量逐步超越了传统PC,做ARM芯片的高通公司在市值上首次超越了做PC芯片的Intel。而在两年前,高通的市值仅仅是Intel的1/3。
响应式设计,是指XHTML/HTML5、CSS和JavaScript技术的组合。使用这三种技术,检测用户的屏幕尺寸,自动调整网站的布局以适应用户的屏幕尺寸。这样,不管用户是使用智能手机浏览网站,还是使用Re...
web开发阅读全文
2015-06-15 18:39
⁄ 工业·编程
⁄ 共 359字
新技术如社交媒体、电邮、博客、地理信息系统GIS、无线射频识别RFID和智能手机等为基于服务信息构建提供了新的机会。
处理大数据常见的方法和框架是Apache Hadoop,它以批处理的方式运行数据处理任务。现在,如果需要实时处理数据和实时显示数据,那这种基于批处理的方式并不是很适合。 STORM是一个开源框架,来自Twitter公司,其目标是大数据流的实时处理。STORM可以可靠地处理无限的数据流,实时处理Hadoop的批任务。STORM...
Hadoop, 大数据阅读全文
2015-06-14 21:38
⁄ 工业·编程
⁄ 共 430字
麦肯锡认为,大数据团队必须有五种职位:
1)数据卫生员(Data Hygienists) - 这些人,确保数据总是干净的、准确的。
2)数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。
3)企业解决方案架构师(Business Solution Architects) - 这些人把收集的数据组织在一起,以便用于分析,他们负责设计数据的结构,以确保数据可以有效地供所有用户检索,有些数据的访问需要数分钟、甚至数小时,例如,需要每分钟或...
大数据, 软件团队阅读全文
2015-06-13 21:33
⁄ 工业·编程
⁄ 共 1971字
有人问我,“你在大数据和Hadoop方面有多少经验?”我告诉他们,我一直在使用Hadoop,但是我处理的数据集很少有大于几个TB的。
他们又问我,“你能使用Hadoop做简单的分组和统计吗?”我说当然可以,我只是告诉他们我需要看一些文件格式的例子。
他们递给我一个包含600MB数据的闪盘,看起来这些数据并非样本数据,由于一些我不能理解的原因,当我的解决方案涉及到pandas.read_csv文件,而不是Hadoop,他们很不愉快。
Hadoop实际上是...
Hadoop, 大数据阅读全文
2015-06-12 21:27
⁄ 工业·编程
⁄ 共 731字
Python是一种功能强大、语言简洁的编程语言。本文向大家推荐8个适合Python开发的IDE。
1. Eclipse with PyDev
Eclipse+PyDev插件,很适合开发Python Web应用,其特征包括自动代码完成、语法高亮、代码分析、调试器、以及内置的交互浏览器。
2. Komodo Edit
Komodo Edit是一个免费的、开源的、专业的Python IDE,其特征是非菜单的操作方式,开发高效。
3. Vim
Vim是一个简洁、高效的工具,也适合做Python开发。
4. Sublime Te...
Python阅读全文
2015-06-11 21:17
⁄ 工业·编程
⁄ 共 237字
SQLite不仅可以把数据库 放在硬盘上,还可以放在内存中(sqlite3_open(":memory:", &db)),经测试,同样条件下数据库放在内存中比放在硬盘上插入记录速度快差不多3倍。但数据库放在内存中时有如下缺陷:
1、断电或程序崩溃后数据库就会消失,你需要定期Attach到硬盘上备份;
2、在内存中的数据库不能被别的进程访问(因为没名字,以后可能支持),即使在多线程下,也得使用同一句柄;
3、不支持像在硬盘上的读写互...
SQLite3, 内存数据库阅读全文
2015-06-10 21:12
⁄ 工业·编程
⁄ 共 1649字
名称
开源或商业
主要特点
Oracle TimesTen
不开源,商业使用付费
1. 符合RDBMS标准的独立内存数据库服务。
2.支持SQL访问,支持ODBC&JDBC。
3.本身不支持与非Oracle数据库的互操作。
4.高可靠性,支持完整日志,支持镜像复制功能。
5.目前不支持存储过程和触发器。
6.内存结构简单,并没有数据库缓冲区、保存池或丢弃池的概念。
7.目前支持散列索引和T树索引,前者仅支持余键-值...
内存数据库, 比较阅读全文
2015-06-09 21:11
⁄ 工业·编程
⁄ 共 1399字
最近要将一些数据放到内存里面做很高的并发操作,考虑了很多方案,
1、 简单点使用map hash_map等自己管理。
2、 用sqlite内存表。
3、 用fastdb内存数据库。
4、 用ExtremeDb,TimesTen等。
比较测试了一下123,发现还是自己实现速度最快,比fastdb模式快3-5倍,fastdb模式比sqlite内存表模式快10倍左右,由于自己实现不具有典型通用性,多线程下访问效率会下降,要管理多线程下各种更新查找等还是比较麻烦的,所以在1和3方案...
内存数据库, 数据库阅读全文
2015-06-08 21:07
⁄ 工业·编程
⁄ 共 4279字
对于每一个关注用户体验的Web应用或移动应用而言,NoSQL内存数据库(例如开源的 Redis和Memcached)正逐步成为事实上的标准。但是,近几年来,大型企业在采用这些数据库方面还面临着诸多挑战,主要是由于性能、可扩展性和可用性方面的问题。
非常幸运的是,现代编程语言(例如Ruby、Node.js、Python等)和开发平台(例如Rails、Sinatra、Django等)已经内置了很多工具和开发库。这些工具和开发库能够有效利用内存数据库的高性能...
NoSQL, 内存数据库, 数据库阅读全文