求索阁

新技术如社交媒体、电邮、博客、地理信息系统GIS、无线射频识别RFID和智能手机等为基于服务信息构建提供了新的机会。 处理大数据常见的方法和框架是Apache Hadoop，它以批处理的方式运行数据处理任务。现在，如果需要实时处理数据和实时显示数据，那这种基于批处理的方式并不是很适合。 STORM是一个开源框架，来自Twitter公司，其目标是大数据流的实时处理。STORM可以可靠地处理无限的数据流，实时处理Hadoop的批任务。STORM...

麦肯锡认为，大数据团队必须有五种职位： 1）数据卫生员(Data Hygienists) - 这些人，确保数据总是干净的、准确的。 2）数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。 3）企业解决方案架构师(Business Solution Architects) - 这些人把收集的数据组织在一起，以便用于分析，他们负责设计数据的结构，以确保数据可以有效地供所有用户检索，有些数据的访问需要数分钟、甚至数小时，例如，需要每分钟或...

有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。 他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。 他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一些我不能理解的原因，当我的解决方案涉及到pandas.read_csv文件，而不是Hadoop，他们很不愉快。 Hadoop实际上是...

Python是一种功能强大、语言简洁的编程语言。本文向大家推荐8个适合Python开发的IDE。 1. Eclipse with PyDev Eclipse+PyDev插件，很适合开发Python Web应用，其特征包括自动代码完成、语法高亮、代码分析、调试器、以及内置的交互浏览器。 2. Komodo Edit Komodo Edit是一个免费的、开源的、专业的Python IDE，其特征是非菜单的操作方式，开发高效。 3. Vim Vim是一个简洁、高效的工具，也适合做Python开发。 4. Sublime Te...

SQLite不仅可以把数据库 放在硬盘上，还可以放在内存中（sqlite3_open(":memory:", &db)），经测试，同样条件下数据库放在内存中比放在硬盘上插入记录速度快差不多3倍。但数据库放在内存中时有如下缺陷： 1、断电或程序崩溃后数据库就会消失，你需要定期Attach到硬盘上备份； 2、在内存中的数据库不能被别的进程访问(因为没名字，以后可能支持)，即使在多线程下，也得使用同一句柄； 3、不支持像在硬盘上的读写互...

紧扣智能交通业务发展，大华率先推出业内领先的交通联网信息发布平台!主要应用于城市诱导信息发布、高速等道路诱导信息发布，是智能交通行业的新兴产品。 一、针对高速高架的道路应用，大华为你解决以下典型需求 卡口违章联动：制作卡口违章联动信息模板，关联卡口设备，将卡口抓拍的违章信息，实时发布前方诱导屏。 区间测速联动：制作区间超速联动信息模板，关联卡口区间，将区间超速信息，实时发布到前方诱导屏。 交通事件联...

名称 开源或商业 主要特点 Oracle TimesTen 不开源，商业使用付费 1. 符合RDBMS标准的独立内存数据库服务。 2.支持SQL访问，支持ODBC&JDBC。 3.本身不支持与非Oracle数据库的互操作。 4.高可靠性，支持完整日志，支持镜像复制功能。 5.目前不支持存储过程和触发器。 6.内存结构简单，并没有数据库缓冲区、保存池或丢弃池的概念。 7.目前支持散列索引和T树索引，前者仅支持余键-值...

最近要将一些数据放到内存里面做很高的并发操作，考虑了很多方案， 1、 简单点使用map hash_map等自己管理。 2、 用sqlite内存表。 3、 用fastdb内存数据库。 4、 用ExtremeDb，TimesTen等。 比较测试了一下123，发现还是自己实现速度最快，比fastdb模式快3-5倍，fastdb模式比sqlite内存表模式快10倍左右，由于自己实现不具有典型通用性，多线程下访问效率会下降，要管理多线程下各种更新查找等还是比较麻烦的，所以在1和3方案...

对于每一个关注用户体验的Web应用或移动应用而言，NoSQL内存数据库（例如开源的 Redis和Memcached）正逐步成为事实上的标准。但是，近几年来，大型企业在采用这些数据库方面还面临着诸多挑战，主要是由于性能、可扩展性和可用性方面的问题。 非常幸运的是，现代编程语言（例如Ruby、Node.js、Python等）和开发平台（例如Rails、Sinatra、Django等）已经内置了很多工具和开发库。这些工具和开发库能够有效利用内存数据库的高性能...

安防行业作为电子信息制造业的一部分，其产品技术更新换代快，上市企业在其风险中均提出安防视频监控行业是典型的技术密集型行业，行业更新换代极为迅速。安防上市公司是业界公司的代表，他们的年报展望成为行业产品技术发展的风向标。本文将结合2014年相关企业年报中针对技术研发方面的论述，展望2015年安防产品技术发展。 1、IPC 近年来，IPC+NVR的应用在逐年增加并且增长速度越来越快，这也显示出市场对IPC和NVR的需求较大。...