大数据关键技术:
数据采集
数据存储与管理
数据处理与分析
数据隐私与安全
两大核心技术:分布式存储,分布式处理
分布式存储:Google技术为代表
计算模式:批处理(MapReduce,2015年spark),流计算(实时,日志流,用户点击流),图计算(社交网络数据,地理信息系统,pregel,powergraph,Hama),查询分析计算(交互式处理,Google Dremel,Hive,Cassandra)
大数据与云计算、物联网
云计算:通过网络以服务的方式为用户提供廉价的IT资源(无需自建,租用云资源)
典型特征:虚拟化和多租户
公有化:面向公众提供服务
私有云:企业内部用
混合云:部分给自己,部分给客户
IaaS:基础设施即服务,将基础设施(计算资源和存储)作为服务出租,面向网络架构师
PaaS:平台即服务,面向应用开发者
SaaS:软件即服务,把软件作为服务卖给用户
VPN:虚拟专用网,
云计算数据中心(云计算的温床),投资30-50亿,地质稳定,电力资源丰富,凉爽,耗电(55%空调照明,45%IT设备)
物联网: The Internet of Things IoT 物和人都连接起来
感知层:传感器、摄像头
网络层:电信网、互联网、广电网、电网、专用网
处理层:
应用层:掌上公交(人和车)
关键技术:识别技术(条形码;二维码:颜色填充0,无颜色填充1,周围三块定位;)、感知技术(RFID:电磁感应,线圈充电)
云大物的关系:大数据(数据本身、数据处理技术:如何存储,如何处理)
相关标签: