理解大数据实践大数据-公开版

理解大数据，实践大数据 施水才 北京拓尔思信息技术股份有限公司 2012年5月31日 内容 ? 对大数据的理解 ? 拓尔思大数据产品布局和应用实践 反对派认为，我们现在处在 一个盲目的大数据崇拜时代 大数据产生的背景 ? 数据的爆发式增长和 社会化趋势，新摩尔 定律 ? 大数据已经成为一种 自然资源 ? 机器数据日益重要 ? 大数据不被利用就是 成本 大数据产生的背景 ? 现有的商业软件难 以处理大数据的规 模和复杂性 ? 获取(capture) ?存贮(storage) ?搜索(search) ?分享(sharing) ?分析(analysis) ?可视化(visualization) 奥巴马大数据战略 ? 2012年3月29日，白 宫发布美国政府的大 数据计划 ? 通过提高从大型复杂 的数字数据集中提取 知识和观点的能力， 承诺帮助加快在科学 与工程中的步伐，加 强国家安全，并改变 教学研究 大数据的4V特性 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能 (咨询、报告等） 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 对大数据的理解 1. 大数据比云计算更为落地 2. 大数据不仅仅是“大” 3. 软件是大数据的引擎 4. 大数据的应用不仅仅是精准营销 5. 管理大数据“易”，理解大数据“难” 1、大数据比云计算更为落地 商业模式驱动 应用需求驱动 云计算本身也是大数据的一种业务模式 2、大数据不仅仅是“大” 多大？ PB 级 比大更重要的是 数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠 覆性的价值 3、软件是大数据的引擎 ? 和数据中心（Data Center）一样，软 件是大数据的驱动 力，软件改变世界 大数据生态：软件是引擎 4、大数据的应用不仅仅是精准营销 ? 通过用户行为分析实现精准营销是大数据的典型 应用，但是大数据在各行各业特别是公共服务领 域具有广阔的应用前景 消费 行业 金融 服务 食品 安全 医疗 卫生 军事 交通 环保 电子 商务 气象 5、管理大数据“易”理解大数据“难” ? 虽然大数据是一个重大问题，真正 的问题是让大数据更有意义 ? 目前大数据管理多从架构和并行等 方面考虑，解决高并发数据存取的 性能要求及数据存储的横向扩展， 但对非结构化数据的内容理解仍缺 乏实质性的突破和进展，这是实现 大数据资源化、知识化、普适化的 核心 ? 非结构化海量信息的智能化处理： 自然语言理解、多媒体内容理解、 机器学习等 拓尔思大数据产品布局 TRS机器数据 挖掘引擎 TRS SMAS 舆情云服务 TRS 大数据管理系统V7.0 TRS 大数据管理系统发展历程 TRS 全文 数据库 TRS 非结构化 数据库 TRS 大数据 管理系统 TRS 大数据管理系统V7.0 TRS 大数据管理系统V7.0 ? 分布式并行计算、多副本机制、没有单点的高可靠体 系架构，兼容Hadoop标准 ? 支持结构化、半结构化、非结构化数据的管理和搜索 ? 支持实时及用户行为数据的高效管理和分析 ? 支持PB级的海量数据管理 ? 支持海量用户的高并发访问（千万级用户、万级并发） ? 充分释放硬件的潜力（多核、大内存等） ? 大规模部署的自动化和运行状态监控 ? 创新的多检索引擎机制，提供开放的二次开发接口 数据备份 大数据管理系统 数据存储 开发接口 基于Hadoop的数据分析 CKM文本 挖掘与数 据挖掘 关联规则 与序列模 式挖掘 推荐引 擎的离 线分析 MapReduce 数据库监控 机器数据搜索引擎 用户行为挖掘与推荐引擎 基于时间分段的大数 据检索与索引接口 搜 索 引 擎 日志采集监控 数据存储层 数据分析层 日志发送节点 Angent 1 Angent 2 Angent 3 …… Angent n 日志接收集群 Collector 1 Collector 2 Collector 3 …… Collector n Master管理集群 Master 1 Master 2 Master n 日志采集 TRS 机器数据挖掘引擎 TRS 机器数据挖掘引擎特点 ? 支持主流格式机器数据的实时采集、解析、管理 和搜索。 ? 基于时间分段和负载均衡的大数据索引与检索机 制。 ? 基于Web的机器数据搜索与分析界面。 ? 兼容Hadoop平台的日志挖掘和用户行为分析。 ? 基于多种推荐模型的在线推荐引擎 ? 大规模部署的自动化和运行状态监控 TRS SMAS功能框架图 舆 情 管 理 服 务 共 享 信 息 挖 掘 信 息 来 源 新闻 论坛 博客 搜索 引擎 微博 wiki 自动排重、自动分类、自动摘要、自动分析 舆情分类 热点跟踪 热点统计 微博分析 人物分析 微博运营 趋势分析 整合统计 关联图谱 动态走势 兴趣图谱 未知探索 热点变化 意见领袖 传播图谱 关系分类 个性展示 敏感预警 自由分布 数图导出 图表切换 多维检索 探针追踪 元搜索 外网 微博