MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI...

52
{ “MongoDB”: “ 初识企业版 ”} 周坚 资深解决方案架构师 [email protected]

Transcript of MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI...

Page 1: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

{ “MongoDB”: “初识企业版” }

周坚资深解决方案架构师[email protected]

Page 2: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

进化

Page 3: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

MongoDB企业版服务器

24�x

�7�支

持 商业

订阅

平台认证

紧急补丁

On‐Demand在线培训

客户成功计划

MongoDB CompassMongoDB Ops Manager

监控报警监控报警 查询优化查询优化

备份与恢复备份与恢复自动化与配置

自动化与配置

模式可视化模式可视化

数据挖掘数据挖掘

Ad‐Hoc 查询Ad‐Hoc 查询

MongoDB Connectorfor BI

可视化可视化

分析分析

报表报表

LDAP & KerberosLDAP & Kerberos 审计审计 FIPS 140‐2FIPS 140‐2加密加密

REST API

开门见山 ‐‐‐ 初识企业版

非开源

Page 4: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

{ “商业智能”: “BI Connector” }

Page 5: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

让数据会说话

Page 6: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

连接

Page 7: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

获取

MongoDB BI 

Connector

Mapping meta‐data Application data

{name:“Andrew”,address: {street:…}}

DocumentTableAnalytics & visualization

Page 8: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

可控

Page 9: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

映射

mongodrdl --host 192.168.1.94 --port 27017 -d clusterdb \-o clusterdb.drdl

mongobischema import daniel clusterdb.drdl

DRDL

mongodrdl mongobischema

PostgreSQL

MongoDB‐specific 

Foreign Data Wrapper

Page 10: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

示例

Page 11: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

示例

Page 12: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

注意点

• HA/DR考虑

• 部分查询效率问题– Group by

– 复杂join

• 双引号

• Schema同步

Page 13: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

MongoDB BI连接器 ‐‐‐ 沟通的桥梁

基于SQL的BI工具让多维度文档更易被分析

及可视化

• 可视化

– 为BI工具提供希望可视化MongoDB集合的模式

• 转换器

– 将BI 工具生成的SQL语句翻译为等同的

MongoDB查询,之后发送给MongoDB处理

– 将返回的结果转化为商务智能工具需要的表

格格式,基于用户需求对数据进行可视化

Page 14: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

{ “模式可视化”: “MongoDB Compass” }

Page 15: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

白盒 vs 黑盒开发人员

数据库管理员/架构师

模式自由/富文档

Page 16: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

探头

• 必备能力:– 组织中不同的角色都能够方便的了

解数据与结构

– 改善在mongo shell中写查询语句

• Compass:– 模式发现

– 数据探索

– 查询可视化及构建

Page 17: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

模式发现字段的数据类型

不同数据类型的分布

稀疏字段

有一个混合有字符串和数字的字段,也许在应用的某个地方隐藏着bug,正在使用错误的数据类型存储数据

Page 18: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

数据探索年龄分布直方图

鼠标点击可获得精确值

名字随机展示

<=3.1.6MongoDB find(… id)  limit (10000)  sortCompass (100)

>3.1..7$sample (100)

Page 19: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

可视化构建

点击“JFK”块自动构建查询语句

Page 20: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

可视化构建(续)

加入flightId

Page 21: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

可视化构建(续)

天然 JSON

Page 22: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

MongoDB Compass

来自数据库开发团队

点击即生成

快速可视化

漂亮的界面

Page 23: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

{ “管理进阶”: “Ops Manager” }

Page 24: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

MongoDB ‐‐‐ 开发者的天堂

Page 25: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

运维与开发 ‐‐‐ 两个世界

影响力

Page 26: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

运维三要素

Page 27: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

这不该是常态

Page 28: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

更直观的交互

Page 29: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

性能面面观

快速深入了解数据库性能

• 平台相关的指标– 100多个MongoDB指标

• 不同级别的查看– 宏观视图(集群、复制集)

– 单一节点视图

– 数据库相关视图

• 不同的颗粒度

• 示例– OpCounters

– 缓存利用率

– 队列

– CPU时间

– Oplog GB/小时

Page 30: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

优化的代价• 启用profiler�(0,�1,�2)

– db.setProfilingLevel ( 1, 

4 )

• system.profile– $query

– Db.system.profile.find ( {ns: 

/ daniel.dbtest/ } ).sort 

( { ts : 1} ) .pretty( )

Page 31: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

优化新手段 ‐‐‐可视化

Page 32: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

优化新手段 ‐‐‐索引建议

Page 33: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

优化新手段 ‐‐‐滚动索引建立

Page 34: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

升级

部署

维护

• 安装 + 配置:– 150+ 步骤

– 异常处理、瓶颈、报警 …

• 升级、降级:– 100+ 步骤

– 异常处理、瓶颈 …

• 扩展、服务器移动、oplog调整:– 10 ‐ 180+ 步骤

自动化 ‐‐‐ 数据库管理的基础

Page 35: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

在线变更

融入最佳实践

• 环境修改– 分片环境

– 复制集

• 示例操作:– 版本升降级

– 修改Oplog大小

– 变更启动参数

– 索引建立

– 变更端口(存储引擎)

– 启用Profiler

– 调优存储引擎参数

– 日志等级调整Change Log 

Verbosity

– 改变成员优先级、复制延迟、选举

Page 36: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

自动化 ‐‐‐ 部署/升级

集群部署复制集部署

单机部署 自动升级

自动化

Page 37: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

自动化 ‐‐‐ 配置参数维护与配置 用户角色管理

授权

自动化

Page 38: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

• 自定义脚本

• Mongodump

• 文件系统快照

现有备份手段

Page 39: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

备份配置备份

Page 40: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

备份/恢复界面备份

Page 41: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

数据中心运维最佳助手 ‐‐‐ Ops Manager

• 一个单击可以完成部署、扩展、升级及更多的管理员任务

• 图形化监控面板,支持100多关键指标

• 快速任意点备份及恢复,并支持分片集群

减少95%的运维操作

Page 42: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

简单扩展SLA

自动化+最佳实践 最小化管理开销

Ops Manager完全掌控

Page 43: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

{ “安全提升”: “内置加密” }

Page 44: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

加密 (at Rest)• 数据�(at�Rest)�定义:

– 持久化存储(磁盘、磁带)

• 加密�(at�Rest)– 硬件层

– 文件系统层

– 数据库层

– 应用层

• 加密�(in�Flight)– TLS/SSl

• 存储合规及敏感数据– 合规政策:PCI, HIPPA, FERPA

– 需要PII被保护

• at Rest, in flight, 访问控制

• 内控,保护私有数据

Page 45: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

MongoDB加密机制• WireTiger

• 基于OpenSSL库

• 支持模式– AES256-CBC

– AES256-GCM

– 通过OpenSSL FIP模式兼容FIPS 140-2

• 通过AES-NI允许硬件加速

• 页面级(4k)加密– 不会因为少量变更而重新加密

• 文件写入文件系统时加密– 数据文件、Journal、回滚文件

– 日志不加密

– 内存中不加密

Page 46: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

密钥管理

• MongoDB为每个数据库产生一

个密钥– 每个数据库用自己的密钥加密

– 目前不支持解密数据库/集合

• 数据库密钥存储在内部密钥库– 用户不能访问

• 密钥库被外部主密钥加密– 操作系统机制来保证密钥不会被交换

或是以未加密形态写到磁盘上

– 主密钥永远不会写到磁盘上

• 必须外部管理

• 本地密钥文件– 用户生成64位密钥

– 存储于本地文件系统,用户自行管理

– 不建议生产环境使用

• KMIP服务器(密钥管理设备)– 设备必须支持KMIP通讯协议

– MongoDB需要能访问CA和客户端证书

文件

– 合规级别取决于使用的设备

– 推荐方式来保护私有数据

内部密钥

主密钥

Page 47: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

密钥Rotation

• 重新加密所有数据– 在复制集每个节点上Rolling initial sync

• 重新加密内部密钥(仅限于KMIP)– 重启服务器 –kmipRotateMasterKey

– 内部密钥未发生变化,但是被重新加密

– 滚动方式

– 合规

Page 48: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

选择?

• 何时使用内置加密机制?– 敏感数据均存放于MongoDB中

– 软件层简化,最小化技术面数量

– 已认证的KMIP设备

• Safenet KeySecure

• Vormetric DSM

• 何时运用文件系统解决方案?– 多种技术并存(标准化加密平台)

– 特殊用户保护 (root)

– 认证文件系统解决方案合作伙伴

• Safenet

• Vormetric

• Server General

Page 49: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

小结

Page 50: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

功能特性 MongoDB 社区版 MongoDB 企业订阅Automated Deploy, Configuration,Maintenance, Zero Downtime Upgrades Cloud Manager Premium or Ops Manager

Backup and Point‐In‐Time Recovery Cloud Manager Premium* or Ops Manager

Monitoring and Alerting Cloud Manager Premium or Ops ManagerVisual Query Profiler and Automated Index Rollouts Cloud Manager Premium or Ops Manager

Encrypted & In‐Memory Storage Engines  ✔

MongoDB Compass ✔

MongoDB Connector for BI ✔

Security: Role‐Based Access Control, PKI Certificates, SSL, Field‐Level Redaction ✔ ✔

Advanced Security: LDAP Authentication, Kerberos Authentication, x.509 Certificates, Auditing

Platform Certification ✔

On‐Demand Training ✔

Support SLA 1 hr

License Type AGPL Commercial

参考内容 ‐‐‐ 功能

Page 51: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

安全特性 MongoDB 社区版 MongoDB 企业订阅

Role‐Based Access Controls ✔ ✔

PKI Certificates ✔ ✔

Field‐Level Redaction ✔ ✔

SSL / TLS Encryption ✔ ✔

FIPS‐Compliant SSL ✔

Encryption‐At‐Rest  ✔

x.509 Support ✔

Kerberos Authentication  ✔

LDAP Authentication  ✔

Red Hat Identity Management Certification 

Auditing  ✔

Proactive Systems Monitoring Cloud Manager or Ops Manager

Point‐In‐Time Backups Cloud Manager or Ops Manager

参考内容 ‐‐‐ 安全

Page 52: MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI 可视化 分析 报表 加密 LDAP & Kerberos 审计 FIPS 140‐2 REST API 开门见山‐‐‐初识企业版

请回复问卷!随机抽取2人,邮寄礼品