MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI...
Transcript of MongoDB”: “初识企业版” } - MongoDB中文社区 11-kno… · MongoDB Connector for BI...
{ “MongoDB”: “初识企业版” }
周坚资深解决方案架构师[email protected]
进化
MongoDB企业版服务器
24�x
�7�支
持 商业
订阅
平台认证
紧急补丁
On‐Demand在线培训
客户成功计划
MongoDB CompassMongoDB Ops Manager
监控报警监控报警 查询优化查询优化
备份与恢复备份与恢复自动化与配置
自动化与配置
模式可视化模式可视化
数据挖掘数据挖掘
Ad‐Hoc 查询Ad‐Hoc 查询
MongoDB Connectorfor BI
可视化可视化
分析分析
报表报表
LDAP & KerberosLDAP & Kerberos 审计审计 FIPS 140‐2FIPS 140‐2加密加密
REST API
开门见山 ‐‐‐ 初识企业版
非开源
{ “商业智能”: “BI Connector” }
让数据会说话
连接
获取
MongoDB BI
Connector
Mapping meta‐data Application data
{name:“Andrew”,address: {street:…}}
DocumentTableAnalytics & visualization
可控
映射
mongodrdl --host 192.168.1.94 --port 27017 -d clusterdb \-o clusterdb.drdl
mongobischema import daniel clusterdb.drdl
DRDL
mongodrdl mongobischema
PostgreSQL
MongoDB‐specific
Foreign Data Wrapper
示例
示例
注意点
• HA/DR考虑
• 部分查询效率问题– Group by
– 复杂join
• 双引号
• Schema同步
MongoDB BI连接器 ‐‐‐ 沟通的桥梁
基于SQL的BI工具让多维度文档更易被分析
及可视化
• 可视化
– 为BI工具提供希望可视化MongoDB集合的模式
• 转换器
– 将BI 工具生成的SQL语句翻译为等同的
MongoDB查询,之后发送给MongoDB处理
– 将返回的结果转化为商务智能工具需要的表
格格式,基于用户需求对数据进行可视化
{ “模式可视化”: “MongoDB Compass” }
白盒 vs 黑盒开发人员
数据库管理员/架构师
模式自由/富文档
探头
• 必备能力:– 组织中不同的角色都能够方便的了
解数据与结构
– 改善在mongo shell中写查询语句
• Compass:– 模式发现
– 数据探索
– 查询可视化及构建
模式发现字段的数据类型
不同数据类型的分布
稀疏字段
有一个混合有字符串和数字的字段,也许在应用的某个地方隐藏着bug,正在使用错误的数据类型存储数据
数据探索年龄分布直方图
鼠标点击可获得精确值
名字随机展示
<=3.1.6MongoDB find(… id) limit (10000) sortCompass (100)
>3.1..7$sample (100)
可视化构建
点击“JFK”块自动构建查询语句
可视化构建(续)
加入flightId
可视化构建(续)
天然 JSON
MongoDB Compass
来自数据库开发团队
点击即生成
快速可视化
漂亮的界面
{ “管理进阶”: “Ops Manager” }
MongoDB ‐‐‐ 开发者的天堂
运维与开发 ‐‐‐ 两个世界
影响力
运维三要素
这不该是常态
更直观的交互
性能面面观
快速深入了解数据库性能
• 平台相关的指标– 100多个MongoDB指标
• 不同级别的查看– 宏观视图(集群、复制集)
– 单一节点视图
– 数据库相关视图
• 不同的颗粒度
• 示例– OpCounters
– 缓存利用率
– 队列
– CPU时间
– Oplog GB/小时
优化的代价• 启用profiler�(0,�1,�2)
– db.setProfilingLevel ( 1,
4 )
• system.profile– $query
– Db.system.profile.find ( {ns:
/ daniel.dbtest/ } ).sort
( { ts : 1} ) .pretty( )
优化新手段 ‐‐‐可视化
优化新手段 ‐‐‐索引建议
优化新手段 ‐‐‐滚动索引建立
升级
部署
维护
• 安装 + 配置:– 150+ 步骤
– 异常处理、瓶颈、报警 …
• 升级、降级:– 100+ 步骤
– 异常处理、瓶颈 …
• 扩展、服务器移动、oplog调整:– 10 ‐ 180+ 步骤
自动化 ‐‐‐ 数据库管理的基础
在线变更
融入最佳实践
• 环境修改– 分片环境
– 复制集
• 示例操作:– 版本升降级
– 修改Oplog大小
– 变更启动参数
– 索引建立
– 变更端口(存储引擎)
– 启用Profiler
– 调优存储引擎参数
– 日志等级调整Change Log
Verbosity
– 改变成员优先级、复制延迟、选举
自动化 ‐‐‐ 部署/升级
集群部署复制集部署
单机部署 自动升级
自动化
自动化 ‐‐‐ 配置参数维护与配置 用户角色管理
授权
自动化
• 自定义脚本
• Mongodump
• 文件系统快照
现有备份手段
备份配置备份
备份/恢复界面备份
数据中心运维最佳助手 ‐‐‐ Ops Manager
• 一个单击可以完成部署、扩展、升级及更多的管理员任务
• 图形化监控面板,支持100多关键指标
• 快速任意点备份及恢复,并支持分片集群
减少95%的运维操作
简单扩展SLA
自动化+最佳实践 最小化管理开销
Ops Manager完全掌控
{ “安全提升”: “内置加密” }
加密 (at Rest)• 数据�(at�Rest)�定义:
– 持久化存储(磁盘、磁带)
• 加密�(at�Rest)– 硬件层
– 文件系统层
– 数据库层
– 应用层
• 加密�(in�Flight)– TLS/SSl
• 存储合规及敏感数据– 合规政策:PCI, HIPPA, FERPA
– 需要PII被保护
• at Rest, in flight, 访问控制
• 内控,保护私有数据
MongoDB加密机制• WireTiger
• 基于OpenSSL库
• 支持模式– AES256-CBC
– AES256-GCM
– 通过OpenSSL FIP模式兼容FIPS 140-2
• 通过AES-NI允许硬件加速
• 页面级(4k)加密– 不会因为少量变更而重新加密
• 文件写入文件系统时加密– 数据文件、Journal、回滚文件
– 日志不加密
– 内存中不加密
密钥管理
• MongoDB为每个数据库产生一
个密钥– 每个数据库用自己的密钥加密
– 目前不支持解密数据库/集合
• 数据库密钥存储在内部密钥库– 用户不能访问
• 密钥库被外部主密钥加密– 操作系统机制来保证密钥不会被交换
或是以未加密形态写到磁盘上
– 主密钥永远不会写到磁盘上
• 必须外部管理
• 本地密钥文件– 用户生成64位密钥
– 存储于本地文件系统,用户自行管理
– 不建议生产环境使用
• KMIP服务器(密钥管理设备)– 设备必须支持KMIP通讯协议
– MongoDB需要能访问CA和客户端证书
文件
– 合规级别取决于使用的设备
– 推荐方式来保护私有数据
内部密钥
主密钥
密钥Rotation
• 重新加密所有数据– 在复制集每个节点上Rolling initial sync
• 重新加密内部密钥(仅限于KMIP)– 重启服务器 –kmipRotateMasterKey
– 内部密钥未发生变化,但是被重新加密
– 滚动方式
– 合规
选择?
• 何时使用内置加密机制?– 敏感数据均存放于MongoDB中
– 软件层简化,最小化技术面数量
– 已认证的KMIP设备
• Safenet KeySecure
• Vormetric DSM
• 何时运用文件系统解决方案?– 多种技术并存(标准化加密平台)
– 特殊用户保护 (root)
– 认证文件系统解决方案合作伙伴
• Safenet
• Vormetric
• Server General
小结
功能特性 MongoDB 社区版 MongoDB 企业订阅Automated Deploy, Configuration,Maintenance, Zero Downtime Upgrades Cloud Manager Premium or Ops Manager
Backup and Point‐In‐Time Recovery Cloud Manager Premium* or Ops Manager
Monitoring and Alerting Cloud Manager Premium or Ops ManagerVisual Query Profiler and Automated Index Rollouts Cloud Manager Premium or Ops Manager
Encrypted & In‐Memory Storage Engines ✔
MongoDB Compass ✔
MongoDB Connector for BI ✔
Security: Role‐Based Access Control, PKI Certificates, SSL, Field‐Level Redaction ✔ ✔
Advanced Security: LDAP Authentication, Kerberos Authentication, x.509 Certificates, Auditing
✔
Platform Certification ✔
On‐Demand Training ✔
Support SLA 1 hr
License Type AGPL Commercial
参考内容 ‐‐‐ 功能
安全特性 MongoDB 社区版 MongoDB 企业订阅
Role‐Based Access Controls ✔ ✔
PKI Certificates ✔ ✔
Field‐Level Redaction ✔ ✔
SSL / TLS Encryption ✔ ✔
FIPS‐Compliant SSL ✔
Encryption‐At‐Rest ✔
x.509 Support ✔
Kerberos Authentication ✔
LDAP Authentication ✔
Red Hat Identity Management Certification
✔
Auditing ✔
Proactive Systems Monitoring Cloud Manager or Ops Manager
Point‐In‐Time Backups Cloud Manager or Ops Manager
参考内容 ‐‐‐ 安全
请回复问卷!随机抽取2人,邮寄礼品