博文

目前显示的是 2021的博文

大数据组件图谱 - 转载

图片
 转载地址:http://blog.csdn.net/u010039929/article/details/70157376 感谢原创!   文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台   文件系统        HDFS  Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。        GlusterFS  是一个集群的文件系统,支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。        Ceph  是新一代开源分布式文件系统,主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,提高数据的容错性并实现无缝的复制。        Lustre  是一个大规模的、安全可靠的、具备高可用性的集群文件系统,它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统,目前可以支持超过10000个节点,数以PB的数据存储量。        Alluxio  前身是Tachyon,是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为集群框架(如Spark、MapReduce)提供可靠的内存级速度的文件共享服务。         PVFS  是一个高性能、开源的并行文件系统,主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计,它的模块化设计结构可轻松的添加新的硬件和算法支持。 数据存储     ...

GaussDB Arch

图片
 

OAC : How to Connect to Oracle Fusion HCM-OTBI from OAC DV Dataset with SSO

图片
Remark  (Doc ID 2607450.1) Both HCM and IDCS (where OAC instance is created) should be configured with same External SAML IDP. Here it is OKTA SSO for example. Applicable from OAC 5.2 where OAC is created with IDCS as its Identity management. General Information: 1. Need an Admin User in HCM or BI System Administrator Role User in OTBI who has Native Password (Need not login in Web with that native pwd as SSO is enabled) 2. Need BI Impersonator Role in HCM assigned to the same Admin user 3. HCM.USER1 is only used to connect the HCM/OTBI, the same user (HCM.USER1) will impersonate as the SSO Login user who tries to use the connection from OAC. 4. For SSO to work same users with same Username should exist in both HCM/OTBI and OAC/IDCS. DETAILS     Environment details: HCM Home page - https://xxxxxxxxx.oraclecloud.com/hcmUI/faces/FuseWelcome DV Home page - https://xxxxxxx.analytics.ocp.oraclecloud.com/dv/ui OKTA IDP is configured for SSO.    Step 1: Open HCM Home p...

转载博文:POLARDB · 最佳实践 · POLARDB不得不知道的秘密

 转载博文一篇 https://www.cnblogs.com/coderyuhui/p/10107330.html ## 前言 POLARDB作为阿里云下一代关系型云数据库,自去年9月份公测以来,收到了不少客户的重点关注,今年5月份商业化后,许多大客户开始陆续迁移业务到POLARDB上,但是由于POLARDB的很多默认行为与RDS MySQL兼容版不一样,导致很多用户有诸多使用上的困惑,本来总结了几点,给大家答疑解惑。另外,本文提到的参数,在新版本上,用户都可以通过控制台修改,如果没有,可以联系售后服务修改。本文适合读者:阿里云售后服务,POLARDB用户,POLARDB内核开发者,需要有基本的数据库知识,最好对MySQL源码有部分了解。 ## 磁盘空间问题 RDS MySQL在购买的时候需要指定购买的磁盘大小,最大为3TB。如果空间不够,需要升级磁盘空间。具体来说,如果实例所在的物理机磁盘空间充足,这个升级磁盘的任务很快就可以完成,但是如果空间不足,就需要在其他物理机上重建实例,大实例需要几天的时间。为了解决这个问题,POLARDB底层使用存储集群的方式,做到磁盘动态扩容,且磁盘扩容过程对用户无感知,具体来说,默认磁盘空间分配为规格内存的10倍,当使用了70%,系统就会自动扩容一部分空间,而且扩容不需要停止实例。 有了这种机制,POLARDB的存储可以做到按照使用量来收费,真正做到使用多少就收多少钱,计费周期是一小时。同时,由于存储按量收费,导致许多用户对存储的使用量非常敏感,在我们的控制台上,有五种空间统计,分别是磁盘空间使用量,数据空间使用量,日志空间使用量,临时空间使用量和系统文件空间使用量。 磁盘空间使用量是后四者之和,数据空间使用量包括用户创建的所有库,mysql库,test库,performance_schema库,日志空间使用量包括redolog,undolog,ibdata1,ib_checkpoint(存储checkpoint信息),innodb_repl.info(存储切换信息,物理复制信息等),临时空间使用量包括socket文件,pid文件,临时表(大查询排序用),审计日志文件,系统文件空间使用量包括错误日志,慢日志,general日志以及主库信息(用于构建复制关系)。虽然有四部分空间使用量,但大多数主要被数据空间和日志空间占用,数...