CDH客户端环境搭建 最近遇到一个需求:要使用azkaban对接客户的CDH集群,CDH用的是oozie,azkaban只能部署在我们客户端的机器上,所以需要在客户机上手动搭建CDH的hadoop环境。操作很简单,过程比较麻烦,这里记录一下。 2020-11-10 大数据 #CDH
oracle_logminer学习和实践笔记 Oracle LogMiner是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 在线/归档日志文件中的具体内容,特别是该工具可以分析出所有对于数据库操作的DML和DDL语句。该工具特别适用于调试、审计或者回退某个特定的事务。 2020-09-24 后端开发 #oracle #logminer
Kubernetes应用中使用TLS(SSL)证书的两种方法及实践 在k8s应用注入自签发的TLS/SSL证书有两种思路:1.使用certificates.k8s.io API 进行签发。2. 直接利用自己的CA证书进行签发。一般推荐第二种方法,本文记录了两种方法的完整实践并最后将其转换为JAVA的使用格式。 2020-08-27 Kubernetes
Xloggc实践(JVM1.8及之前) Java服务器调优免不了要对gc日志进行分析,我一般是上传gc日志文件到GCEasy进行处理的,上传的文件有大小限制。另外默认的gc日志打印还会存在重启后丢失的问题。综上,我们希望gc日志文件在不能丢失(但允许超过一定时间或大小被清理掉)的情况下控制gc日志的大小或者按时间切割,即像Java日志框架那样的效果。Java9对jvm的日志系统进行了比较大的升级,可以比较好的实现这些需求,但大部分服务端 2020-08-20 后端开发 #jvm
kafka动态调整副本因子replication.factor及json生成脚本 kafka默认的副本因子default.replication.factor是1,即无额外副本,如果在创建topic时没有指定副本数,则无高可用性。 2020-08-19 大数据 #kafka
centos利用yumdownloader获取含依赖的rpm安装包 工作经常会遇到需要离线安装软件的情况,特此记录下来,避免每次都得去翻笔记。 2020-08-18 运维部署 #docker #yumdownloader
空间索引 S2 学习指南及Java工具类实践 geohash对于大区域查询表现极不良好,经调研测试,改用google的s2。因为涉及的资料、工具较多,特此记录,以备后用。 2020-04-29 后端开发 #s2
HBCK2修复RIT实践笔记 本文记录了作者使用HBCK2工具对线上HBase发生RIT状态的处理,仅供参考,若有疵漏,还望指正。网络上关于HBCK2的文章很少,基本都是复制粘贴自田竞云(小米)的这一篇:HBase指南 | HBase 2.0之修复工具HBCK2运维指南事实上这一篇文章介绍得也已经很详细了。这里只是做一些实践上的补充说明。 2020-04-16 大数据 > HBASE #hbase #debug