我的服务器系列:clash-docker使用并实现订阅链接自动更新 clash docker镜像使用笔记,以及常用代理配置方法。2022.9月更新:提供自部署proxy-provider-converter容器及国内部署链接,解决因vercel被墙而无法访问的问题2022.8月更新:使用clash-premium,并添加rule-providers及示例2022.8月更新:添加no_proxy说明。2022.7月更新:提供示例配置文件。添加docker pull使 2022-03-26 我的服务器系列 #生产力 #docker #我的服务器系列 #clash
PySpark自定义Transformer 使用python实现自定义Transformer以对pyspark的pipeline进行增强 2022-03-16 机器学习 #pyspark #transformer
PySpark学习笔记 pyspark使用笔记,含1.jupyter-docker环境搭建 2.dataframe2jdbc,jdbc2dataframe 3.模型训练及保存 4.模型导入及使用 等。 2022-03-16 机器学习 #笔记 #pyspark #jupyter
vbs实现wincc或mysql数据导出成csv 工作要求,需要编写vbs实现将wincc数据导出,估计以后也没机会再接触这门古董语言了,所以就记录一下。因为wincc用得太少了,测试中会使用mysql代替。 2022-01-19 后端开发 #vbs #wincc #mysql #csv
基于hdfs的ftp服务器的设计与实现 本文主要记录hdfs-ftp-server的设计思路、实现过程,使用的话直接看github项目文档即可。项目地址:https://github.com/linshenkx/hdfs-ftp-server 2022-01-17 后端开发 #ftp #hdfs
hive使用bulkLoad批量导入数据到hbase 本文主要参考了hbase和hive官方文档的说明,并结合cdh和hdp的一些教程以及个人在生产中的实践进行记录。主要内容有hbase bulkload的原理以及对应hive的操作步骤,最后基于cdh进行完整实验提供参考实例。不过整个操作确实很复杂繁琐,不是很建议使用。现在有挺多使用Spark Bulkload,下次有机会尝试一下。之前是遇到一个需求,源表在hbase上,需要重新生成rowkey并提 2020-11-23 大数据 #hbase #hive #bulkload
hive编写udf实践记录 官方教程:https://cwiki.apache.org/confluence/display/Hive/HivePlugins简单使用查看上面官方的文档即可。这里记录一下我使用的实践和一点注意事项。 2020-11-10 大数据 #hive