摘要:一、Springboot中定义注解 1,定义注解类 /** * 自定义日志打印 */ @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) public @interface MyLogger { String value() 阅读全文
posted @ 2020-08-25 09:18 MXC肖某某 阅读(71) 评论(0) 推荐(0) 编辑
摘要:一、状态编程 Flink 内置的很多算子,数据源 source,数据存储 sink 都是有状态的,流中的数据都是 buffer records,会保存一定的元素或者元数据。例如 : ProcessWindowFunction会缓存输入流的数据,ProcessFunction 会保存设置的定时器信息等 阅读全文
posted @ 2020-08-09 15:33 MXC肖某某 阅读(248) 评论(0) 推荐(1) 编辑
摘要:一、Flink中的window 1,window简述 window 是365体育投注切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心,Window 将一个无限的 stream 拆分成有限大小的”buckets”桶,365bet体育在线们可以在这些桶上做计算操作。 2,window类型 window可分为 阅读全文
posted @ 2020-08-06 09:10 MXC肖某某 阅读(377) 评论(0) 推荐(0) 编辑
摘要:一、ThreadLocal使用场景 在数据库使用connection对象时,365体育投注客户都能使用自己的connection对象,防止出现客户ClientA操作关闭ClientB的connection连接对象。 案例:https://zhuanlan.zhihu.com/p/82737256 二、Thre 阅读全文
posted @ 2020-08-04 22:13 MXC肖某某 阅读(84) 评论(0) 推荐(0) 编辑
摘要:一、Environment 1,getExecutionEnvironment getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的365体育投注创建执行环境的方式。 2,createLocalEnvironment 返回本地执行环境,需要在调用时指定默认的并 阅读全文
posted @ 2020-08-03 17:32 MXC肖某某 阅读(358) 评论(0) 推荐(0) 编辑
摘要:一、简介 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和365bet体育在线夤婺@粗葱屑扑恪 1,事件驱动型(Event-driven) 事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到 阅读全文
posted @ 2020-07-31 15:34 MXC肖某某 阅读(212) 评论(0) 推荐(0) 编辑
摘要:一、简介 spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结 阅读全文
posted @ 2020-07-24 16:35 MXC肖某某 阅读(86) 评论(0) 推荐(0) 编辑
摘要:一、RDD、DataFrame和DataSet 1,共性 1、RDD、DataFrame和DateSet全都是spark平台下的弹性分布式数据集 2、三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历 3、三者都有partit 阅读全文
posted @ 2020-07-23 09:05 MXC肖某某 阅读(112) 评论(0) 推荐(0) 编辑
摘要:一、简介 Spark是365体育投注基于内存的快速、通用、可扩展的大数据分析引擎。 Spark Core:实现了Spark的基本功能,包含任务调度、内存管理、错误恢复与内存系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distribute DataSet,RDD)的AP 阅读全文
posted @ 2020-07-21 14:45 MXC肖某某 阅读(101) 评论(0) 推荐(0) 编辑
摘要:一、概述 1,定义 RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合。 2,RDD的特点 RDD365体育投注制度的分区的数据集,对RDD进行改动,只能通过RDD的 阅读全文
posted @ 2020-07-21 14:17 MXC肖某某 阅读(85) 评论(0) 推荐(0) 编辑