Flink多流转换

之前我们学习的都是针对一条流的数据进行操作的。但是在实际应用中,可能需要将不同来源(数据源不同)的数据连接在一起进行处理。 也可能将一条流的数据拆成多条流进行处理。所以简单划分多流转换,可以分为 “分流”和“合流”。

  • 丁D
  • 学无止境
  • 2024-09-02 10:48
  • 5670已阅读

Flink之状态编程

本文将从状态的概念入手,详细介绍 Flink 中的状态分类、状态的使用、持久化及状态后端的配置。

  • 丁D
  • 学无止境
  • 2023-06-20 17:45
  • 22440已阅读
  • 丁D
  • 学无止境
  • 2023-06-20 17:45
  • 22440已阅读

Flink之处理函数

处理函数(ProcessFunction)了。处理函数提供了一个“定时服务”(TimerService),我们可以通过它访问流中的事件(event)、时间戳(timestamp)、水位线(watermark),甚至可以注册“定时事件”。而且处理函数继承了 AbstractRichFunction 抽象类,所以拥有富函数类的所有特性,同样可以访问状态(state)和其他运行时信息。此外,处理函数还可以直接将数据输出到侧输出流(side output)中。所以,处理函数是最为灵活的处理方法,可以实现各种自定义的业务逻辑;同时也是整个 DataStream API 的底层基础。

  • 丁D
  • 学无止境
  • 2023-06-13 19:07
  • 23537已阅读
  • 丁D
  • 学无止境
  • 2023-06-13 19:07
  • 23537已阅读

Flink之水位线

  • 丁D
  • 学无止境
  • 2023-05-18 18:30
  • 20828已阅读
  • 丁D
  • 学无止境
  • 2023-05-18 18:30
  • 20828已阅读

Flink之基础概念

本文介绍一下Flink一些基本概念并行度、slot及对应的组件

  • 丁D
  • 学无止境
  • 2023-05-05 18:30
  • 22268已阅读
  • 丁D
  • 学无止境
  • 2023-05-05 18:30
  • 22268已阅读

shell文本处理工具sed、cut、awk

本文关于liunx 文本处理工具学习笔记。

  • 丁D
  • 学无止境
  • 2022-05-17 17:36
  • 35609已阅读

Shell入门

Shell是一个命令解释器,它在操作系统的最外层负责直接与用户对话,把用户的输入解释给操作系统,并且处理操作系统的输出结果,输出到屏幕给用户。

  • 丁D
  • 学无止境
  • 2022-05-13 09:34
  • 55571已阅读
  • 丁D
  • 学无止境
  • 2022-05-13 09:34
  • 55571已阅读

liunx磁盘扩容

本文介绍liunx磁盘的物理分区,云服务器磁盘在线扩容,物理卷和逻辑卷在线扩容。

  • 丁D
  • 学无止境
  • 2021-06-25 12:55
  • 76651已阅读
  • 丁D
  • 学无止境
  • 2021-06-25 12:55
  • 76651已阅读

设计模式之观察者模式

本文将介绍观察者模式。

  • 丁D
  • 学无止境
  • 2021-04-05 15:30
  • 73904已阅读
  • 丁D
  • 学无止境
  • 2021-04-05 15:30
  • 73904已阅读

Elasticsearch能支持动态的DSL

本文介绍如何让Elasticsearch能像Mybatis一样支持动态的SQL.

  • 丁D
  • 学无止境
  • 2020-12-09 14:46
  • 49900已阅读

tesseract-ocr验证码识别

本文将详细介绍如何使用tesseract来进行图片识别,验证码识别,使用jTessBoxEditor自定义语言库提高识别率,及语言库的合并

  • 丁D
  • 学无止境
  • 2020-07-07 16:48
  • 60276已阅读

MYSQL-连续登陆的天数

求连续登陆的天数或者签到数

  • 丁D
  • 学无止境
  • 2020-05-27 11:09
  • 55295已阅读

Elasticsearch索引管理

本文将介绍es的索引模板、reindex及根据日期滚动rollover api,及索引的别名

  • 丁D
  • 学无止境
  • 2020-05-21 10:57
  • 56484已阅读

CAS+Springboot单点登录

本文将详细介绍CAS单点登录原理,服务端搭建,客户端搭建,返回多属性,自定义登陆页面,自定义登陆逻辑。

  • 丁D
  • 学无止境
  • 2020-05-19 09:29
  • 59603已阅读

spring cloud服务间调用之feign

本文介绍使用feign进行服务之间的调用。

  • 丁D
  • 学无止境
  • 2020-05-13 23:10
  • 53869已阅读

spring cloud注册中心之Eureka

本文讲解的是spring cloud的注册中心Eureka。

  • 丁D
  • 学无止境
  • 2020-04-21 13:43
  • 57514已阅读

spring cloud网关之zuul

本文将介绍网关服务zuul的基本用法,拦截器,基础配置,动态路由,高可用,鉴权。

  • 丁D
  • 学无止境
  • 2020-03-20 19:40
  • 54902已阅读

MySQL优化看这篇就对了

你知道为什么你写的SQL不使用索引吗?你知道一张表最多存多少数据吗?你知道为什么要使用B+树做索引结构吗?你知道数据库和缓存不一致的处理方案吗?不知道,点我、点我、点我...

  • 丁D
  • 学无止境
  • 2019-12-27 09:20
  • 88489已阅读
  • 丁D
  • 学无止境
  • 2019-12-27 09:20
  • 88489已阅读

Elasticsearch倒排索引比mysql快

本文将介绍倒排索引为什么比mysql的索引快的原理。

  • 丁D
  • 学无止境
  • 2019-12-13 10:30
  • 56750已阅读

k8s滚动升级和扩缩容

当集群中的某个服务需要升级时,我们需要停止目前与该服务相关的所有Pod,然后下载新版本镜像并创建新的Pod。如果集群规模比较大,则这个工作变成了一个挑战,而且先全部停止然后逐步升级的方式会导致较长时间的服务不可用。Kubernetes提供了滚动升级功能来解决上述问题。

  • 丁D
  • 学无止境
  • 2019-12-03 17:41
  • 85794已阅读
  • 丁D
  • 学无止境
  • 2019-12-03 17:41
  • 85794已阅读

k8s之RBAC实战

本文是个人对K8S的认证授权的一次实战笔记。

  • 丁D
  • 学无止境
  • 2019-11-19 17:16
  • 182455已阅读
  • 丁D
  • 学无止境
  • 2019-11-19 17:16
  • 182455已阅读

k8s命名空间和运行环境

本文将介绍k8s的命名空间(namespace)和运行环境(context)

  • 丁D
  • 学无止境
  • 2019-11-18 15:44
  • 54842已阅读

k8s资源管理

本文将详细介绍k8s的资源管理包括:计算资源管理(Compute Resources)、服务质量管理(QoS)、资源配置范围管理(LimitRange)、资源配额管理(ResourceQuota)

  • 丁D
  • 学无止境
  • 2019-11-15 11:07
  • 56880已阅读

k8s日志解决方案

在微服务盛行的年代,传统的应用日志解决方案已经不在适用了,本文就将容器化的微服务日志解决方案这个课题进行详细的介绍。

  • 丁D
  • 学无止境
  • 2019-11-14 09:53
  • 56505已阅读

Vue部署nginx中

本文介绍了liunx环境下,vue项目的部署,nginx的安装。

  • 丁D
  • 学无止境
  • 2019-11-05 11:34
  • 57089已阅读

使用frp实现内网穿透和远程桌面控制

本文将使用frp实现内网穿透和远程桌面控制。

  • 丁D
  • 学无止境
  • 2019-10-12 15:49
  • 60129已阅读

GC优化策略和相关实践案例

本篇会介绍这些通用的GC优化策略和相关实践案例。

  • 丁D
  • 学无止境
  • 2019-10-10 10:54
  • 527890已阅读
  • 丁D
  • 学无止境
  • 2019-10-10 10:54
  • 527890已阅读

JVM垃圾回收器

本文介绍JVM新生代和老年代各自使用的垃圾回收器和G1垃圾回收器。

  • 丁D
  • 学无止境
  • 2019-10-10 10:23
  • 527199已阅读
  • 丁D
  • 学无止境
  • 2019-10-10 10:23
  • 527199已阅读

利用accesslog统计QPS

本文将介绍如何使用tomcat的accesslog日志来统计QPS。

  • 丁D
  • 学无止境
  • 2019-10-09 09:11
  • 105186已阅读

Elasticsearch之nested object

本文将讲解Elasticsearch的nested object类型

  • 丁D
  • 学无止境
  • 2019-09-30 09:43
  • 54301已阅读

Elasticsearch搜索特性

本次将学习正则匹配,前缀匹配、通配符匹配、正则匹配、近似/短语匹配、搜索推荐、模糊搜索。

  • 丁D
  • 学无止境
  • 2019-09-29 09:15
  • 54129已阅读

ElasticSearch之TF/IDF

本文将了解一下ElasticSearch控制相关度分数的TF/IDF,和向量空间模型

  • 丁D
  • 学无止境
  • 2019-09-26 09:20
  • 83096已阅读
  • 丁D
  • 学无止境
  • 2019-09-26 09:20
  • 83096已阅读

Elasticsearch6.3.2之x-pack

x-pack是一个集安全防护,监控,报告功能的工具包,能跟es无缝对接。

  • 丁D
  • 学无止境
  • 2019-09-24 11:12
  • 563418已阅读
  • 丁D
  • 学无止境
  • 2019-09-24 11:12
  • 563418已阅读

使用策略模式干掉大片的 if else

本文介绍如何使用策略模式来消除if else。

  • 丁D
  • 学无止境
  • 2019-09-20 16:53
  • 54027已阅读

Elasticsearch父子关系

本次简单使用一下Elasticsearch父子关系

  • 丁D
  • 学无止境
  • 2019-09-18 09:32
  • 51715已阅读

logstash-input-jdbc

本文讲解如何将mysql的数据导入es。

  • 丁D
  • 学无止境
  • 2019-09-12 14:34
  • 51959已阅读

Elasticsearch之IKAnalyzer

本文讲解的Elasticsearch的中文分词器IKAnalyzer,动态加载热词。

  • 丁D
  • 学无止境
  • 2019-09-12 10:19
  • 76775已阅读
  • 丁D
  • 学无止境
  • 2019-09-12 10:19
  • 76775已阅读

ELK搭建和tomcat日志分析

本文只要是为了搭建elk日志平台,所以先了解一下tomcat日志,为了知道要收集哪些日志文件,学习logstash插件。

  • 丁D
  • 学无止境
  • 2019-09-06 10:06
  • 48059已阅读

Elasticsearch之索引管理、自定义分析器、地理坐标点

本文将讲解索引管理、自定义分析器、地理坐标点。

  • 丁D
  • 学无止境
  • 2019-09-04 10:42
  • 48166已阅读

Elasticsearch之持久化、路由过程、CRUD原理、scroll技术

本文将介绍Elasticsearch持久化、Elasticsearch如何选择master、Elasticsearch索引的过程、Elasticsearch搜索的过程、Elasticsearch更新/删除的过程、Elasticsearch是如何避免脑裂现象、游标查询scroll技术

  • 丁D
  • 学无止境
  • 2019-09-03 16:38
  • 44966已阅读

Elasticsearch之mapping介绍

本文将详细介绍分析器、mapping、手动创建mapping、mapping的复合数据类型。

  • 丁D
  • 学无止境
  • 2019-09-03 08:54
  • 45377已阅读

Elasticsearch之mget、bulk、路由原理、深度分页

本次将介绍:批量查询、bulk、document路由原理、quorum机制、multi-index和multi-type、分页/深度分页、query string基础语法、exact value和full text对比。

  • 丁D
  • 学无止境
  • 2019-09-02 08:56
  • 42283已阅读

Elasticsearch之shard、replica、扩容、容错过程

本次将再次梳理一下es的shard&replica,分析横向扩容和容错过程

  • 丁D
  • 学无止境
  • 2019-08-26 09:42
  • 57657已阅读
  • 丁D
  • 学无止境
  • 2019-08-26 09:42
  • 57657已阅读

Elasticsearch初识、document CRUD、聚合分析

本文将讲解Elasticsearch的基础知识,通过本文你能够感性的认识es,学习document简单的CRUD操作,学习es 5种检索方式,掌握es的聚合分析语法。

  • 丁D
  • 学无止境
  • 2019-08-15 15:44
  • 46655已阅读
  • 丁D
  • 学无止境
  • 2019-08-15 15:44
  • 46655已阅读

分布式系统的接口幂等性设计

分布式系统的接口幂等性设计

  • 丁D
  • 学无止境
  • 2019-08-08 18:30
  • 80628已阅读

hystrix工作原理及高级特性

本文将讲解Hystrix的工作原理,并从中分析其高级特性。

  • 丁D
  • 学无止境
  • 2019-08-08 15:42
  • 46631已阅读
  • 丁D
  • 学无止境
  • 2019-08-08 15:42
  • 46631已阅读

hystrix基础

本文将介绍hystrix,并说明如何使用hystrix进行资源隔离,限流。

  • 丁D
  • 学无止境
  • 2019-08-06 13:37
  • 43957已阅读
  • 丁D
  • 学无止境
  • 2019-08-06 13:37
  • 43957已阅读

Redis+Twemproxy+HAProxy+Keepalived

本文将介绍Redis Cluster集群和Twemproxy的对比,并搭建使用代理Twemproxy搭建Redis集群。

  • 丁D
  • 学无止境
  • 2019-07-12 17:20
  • 558171已阅读
  • 丁D
  • 学无止境
  • 2019-07-12 17:20
  • 558171已阅读

redis哨兵

哨兵安装,java连接redis哨兵模式,扩展jredis读写分离

  • 丁D
  • 学无止境
  • 2019-07-09 22:05
  • 563313已阅读
  • 丁D
  • 学无止境
  • 2019-07-09 22:05
  • 563313已阅读

使用静态内部类来创建单例

本文将介绍如何使用静态内部类来创建单例。

  • 丁D
  • 学无止境
  • 2019-06-10 09:01
  • 2942已阅读

双层nginx之应用层

上一篇我们讲解了双层nginx提高nginx本地缓存的命中率,和分发层的开发,本文我们将接着讲nginx第二层应用层。

  • 丁D
  • 学无止境
  • 2019-06-06 09:07
  • 2840已阅读

双层nginx提高本地缓存的命中率

我们都知道当我们在nginx部署高可用的时候,会发现nginx的本地缓存的命中率很低。本文将讲解如何提高命中率。

  • 丁D
  • 学无止境
  • 2019-06-05 08:50
  • 3893已阅读
  • 丁D
  • 学无止境
  • 2019-06-05 08:50
  • 3893已阅读

缓存和数据库不一致分析及解决方案及多维度化

在高并发的场景下如果对同一个数进行操作那么可能导致缓存和数据库不一致,本文将详细分析原因并讲解其解决方案。

  • 丁D
  • 学无止境
  • 2019-06-03 10:08
  • 3107已阅读

redis cluster

本文介绍搭建redis cluster。

  • 丁D
  • 学无止境
  • 2019-05-30 16:48
  • 2936已阅读

Redis读写分离和分布式缓存算法原理

本文介绍Redis哨兵和分布式缓存的原理。

  • 丁D
  • 学无止境
  • 2019-05-29 22:45
  • 2653已阅读

商品详情页架构和Redis安装及持久化

本文介绍redis持久化的机制,和电商商品详情页的架构

  • 丁D
  • 学无止境
  • 2019-05-27 18:30
  • 4039已阅读
  • 丁D
  • 学无止境
  • 2019-05-27 18:30
  • 4039已阅读

SkyDNS

k8s集群中使用域名来访问服务。

  • 丁D
  • 学无止境
  • 2019-05-26 15:30
  • 3341已阅读
  • 丁D
  • 学无止境
  • 2019-05-26 15:30
  • 3341已阅读

docker+k8s+flannel+ansible

本文使用ansible自动构建k8s集群。

  • 丁D
  • 学无止境
  • 2019-05-22 14:18
  • 2594已阅读

k8s初识

Kubernetes作为容器集群管理工具,具有负载均衡,服务发现等功能。

  • 丁D
  • 学无止境
  • 2019-05-02 17:25
  • 4014已阅读
  • 丁D
  • 学无止境
  • 2019-05-02 17:25
  • 4014已阅读

Compose和Swarm

Docker-Compose是一个工具可以一次性运行/停止多个容器。 Docker-Swarm是一个docker集群管理工具。

  • 丁D
  • 学无止境
  • 2019-04-23 17:38
  • 2698已阅读

docker

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。

  • 丁D
  • 学无止境
  • 2019-04-23 17:21
  • 3990已阅读
  • 丁D
  • 学无止境
  • 2019-04-23 17:21
  • 3990已阅读

Jenkins+GitLab+Ansible

CICD平台由Jenkins、GitLab、Ansible构成,本篇将讲述搭建步骤。

  • 丁D
  • 学无止境
  • 2019-04-11 14:34
  • 2746已阅读

playbook handle roles tags

在开发中我们经常需要将多条命令,写成脚本,在ansible中类似脚本的东西就称为剧本。

  • 丁D
  • 学无止境
  • 2019-04-04 19:15
  • 3372已阅读
  • 丁D
  • 学无止境
  • 2019-04-04 19:15
  • 3372已阅读

ansible-语法

变量,循环,逻辑判断

  • 丁D
  • 学无止境
  • 2019-04-04 15:18
  • 2486已阅读

ansible初识

ansible是一个配置管理工具,是一个自动化运维工具。

  • 丁D
  • 学无止境
  • 2019-04-01 22:50
  • 3174已阅读
  • 丁D
  • 学无止境
  • 2019-04-01 22:50
  • 3174已阅读

数据库主从不一致

目前业界上最常使用的数据库集群架构是:一主多从,读写分离来提高读库的性能。但是这样又会出现主从数据不一致的情况。

  • 丁D
  • 学无止境
  • 2019-03-28 13:15
  • 3705已阅读
  • 丁D
  • 学无止境
  • 2019-03-28 13:15
  • 3705已阅读

缓存穿透,缓存雪崩,缓存击穿

缓存穿透,缓存雪崩,缓存击穿

  • 丁D
  • 学无止境
  • 2019-03-27 23:40
  • 3815已阅读
  • 丁D
  • 学无止境
  • 2019-03-27 23:40
  • 3815已阅读

RocketMQ

消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。

  • 丁D
  • 学无止境
  • 2019-03-12 21:25
  • 3195已阅读
  • 丁D
  • 学无止境
  • 2019-03-12 21:25
  • 3195已阅读

java内存管理

java内存管理

  • 丁D
  • 学无止境
  • 2019-02-14 23:55
  • 3346已阅读
  • 丁D
  • 学无止境
  • 2019-02-14 23:55
  • 3346已阅读

类加载机制

代码编译后将 .java文件变成了 .class文件,class文件要加载到虚拟机中才能使用,虚拟机是怎么加载的呢?

  • 丁D
  • 学无止境
  • 2019-02-14 20:15
  • 2896已阅读
  • 丁D
  • 学无止境
  • 2019-02-14 20:15
  • 2896已阅读

CSRF攻击与防御

CSRF的全名为Cross-site request forgery,它的中文名为 跨站请求伪造(伪造跨站请求【这样读顺口一点】) CSRF是一种夹持用户在已经登陆的web应用程序上执行非本意的操作的攻击方式。相比于XSS,CSRF是利用了系统对页面浏览器的信任,XSS则利用了系统对用户的信任。

  • 丁D
  • 学无止境
  • 2018-12-29 09:44
  • 3392已阅读
  • 丁D
  • 学无止境
  • 2018-12-29 09:44
  • 3392已阅读

Nginx、HAProxy、LVS三者的优缺点

Nginx、HAProxy、LVS三者的优缺点

  • 丁D
  • 学无止境
  • 2018-12-18 13:05
  • 3210已阅读
  • 丁D
  • 学无止境
  • 2018-12-18 13:05
  • 3210已阅读

为什么需要消息队列,及使用消息队列的好处?

业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。

  • 丁D
  • 学无止境
  • 2018-11-25 19:00
  • 3547已阅读
  • 丁D
  • 学无止境
  • 2018-11-25 19:00
  • 3547已阅读
Top