Flink多流转换
之前我们学习的都是针对一条流的数据进行操作的。但是在实际应用中,可能需要将不同来源(数据源不同)的数据连接在一起进行处理。 也可能将一条流的数据拆成多条流进行处理。所以简单划分多流转换,可以分为 “分流”和“合流”。
- 学无止境
- 2024-09-02 10:48
- 5670已阅读
Flink之状态编程
本文将从状态的概念入手,详细介绍 Flink 中的状态分类、状态的使用、持久化及状态后端的配置。
- 学无止境
- 2023-06-20 17:45
- 22440已阅读
- 学无止境
- 2023-06-20 17:45
- 22440已阅读
Flink之处理函数
处理函数(ProcessFunction)了。处理函数提供了一个“定时服务”(TimerService),我们可以通过它访问流中的事件(event)、时间戳(timestamp)、水位线(watermark),甚至可以注册“定时事件”。而且处理函数继承了 AbstractRichFunction 抽象类,所以拥有富函数类的所有特性,同样可以访问状态(state)和其他运行时信息。此外,处理函数还可以直接将数据输出到侧输出流(side output)中。所以,处理函数是最为灵活的处理方法,可以实现各种自定义的业务逻辑;同时也是整个 DataStream API 的底层基础。
- 学无止境
- 2023-06-13 19:07
- 23537已阅读
- 学无止境
- 2023-06-13 19:07
- 23537已阅读
Flink之基础概念
本文介绍一下Flink一些基本概念并行度、slot及对应的组件
- 学无止境
- 2023-05-05 18:30
- 22268已阅读
- 学无止境
- 2023-05-05 18:30
- 22268已阅读
Shell入门
Shell是一个命令解释器,它在操作系统的最外层负责直接与用户对话,把用户的输入解释给操作系统,并且处理操作系统的输出结果,输出到屏幕给用户。
- 学无止境
- 2022-05-13 09:34
- 55571已阅读
- 学无止境
- 2022-05-13 09:34
- 55571已阅读
liunx磁盘扩容
本文介绍liunx磁盘的物理分区,云服务器磁盘在线扩容,物理卷和逻辑卷在线扩容。
- 学无止境
- 2021-06-25 12:55
- 76651已阅读
- 学无止境
- 2021-06-25 12:55
- 76651已阅读
tesseract-ocr验证码识别
本文将详细介绍如何使用tesseract来进行图片识别,验证码识别,使用jTessBoxEditor自定义语言库提高识别率,及语言库的合并
- 学无止境
- 2020-07-07 16:48
- 60276已阅读
CAS+Springboot单点登录
本文将详细介绍CAS单点登录原理,服务端搭建,客户端搭建,返回多属性,自定义登陆页面,自定义登陆逻辑。
- 学无止境
- 2020-05-19 09:29
- 59603已阅读
MySQL优化看这篇就对了
你知道为什么你写的SQL不使用索引吗?你知道一张表最多存多少数据吗?你知道为什么要使用B+树做索引结构吗?你知道数据库和缓存不一致的处理方案吗?不知道,点我、点我、点我...
- 学无止境
- 2019-12-27 09:20
- 88489已阅读
- 学无止境
- 2019-12-27 09:20
- 88489已阅读
k8s滚动升级和扩缩容
当集群中的某个服务需要升级时,我们需要停止目前与该服务相关的所有Pod,然后下载新版本镜像并创建新的Pod。如果集群规模比较大,则这个工作变成了一个挑战,而且先全部停止然后逐步升级的方式会导致较长时间的服务不可用。Kubernetes提供了滚动升级功能来解决上述问题。
- 学无止境
- 2019-12-03 17:41
- 85794已阅读
- 学无止境
- 2019-12-03 17:41
- 85794已阅读
k8s资源管理
本文将详细介绍k8s的资源管理包括:计算资源管理(Compute Resources)、服务质量管理(QoS)、资源配置范围管理(LimitRange)、资源配额管理(ResourceQuota)
- 学无止境
- 2019-11-15 11:07
- 56880已阅读
GC优化策略和相关实践案例
本篇会介绍这些通用的GC优化策略和相关实践案例。
- 学无止境
- 2019-10-10 10:54
- 527890已阅读
- 学无止境
- 2019-10-10 10:54
- 527890已阅读
JVM垃圾回收器
本文介绍JVM新生代和老年代各自使用的垃圾回收器和G1垃圾回收器。
- 学无止境
- 2019-10-10 10:23
- 527199已阅读
- 学无止境
- 2019-10-10 10:23
- 527199已阅读
ElasticSearch之TF/IDF
本文将了解一下ElasticSearch控制相关度分数的TF/IDF,和向量空间模型
- 学无止境
- 2019-09-26 09:20
- 83096已阅读
- 学无止境
- 2019-09-26 09:20
- 83096已阅读
Elasticsearch6.3.2之x-pack
x-pack是一个集安全防护,监控,报告功能的工具包,能跟es无缝对接。
- 学无止境
- 2019-09-24 11:12
- 563418已阅读
- 学无止境
- 2019-09-24 11:12
- 563418已阅读
Elasticsearch之IKAnalyzer
本文讲解的Elasticsearch的中文分词器IKAnalyzer,动态加载热词。
- 学无止境
- 2019-09-12 10:19
- 76775已阅读
- 学无止境
- 2019-09-12 10:19
- 76775已阅读
ELK搭建和tomcat日志分析
本文只要是为了搭建elk日志平台,所以先了解一下tomcat日志,为了知道要收集哪些日志文件,学习logstash插件。
- 学无止境
- 2019-09-06 10:06
- 48059已阅读
Elasticsearch之持久化、路由过程、CRUD原理、scroll技术
本文将介绍Elasticsearch持久化、Elasticsearch如何选择master、Elasticsearch索引的过程、Elasticsearch搜索的过程、Elasticsearch更新/删除的过程、Elasticsearch是如何避免脑裂现象、游标查询scroll技术
- 学无止境
- 2019-09-03 16:38
- 44966已阅读
Elasticsearch之mapping介绍
本文将详细介绍分析器、mapping、手动创建mapping、mapping的复合数据类型。
- 学无止境
- 2019-09-03 08:54
- 45377已阅读
Elasticsearch之mget、bulk、路由原理、深度分页
本次将介绍:批量查询、bulk、document路由原理、quorum机制、multi-index和multi-type、分页/深度分页、query string基础语法、exact value和full text对比。
- 学无止境
- 2019-09-02 08:56
- 42283已阅读
Elasticsearch之shard、replica、扩容、容错过程
本次将再次梳理一下es的shard&replica,分析横向扩容和容错过程
- 学无止境
- 2019-08-26 09:42
- 57657已阅读
- 学无止境
- 2019-08-26 09:42
- 57657已阅读
Elasticsearch初识、document CRUD、聚合分析
本文将讲解Elasticsearch的基础知识,通过本文你能够感性的认识es,学习document简单的CRUD操作,学习es 5种检索方式,掌握es的聚合分析语法。
- 学无止境
- 2019-08-15 15:44
- 46655已阅读
- 学无止境
- 2019-08-15 15:44
- 46655已阅读
hystrix工作原理及高级特性
本文将讲解Hystrix的工作原理,并从中分析其高级特性。
- 学无止境
- 2019-08-08 15:42
- 46631已阅读
- 学无止境
- 2019-08-08 15:42
- 46631已阅读
hystrix基础
本文将介绍hystrix,并说明如何使用hystrix进行资源隔离,限流。
- 学无止境
- 2019-08-06 13:37
- 43957已阅读
- 学无止境
- 2019-08-06 13:37
- 43957已阅读
Redis+Twemproxy+HAProxy+Keepalived
本文将介绍Redis Cluster集群和Twemproxy的对比,并搭建使用代理Twemproxy搭建Redis集群。
- 学无止境
- 2019-07-12 17:20
- 558171已阅读
- 学无止境
- 2019-07-12 17:20
- 558171已阅读
redis哨兵
哨兵安装,java连接redis哨兵模式,扩展jredis读写分离
- 学无止境
- 2019-07-09 22:05
- 563313已阅读
- 学无止境
- 2019-07-09 22:05
- 563313已阅读
双层nginx之应用层
上一篇我们讲解了双层nginx提高nginx本地缓存的命中率,和分发层的开发,本文我们将接着讲nginx第二层应用层。
- 学无止境
- 2019-06-06 09:07
- 2840已阅读
双层nginx提高本地缓存的命中率
我们都知道当我们在nginx部署高可用的时候,会发现nginx的本地缓存的命中率很低。本文将讲解如何提高命中率。
- 学无止境
- 2019-06-05 08:50
- 3893已阅读
- 学无止境
- 2019-06-05 08:50
- 3893已阅读
缓存和数据库不一致分析及解决方案及多维度化
在高并发的场景下如果对同一个数进行操作那么可能导致缓存和数据库不一致,本文将详细分析原因并讲解其解决方案。
- 学无止境
- 2019-06-03 10:08
- 3107已阅读
商品详情页架构和Redis安装及持久化
本文介绍redis持久化的机制,和电商商品详情页的架构
- 学无止境
- 2019-05-27 18:30
- 4039已阅读
- 学无止境
- 2019-05-27 18:30
- 4039已阅读
k8s初识
Kubernetes作为容器集群管理工具,具有负载均衡,服务发现等功能。
- 学无止境
- 2019-05-02 17:25
- 4014已阅读
- 学无止境
- 2019-05-02 17:25
- 4014已阅读
Compose和Swarm
Docker-Compose是一个工具可以一次性运行/停止多个容器。 Docker-Swarm是一个docker集群管理工具。
- 学无止境
- 2019-04-23 17:38
- 2698已阅读
docker
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。
- 学无止境
- 2019-04-23 17:21
- 3990已阅读
- 学无止境
- 2019-04-23 17:21
- 3990已阅读
playbook handle roles tags
在开发中我们经常需要将多条命令,写成脚本,在ansible中类似脚本的东西就称为剧本。
- 学无止境
- 2019-04-04 19:15
- 3372已阅读
- 学无止境
- 2019-04-04 19:15
- 3372已阅读
数据库主从不一致
目前业界上最常使用的数据库集群架构是:一主多从,读写分离来提高读库的性能。但是这样又会出现主从数据不一致的情况。
- 学无止境
- 2019-03-28 13:15
- 3705已阅读
- 学无止境
- 2019-03-28 13:15
- 3705已阅读
RocketMQ
消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。
- 学无止境
- 2019-03-12 21:25
- 3195已阅读
- 学无止境
- 2019-03-12 21:25
- 3195已阅读
类加载机制
代码编译后将 .java文件变成了 .class文件,class文件要加载到虚拟机中才能使用,虚拟机是怎么加载的呢?
- 学无止境
- 2019-02-14 20:15
- 2896已阅读
- 学无止境
- 2019-02-14 20:15
- 2896已阅读
CSRF攻击与防御
CSRF的全名为Cross-site request forgery,它的中文名为 跨站请求伪造(伪造跨站请求【这样读顺口一点】) CSRF是一种夹持用户在已经登陆的web应用程序上执行非本意的操作的攻击方式。相比于XSS,CSRF是利用了系统对页面浏览器的信任,XSS则利用了系统对用户的信任。
- 学无止境
- 2018-12-29 09:44
- 3392已阅读
- 学无止境
- 2018-12-29 09:44
- 3392已阅读
Nginx、HAProxy、LVS三者的优缺点
Nginx、HAProxy、LVS三者的优缺点
- 学无止境
- 2018-12-18 13:05
- 3210已阅读
- 学无止境
- 2018-12-18 13:05
- 3210已阅读
为什么需要消息队列,及使用消息队列的好处?
业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。
- 学无止境
- 2018-11-25 19:00
- 3547已阅读
- 学无止境
- 2018-11-25 19:00
- 3547已阅读