当前位置：首页
> 2022年11月 第3页
vivo大数据日志采集Agent设计实践
Lotus2022-11-28 14:16
作者：vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。 一、概述 在企业大数据体系的建设过程中...
Java高效找出两个大数据量List集合中的不同元素
Lotus2022-11-27 12:12
本文将带你了解如何快速的找出两个相似度非常高的List集合里的不同元素。主要通过Java API、List集合双层遍历比较不同、借助Map集合查找三种方式，以及他们之间的执行效率情况，话不多说，开搞！ 集合初始化方法： /** * 制造任意个元素的的List集合 * @param size List集合的size * @return List<Stri...
[ Linux ] 进程间通信之共享内存
Lotus2022-11-27 12:11
在上篇博文我们了解了通过管道完成进程间通信，我们了解匿名管道和命名管道，并且通过编码模拟实现使用了匿名管道和命名管道。我们知道要让进程间完成通信必须让这两个进程首先看到同一份资源，因此给予这个前提，本篇博文我们了解另外一种可以进程间通信的方式 -- 共享内存。 1.system V共享内存 system V是一套标准，这是系统级别的接口。我们知道进程间通信的前提是：先让不同的进程看到同一份资源！...
Java并发编程学习13-任务取消（下）
Lotus2022-11-27 12:11
任务取消（下） 《任务取消》由于篇幅较多，拆分了两篇来介绍各种实现取消和中断的机制，以及如何编写任务和服务，使它们能对取消请求做出响应。 1. 任务限时运行 我们知道许多任务可能永远也无法处理完成（例如，枚举所有的素数），而某些任务，可能很快被处理掉，也可能很长时间才能处理完。这个时候如果能够对任务处理加个时间限制，比如指定 “最多花1分钟搜索答案” 或者 “枚举出1秒钟内能找到的素数”，那将...
STM32CubeMX之RTC电子钟
Lotus2022-11-27 12:11
STM32CubeMX之RTC电子钟 1.RTC简介 实时时钟是一个独立的定时器。 RTC模块拥有一组连续计数的计数器，在相应软件配置下，可提供时钟日历的功能。修改计数器的值可以重新设置系统当前的时间和日期。 RTC模块和时钟配置系统(RCC_BDCR寄存器)处于后备区域，即在系统复位或从待机模式唤醒后， RTC的设置和时间维持不变。 2.特性 ● 可编程的预分频系数：分频系数...
Prometheus监控之TLS
Lotus2022-11-27 12:11
一、说明 在basic_auth账号密码的基础上加上tls加密,密码密钥双保险。 二、配置 1、生成秘钥文件 openssl req -new -newkey rsa:2048 -days 3650 -nodes -x509 -keyout prom-test.key -out prom-test.crt -subj \"/C=CN/ST=Beijing/L=Beijing/O=Moelov...
精华推荐 | 【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」透彻剖析贯穿RocketMQ的Broker服务端自动创建topic的原理分析和问题要点指南
Lotus2022-11-27 12:11
前提背景 使用RocketMQ进行发消息时，一般我们是必须要指定topic，此外topic必须要提前建立，但是topic的创建（自动或者手动方式）的设置有一个开关autoCreateTopicEnable，此部分主要会在broker节点的配置文件的时候进行设置，运行环境中会使用默认设置autoCreateTopicEnable = true，但是这样就会导致topic的设置不容易规范管理，所以在...
精华推荐 | 【深入浅出RocketMQ原理及实战】「性能原理挖掘系列」透彻剖析贯穿RocketMQ的系统服务底层原理以及高性能存储设计挖掘深入
Lotus2022-11-27 12:11
设计背景 消息中间件的本身定义来考虑，应该尽量减少对于外部第三方中间件的依赖。一般来说依赖的外部系统越多，也会使得本身的设计越复杂，采用文件系统作为消息存储的方式。 RocketMQ存储机制 消息中间件的存储一般都是利用磁盘，一般是使用机械硬盘，但机械硬盘的速度比访问内存慢了n个数量级，一款优秀的消息中间件必然会将硬件资源压榨到极致，接下来看看rocketMq是如何做到高效存储的。 Rocket...
流程编排、如此简单-通用流程编排组件JDEasyFlow介绍
Lotus2022-11-27 12:11
作者：李玉亮 JDEasyFlow是企业金融研发部自研的通用流程编排技术组件，适用于服务编排、工作流、审批流等场景，该组件已开源(https://github.com/JDEasyFlow/jd-easyflow)，目前在部门的内部业务系统和科技输出系统中广泛应用，其他部门也有使用。 它的特点是简单、灵活、易扩展，开发人员一般30分钟可入门上手，半天可掌握其原理。它分为一个核心模块和若干...
Linux 磁盘空间异常爆满，该怎么查?
Lotus2022-11-27 12:11
一、背景 在服务器运维过程中，我们时常会遇到这样的情况，收到服务器磁盘空间告警： 登录服务器，通过df -Hl查看 和告警信息一致，接着我们就是要找到导致磁盘空间满的目录或文件。 二、如何找到占用空间大的目录或文件？ 一种比较笨的方法是，在根目录下，通过du -hs命令，列出各目录所占空间大小 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过du的-d参数，或--max-...