studaeo
本站致力于IT相关技术的分享
构建用于死信队列的智能分析与告警收敛管道 构建用于死信队列的智能分析与告警收敛管道
我们金融核心交易系统的一个On-Call工程师，在凌晨3点被连续不断的告警淹没了。问题源于一个下游的第三方支付网关出现短暂的网络分区，导致所有出站的支付请求全部超时。我们的重试机制在几次尝试后，明智地将这些失败的请求消息投递到了Rabbit
2023-10-27 可观测性
Dead Letter Queue Grafana Go RabbitMQ Prometheus
基于CDC、Hudi与Consul Connect的全链路实时数据架构实现 基于CDC、Hudi与Consul Connect的全链路实时数据架构实现
我们面临一个棘手的需求：构建一个运营仪表盘，它必须同时展示来源于生产SQL数据库的最新交易记录（例如，最近5分钟内的订单状态变更），以及沉淀在数据湖中的用户历史聚合指标（例如，用户生命周期总价值LTV）。初期的方案是在前端React应用中发
2023-10-27 数据工程
Apache Hudi Zustand Consul Connect 关系型 (SQL) CDC
通过 Pulumi 与 Actix-web 实现 Kubernetes 上的 Hadoop YARN 按需集群声明式管理 通过 Pulumi 与 Actix-web 实现 Kubernetes 上的 Hadoop YARN 按需集群声明式管理
在真实的生产环境中，技术栈的演进并非总是一蹴而就的线性过程。我们团队就面临这样一个典型的场景：一方面，我们全面拥抱云原生，所有新服务都构建在 Kubernetes 之上，享受其声明式 API 和强大的弹性伸缩能力；另一方面，核心数据处理业务
2023-10-27 平台工程
Pulumi Hadoop Actix-web Kubernetes Rust IaC
在 Vercel Functions 中集成 Consul Connect 以实现对 CP 型分布式 KV 存储的安全访问 在 Vercel Functions 中集成 Consul Connect 以实现对 CP 型分布式 KV 存储的安全访问
一个看似简单的需求摆在面前：运行在 Vercel Edge 上的多个 Serverless Functions，需要读取一份集中管理、强一致、且高度敏感的配置数据。这份数据可能是服务的动态费率、功能的灰度开关，或是关键业务流程的阈值。在我们
2023-10-27 分布式系统
Consul Connect Vercel Functions CAP Theorem
使用 Ansible 在 Azure 上为 Raft 集群构建自动化混沌测试注入框架 使用 Ansible 在 Azure 上为 Raft 集群构建自动化混沌测试注入框架
我们的新 Raft-KV 服务通过了所有单元测试和集成测试，但在将其投入生产环境之前，团队内部对它的韧性信心不足。Raft 协议理论上是可靠的，但我们的工程实现、配置和部署环境中的任何一个环节都可能引入脆弱性。手动模拟节点故障或网络分区不仅
2023-10-27 分布式系统
Azure 测试 Raft 协议 Ansible 混沌工程
基于 containerd 快照实现 spaCy 模型的秒级热加载与执行 基于 containerd 快照实现 spaCy 模型的秒级热加载与执行
团队的数据科学部门最近遇到了一个难以忍受的瓶颈：NLP 模型的迭代调试周期。一个典型的流程是，研究员修改几行 spaCy 的处理逻辑，然后等待 CI/CD 流水线执行 docker build，将新的 Python 脚本和依赖打包，推送镜像
2023-10-27 云原生
spaCy containerd Docker MySQL MLOps
2 / 5