studaeo
本站致力于IT相关技术的分享
构建基于 Snowflake 与 InfluxDB 的混合 MLOps 特征存储的 etcd 控制面 构建基于 Snowflake 与 InfluxDB 的混合 MLOps 特征存储的 etcd 控制面
我们团队的 MLOps 平台遇到了一个典型的瓶颈：训练-服务偏斜（Training-Serving Skew）。模型训练时，特征工程师在 Snowflake 上用 SQL 跑出海量的批式特征；而在线上进行实时推断时，应用服务需要从一个低延迟
2023-10-27 MLOps
Go MLOps InfluxDB etcd Snowflake
在GKE上为ZeroMQ Node.js服务构建自动化金丝雀发布管道的实践复盘 在GKE上为ZeroMQ Node.js服务构建自动化金丝雀发布管道的实践复盘
核心交易撮合引擎的发布流程一度是团队最大的痛点。这个引擎是一个基于Node.js和ZeroMQ构建的微服务，负责处理高频的定价和交易指令。每一次更新都像是一次赌博。标准的“滚动更新”策略在面对我们这种长连接、有状态的ZeroMQ通信模式时，
2023-10-27 DevOps
ZeroMQ Node.js Jenkins GCP GKE CI/CD 金丝雀发布
构建基于Knative和Weaviate的事件驱动型RAG知识库自动化更新管道 构建基于Knative和Weaviate的事件驱动型RAG知识库自动化更新管道
我们面临一个普遍存在的技术痛点：检索增强生成（RAG）系统的知识库一旦建立，就会迅速过时。手动更新文档、重新生成嵌入向量、再将其导入向量数据库的过程，不仅效率低下，而且极易出错。在真实项目中，这种滞后意味着模型提供的答案可能基于陈旧信息，从
2023-10-27 MLOps
GitLab CI/CD Phoenix Knative Weaviate
基于GitLab CI/CD优化微前端BFF架构 Spring与Micronaut的技术选型与实现权衡 基于GitLab CI/CD优化微前端BFF架构 Spring与Micronaut的技术选型与实现权衡
微前端架构的引入，使得前端团队能够独立开发与部署，但其副作用是后端BFF（Backend for Frontend）服务的数量呈爆炸式增长。最初，我们为每个微前端配备一个基于Spring Boot的BFF，技术栈统一且成熟。然而，当BFF数
2023-10-27 架构设计
Micronaut SQLite GitLab CI/CD Spring Framework Micro-frontends
Tornado 结合 Milvus 与 SSE 构建实时向量相似性推送管道的实践 Tornado 结合 Milvus 与 SSE 构建实时向量相似性推送管道的实践
项目的需求很明确：当一个新商品上架时，系统需要立即通知那些正在浏览与该商品高度相似的其它商品的用户。常规的轮询方案在实时性和服务器负载上都无法接受，而WebSocket对于这种单向的服务器推送场景来说，显得过于笨重。我们的目标是构建一个轻量
2023-10-27 后端架构
Milvus Server-Sent Events (SSE) Tornado 实时系统 Cypress
使用 eBPF、C# 与 Apache Hudi 构建 SQL Server 的无侵入实时数据捕获管道 使用 eBPF、C# 与 Apache Hudi 构建 SQL Server 的无侵入实时数据捕获管道
我们面临一个棘手的工程问题：需要将一个核心生产环境的 SQL Server 数据库的实时变更数据同步到一个数据湖中，但DBA团队基于稳定性和性能的考虑，明确拒绝了所有常规的CDC（Change Data Capture）方案。这意味着我们不
2023-10-27 数据工程
Apache Hudi C# SQL Server eBPF InfluxDB
5 / 5