TiDB 分布式 NewSQL 关系型数据库
TiDB 是一款定位于在线事务处理/在线分析处理( HTAP: Hybrid Transactional/Analytical Processing)的……...
Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。
整体架构
Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制,包括:
机器学习/深度学习
生物信息学/基因组学
其他“大数据”应用
这些类型的应用程序通常运行在Volcano集成的Tensorflow,Spark,PyTorch,MPI等通用域框架上。
Volcano为Kubernetes添加的机制和功能的一些例子:
作业管理的扩展和改进,如:
Multi-pod 作业
生命周期管理扩展,包括挂起、恢复和重启
提升错误处理
作业的索引
任务依赖
调度扩展
联合调度
公平调度
队列调度
抢先和收回
预订和回填
基于拓扑逻辑的调度
运行时扩展
支持Singularity等专用容器运行时,具有GPU加速器扩展和增强的安全功能
其他
数据局部感知和智能调度
优化数据吞吐量,往返延迟等
Volcano建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。
TiDB 是一款定位于在线事务处理/在线分析处理( HTAP: Hybrid Transactional/Analytical Processing)的……...
Insomnia 是一个跨平台的 REST API 客户端,基于 Electron 而构建。 运行截图 可用于: 创建 HTTP 请求 ……...
CDNJS 是一个通过快速 CDN 基础设施为开发人员和组织提供流行的前端 Web 开发资源的项目,帮助代码库与框……...
Gollum 是 Git 上面 wiki 系统的构造工具,简单实用。Gollum wikis 是简单的 Git 库,遵循特定的格式。Go……...
InK 是一个能够帮助你快速开发web界面的界面套件,使用简单并且可扩展。使用了HTML/CSS/Javascript技术来……...
Notesnook是一款开源、端对端加密(使用XChaCha20-Poly1305和Argon2)的免费记事应用,注重用户隐私和易用……...
Eigen 是一个线性算术的C++模板库,包括:vectors, matrices, 以及相关算法。功能强大、快速、优雅以及支持多平台。 示例代码: #include <iostream>#include <Eigen/Dense>using namespace Eigen;int……
OSv 是专为在虚拟机上运行单一应用程序而设计的开源操作系统,采用BSD许可证授权,旨在在云端取代Linux。 与为大量物理机设计的传统操作系统相比,OSv是一种开放源代码的通用模块化Unikernel,旨在作为虚拟机在hyp……
Faust 是一个流处理库,将想法从 Kafka Streams 移植到 Python。 它在 Robinhood 用于构建高性能的分布式系统和实时数据管道,每天处理数十亿个事件。 Faust 提供流处理和事件处理,与 Kafka Streams,Apache Spar……