Heron 数据实时分析平台
Twitter开源了数据实时分析平台Heron。 Twitter使用Storm实时分析海量数据已经有好几年了,并在2011年将……...
在 AWS 上可以采用 SQL 语句查询服务器数量,以及各种实例类型的 EC2 实例分别有多少个。
演示视频:
使用:
Usage:aq[options]aq[options]<query>Options:--table-cache-ttl=<seconds>numberofsecondstocachethetablesbeforeweupdatethemfromAWSagain[default:300]-v,--verboseenableverboselogging
计算每个实例类型有多少个正在运行的实例:
> SELECT instance_type, count(*) count FROM ec2_instances WHERE state->'Name' = 'running' GROUP BY instance_type ORDER BY count DESC+-----------------+---------+| instance_type | count ||-----------------+---------|| m4.2xlarge | 15 || m4.xlarge | 6 || r3.8xlarge | 6 |+-----------------+---------+
查找具有最大附加 EBS 卷大小的实例:
> SELECT i.id, i.tags->'Name' name, count(v.id) vols, sum(v.size) size, sum(v.iops) iops FROM ec2_instances i JOIN ec2_volumes v ON v.attachments -> 0 -> 'InstanceId' = i.id GROUP BY i.id ORDER BY size DESC LIMIT 3+------------+-----------+--------+--------+--------+| id | name | vols | size | iops ||------------+-----------+--------+--------+--------|| i-12345678 | foo | 4 | 2000 | 4500 || i-12345679 | bar | 2 | 332 | 1000 || i-12345687 | blah | 1 | 320 | 960 |+------------+-----------+--------+--------+--------+
查找允许访问其安全组中的端口 22 的实例:
> SELECT i.id, i.tags->'Name' name, sg.group_name FROM ec2_instances i JOIN ec2_security_groups sg ON instr(i.security_groups, sg.id) WHERE instr(sg.ip_permissions, '"ToPort": 22,')+------------+-----------+---------------------+| id | name | group_name ||------------+-----------+---------------------|| i-foobar78 | foobar | launch-wizard-1 || i-foobar87 | blah | launch-wizard-2 |+------------+-----------+---------------------+
Twitter开源了数据实时分析平台Heron。 Twitter使用Storm实时分析海量数据已经有好几年了,并在2011年将……...
OSv 是专为在虚拟机上运行单一应用程序而设计的开源操作系统,采用BSD许可证授权,旨在在云端取代Linux。……...
boxing 是 Bilibili开源的基于 MVP 模式的 Android 多媒体选择器。 特性 支持多/单图片选择和预览,单图……...
LaTeX(LATEX,音译“拉泰赫”)是一种基于TeX的排版系统。 LaTeX通过CTAN服务器发布,或作为TeX用户组(TUG……...
Reader 能够让 iOS 开发者轻而易举地在 iOS 设备屏幕上显示 PDF 文件。代码通用,不需要任何 XIB (因为……...
MyCAT 是一个彻底开源的,面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代Mysql的加强版数据……...
Python (发音:[ 'paiθ(ə)n; (US) 'paiθɔn ]n.蟒蛇,巨蛇 ),是一种面向对象的解释性的计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。Python 具有脚本语言中最……
Min是一款开源的极简浏览器,拥有智能、快速的特点。一些特性: 通过使用DuckDuckGo在搜索栏中显示搜索结果 拦截网页内置广告和跟踪 模糊搜索 支持书签的全文搜索 阅读列表 标签页改进(标签页在右边打开并会……
BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有业务线,包括抖音、今日……