仪表板展示 | X-lab开放实验室GitHub开源项目洞察大屏

背景介绍

X-lab开放实验室是一个开源软件产业开放式创新的共同体，由来自国内外著名高校、创业公司、部分互联网与IT企业的专家学者与工程师所构成，目前已在包括开源治理标准制定、开源社区行为度量与分析、开源社区流程自动化、开源全域数据治理与洞察等方面做出了较有影响力的工作。

OpenLeaderBoard是X-lab开放实验室旗下的开源项目，它是一个全球开源领导力排行榜，基于一套科学、公正、透明的方法生成全球开源项目、开源企业、开源贡献者的排行榜单。OpenLeaderBoard对GitHub上的企业、项目以及开发者进行了活跃度和影响力的排名。

OpenDigger则是X-lab实验室主导的开源生态数据分析核心项目，负责与开源测量学相关的一切数据、指标、模型、算法等落库与实现。作为一个具有共识性的实施标准工具集，当前OpenDigger项目已经在木兰社区下面进行孵化与培养，并服务于包括木兰社区、开放原子基金会、互联网企业、COSS 企业、投资机构、媒体等不同的组织。

X-lab开放实验室需要对全球开源项目的相关数据指标进行多维度的展示，因此希望制作一个开源项目洞察大屏，在大屏中展示开源项目的不同指标，例如项目关注度、巴士系数、项目参与人数、Star/Fork总数、Star/Fork新增等指标，让关注项目的人可以了解整个开源项目的具体情况。

要在大屏上展示这么多的指标，就需要考虑数据怎么来？数据如何展示？什么样的项目适合OpenLeaderboard？基于这些问题，X-lab开放实验室开始进行项目选型，从数据展示、数据源接入、是否适合OpenLeaderboard、是否适合X-lab开放实验室等各个维度进行考察，希望要找到跟目标和要求相契合的数据可视化产品。

大屏介绍

GitHub开源项目洞察大屏基于DataEase（https://github.com/dataease/dataease）实现OpenLeaderBoard开源项目各指标的分析展示，包含了被观察开源项目的影响力、关注度、活跃度、巴士系数（即累计达到项目50%贡献度的开发者数量）、项目参与人数、Star/Fork总数、Star/Fork新增等指标。

对于OpenLeaderBoard来说，对数据可视化分析工具的需求包括：首先，要能够直观地展示开源项目的质量、进展和问题等项目整体情况，帮助社区及时发现和解决问题；其次，是展现开源项目关注度和活跃度，以激励社区成员参与项目开发和维护，促进社区成员的参与和贡献；最后，呈现开源项目数据和指标监控，这样做可以提高项目的质量和透明度，促进项目的发展和推广。

以DataEase开源项目为例，其开源项目洞察大屏的效果如下图所示。

为什么选择DataEase？

在进行BI产品选型时，X-lab开放实验室团队对比了多款开源工具，最终选择了DataEase开源数据可视化分析工具。X-lab开放实验室选择DataEase的原因包括：

1.DataEase是开源项目，所有人都可以贡献和使用，与X-lab开放实验室的使命、愿景、价值观相契合；

2.简单易用，DataEase不仅可以只需要一条命令就可以一键安装，而且可以通过拖拉拽的方式来设计图表；

3.丰富的图表支持；

4.多种数据源支持；

5.DataEase项目的整体活跃度非常高，而且每月持续迭代更新版本。

落地过程

基于上述的原因，X-lab开放实验室团队选择了DataEase。在使用部署的过程中，X-lab开放实验室团队也发现了一些大屏落地过程中需要解决的问题，但最终都通过和DataEase开源工具的配合得以解决。

问题1：由OpenDigger提供的数据的数据格式是固定的，所以在对接DataEase时，发现基于这些数据格式无法进行有效的数据展示。

解决方法1：经过团队多方讨论，决定写一个数据中转程序（即od-api）来解决这一问题。由数据中转程序来实现数据格式转换，获取开源项目的影响力、关注度、活跃度、巴士系数、项目参与人数等数据，并定时同步对应的数据，将数据存储到MySQL数据库中，再由DataEase进行数据源的接入，以及历史数据的同步。

问题2：团队希望获取开源项目在GitHub代码托管平台的Star、Fork等总数，但OpenDigger中记录的数据为趋势数据，并未记录总数等数据，即使数据累加也不是实际的Star总数、Fork总数。

解决方法2：团队通过调研接口后发现，GitHub开发的API中包含这些数据，通过调用API的接口，成功获取到这部分数据。

问题3：在OpenLeaderBoard项目排行榜中，当存在多个项目时，如何在进入开源项目大屏后使得展示的数据都是对应项目的数据？

解决方法3：在OpenLeaderBoard排行榜页面上增加一列图标，通过点击该列中的图标跳转至对应具体项目的开源洞察大屏。DataEase支持实时传入外部参数，只需要在跳转时，在公共链接部分对应上各自的项目名称，点击后大屏上即可展示对应的项目洞察数据。

效果实现

1.实现方案

相关数据由Opendigger和GitHub API提供，用数据转换程序od-api将数据整理落库到MySQL数据库中，并调整相对应的数据格式，最后将MySQL作为数据源接入到DataEase平台，用来进行数据分析和展示。

底层数据来源：OpenDigger、GitHub API；

数据转换程序：od_api；

DataEase数据源接入：MySQL；

数据展示：DataEase开源数据可视化分析平台。

▲ 附图 GitHub开源项目洞察大屏整体实现方案架构图

2.实现效果

更多合作

除了GitHub开源项目洞察大屏，X-lab开放实验室基于DataEase还实现了GitHub 2022数字洞察报告（BI大屏版），内容包含对GitHub多角度的宏观分析和微观分析，从全域生态、地域生态、供应链生态、技术生态、商业生态、组织生态、社区生态和开发者自身等八大视角，全面展示了开源软件生态体系的发展状况。

《GitHub 2022数字洞察报告》包含了GitHub全球增长大屏、开源软件供应链生态大屏、开源技术领域与编程语言大屏、开源数据库领域洞察大屏、全球商业开源洞察大屏、木兰开源社区洞察大屏、开源项目社区洞察大屏（下图以dataease洞察大屏为例）和开发者个人贡献大屏，后续还计划将这些大屏集成至OpenLeaderBoard项目中并统一入口。

赛事信息

近日，开放原子开源基金会发起了“OpenDigger开源软件生态数据分析挖掘平台挑战赛（OpenSODA）”。本项赛事正在火热进行中，比赛作品征集中W2类作品主题为“开源领域的可视化大屏”，DataEase为W2类作品案例的合作平台。该赛事初赛时间为5月6日，报名已经开始，欢迎大家使用DataEase开源数据可视化分析工具参加本项赛事。