竹笋

首页 » 问答 » 环境 » 西安市教育大数据平台二期项目
TUhjnbcbe - 2023/1/16 20:48:00

一、项目名称、背景

1.项目名称

项目名称:西安市教育大数据基础平台二期项目

2.项目背景

当前,我市围绕建设目标,全面加快建设国家中心城市,迎来了全方位创新发展的新局面。《西安市大数据产业发展规划(-年)》中明确提出“大数据将成为推进供给侧结构性改革、提升*府治理能力、构建公平普惠和便捷高效的民生服务体系的技术基础,在促进国家中心城市建设战略目标的实现,提升城市整体发展水平中起到重要的支撑作用。”

西安市教育大数据平台(二期)项目

年我局建设了西安市教育电子地图项目即西安市教育大数据项目一期,该项目将西安市教育大数据叠加到电子地图上,并与城市地理信息融为一体,打造了一张服务广大市民及教育管理人员的“西安市教育电子地图”,具备教育概况、教育资讯、学校规划、名校+、学区划分以及大班额、随迁子女、留守儿童等教育热点功能。

西安市教育电子地图目前使用省级教育基础数据库和数据交换平台提供数据支撑,主要数据来源是国家级教育管理系统数据和省级教育管理系统数据,对于构建西安市教育大数据平台来说,存在数据应用不灵活,数据种类不丰富等问题。

另外,西安市教育电子地图面向广大市民及教育管理人员提供服务,作为完整的大数据服务还应该以部门为单位按照其职责范围提供专项数据服务。同时,教育行业的教育应用既有国家级统一系统,又有省级统一系统,还有地市本级个性化教育应用,随着信息化的深入,市本级需要不断开发满足各部门管理工作需求的微应用,这种多层次、不同时期开发的教育应用需要一个统一门户入口。

3.当前存在的主要问题

1)缺乏统一标准,数据汇聚困难

市教育局作为基础教育、中等职业教育以及教师工作管理、教材管理、学生工作管理的主管单位,管理部门多,业务涉及广,且未建立数据资源信息化标准,使得在教育数据的采集、接入、分发、处理、组织、存储、共享交换、销毁等数据全生命周期整个过程没有统一规范,从而导致来源于不同部门、异构网络、相对孤立系统的数据结构不一、描述不一致,数据整合困难等问题,给开展教育管理数据资源的统一管理工作、教育应用业务可持续发展的支撑带来巨大困难。

2)数据分布碎片化,互通共享不足

市教育局和下属各单位数据建设均聚焦于本单位业务,数据采集、数据管理、数据构成以及数据的应用模式具有典型的领域特征和私有化特征,数据相对封闭,跨部门、跨领域数据的互联互通性差,数据整体呈碎片化分布。

教育管理中的综合研判、指挥调度、管理协同、服务协同等很多业务均需要多部门配合、多领域数据支撑,因此,需要建立科学规范的教育管理数据互联互通、共享开放机制,大力推动教育管理过程中的数据共享;同时,还需要构建安全、规范的教育管理数据应用环境,妥善处理数据开放与安全的关系,切实保障数据安全。

3)缺乏深度加工,数据利用不足

目前市教育局以及各区县教育局和相关教育管理部门的业务应用系统,绝大多数的数据服务于行*业务、日常统计等基础应用,缺乏数据深度应用,难于为上层综合应用提供有效支撑,无法满足教育管理信息的服务精准化。

因此,教育数据治理工程中要强化数据应用与服务建设,在对各类业务应用中经常用到的数据资源进行服务化构建和封装的同时,提供数据应用服务如数据可视化服务、查询检索服务、智能标签服务等强数据相关的通用服务,为教育管理相关的大数据应用平台和智能协同业务应用体系构建提供数据支撑。

二、设计和编制依据

1.“四位一体”应用场景

1)局端应用场景

为西安提供全市统一大数据平台,通过多级联动架构实现从局端到校端应用集成,业务协同和数据共享。

2)学校端应用场景

为西安市提供一站式整体解决方案。面向全市师生提供“基础信息统一,用户体系统一,业务数据统一,硬件集成统一”四个统一平台。提升校园管理效率,为老师在教育工作减负。

3)教师端应用场景

为学校在管理过程中,提供各种应用场景,重点是学生管理,教务管理,家校链接管理等核心场景。

4)家长端应用场景

为家长提供有关家校链接应用,家长可以通过家校链接实现家校共育,学校动态,资讯共享,信息沟通等核心场景。

2.建核心优势,创西安特色

1)教育大数据集成优势

在智慧校园统一集成平台基础上,实现全平台通过统一软件平台采集数据,实现学校数据汇集、分析,形式教育大数据分析。

2)搭建“局+校”一拖N多级联动架构平台

打造“局+校”一拖N多级联动架构平台,实现一个平台管理全市辖区各类学校,应用统一集成,业务统一协同,数据统一共享。实现从市、局、校到家全链路管理。

3)打造成全国教育大数据平台标杆

在系统设计上,着眼未来打造“智慧局校”和“多级联动”架构平台,实现应用,业务和数据统一平台;在系统建设上,充分利用云和移动时代基础设施建设系统,兼具考虑系统扩展能力,适应未来在5G和物联网时代扩展能力。建设强大的统一基础平台,结合西安个性化+未来扩展能力建设。

3.设计依据

l《国家中长期教育改革和发展规划纲要》(—)(国务院,年5月18日)

l《国务院关于积极推进“互联网+”行动的指导意见》(国发〔〕40号文件)

l《国务院关于印发促进大数据发展行动纲要的通知》(国发〔〕50号文件)

l《国家发展改革委办公厅关于组织实施促进大数据发展重大工程的通知》(发改办高技〔〕42号文件)

l《中华人民共和国国民经济和社会发展第十三个五年规划纲要》(-)

l《中国电子*务建设指导意见》(中办发[]17号)

l《信息安全技术信息系统安全管理要求》GB/T-

l《信息安全技术网络基础安全技术要求》GB/T-

l《信息系统灾难恢复规范》GB/T-

l《国家电子*务标准化指南总则》

l《西安市电子*务管理办法》市*办发〔〕69号

l《西安市*务数据资源共享管理办法》市*发()47号

l《信息安全技术网络安全等级保护基本要求》

l《信息安全技术网络安全等级保护测评要求》

l《信息安全技术网络安全等级保护安全设计技术要求》

三、项目建设周期

西安市教育大数据平台(二期)建设项目计划签订合同后1年内完成项目的建设并投入正式试运行。

第二章技术方案

一、总体架构及设计思路

通过实施西安市教育大数据“”工程,建设“一个中心、二个平台,四位一体应用场景”。“一个中心”指教育大数据展示中心、“二个平台”指西安教育管理综合服务平台、大数据交换共享平台,形成教育大数据仓库,“三大应用场景”指教育智能服务管理、教育智能评价、教育智能教学三大应用场景。

图-西安教育大数据平台架构

1.用户定义

在用户层面,西安市教育大数据平台为用户实现PC、大屏数据展现多元化整体解决方案。为用户提供多种入口,多种平台,快捷登陆大数据前台,实现各种业务场景。

2.环境部署

根据平台业务需求、数据需求,平台采用专有云和混合云的部署方式即本地部署+云部署,提供云管控平台对各类丰富的云资源、物理资源、库存等进行一站式集中管理。系统稳定运行一年后,将租用大数据服务中心进行本地部署,要求提供免费迁移和部署。方案要有合理的部署规划和云资源配置清单,系统设计要符合西安市大数据服务中心相关要求。

系统可部署在windows服务器和Linux服务器,同时能支持国产服务器和操作系统,并稳定运行。

3.安全要求

1)网络安全

应具有全面、高效、专业的DDoS防护能力,为用户提供BGP高防包、BGP高防IP、棋牌盾等多种DDoS解决方案,应对DDoS攻击问题。

2)主机安全

应基于海量威胁数据,利用机器学习为用户提供黑客入侵检测和漏洞风险预警等安全防护服务,主要包括密码破解拦截、异常登录提醒、木马文件查杀、高危漏洞检测等安全功能,解决当前服务器面临的主要网络安全风险,帮助用户构建服务器安全防护体系,防止数据泄露。

3)应用安全

应具备Web应用防火墙,应对Web攻击、入侵、漏洞利用、挂马、篡改、后门、爬虫、域名劫持等网站及Web业务安全防护问题。

4)数据安全

应能够通过有效的手段确保教育数据在传输和使用过程中得到有效的安全防护和安全审计,确保在数据库操作中能够及时发现威胁并可以做到事后审计回溯。

5)业务安全

能够通过有效的手段保障小程序和网站在恶意注册、小号注册等恶意行为上能够有效的防护。能够确保业务数据源头的安全性。

6)安全应急

当系统遭受病*传播、网络攻击、黑客入侵,安全事件从而导致信息业务中断、系统宕机、网络瘫痪,数据丢失、声誉受损,并对组织和业务运行产生直接或间接的负面影响时,由安全专家能够提供入侵原因分析、业务损失评估、系统恢复加固、以及黑客溯源取证的安全服务,减少因黑客入侵带来的损失。

对软件安全、数据安全在项目设计中要有具体说明,针对不同的系统和数据制定备份机制,要有定时备份、手动备份、异地备份、远程备份及数据恢复等多种数据备份机制和策略,方案中需有详细说明。

4.目标和内容

通过实施西安市教育大数据“”工程,重点打造西安教育大数据展示中心、西安教育管理综合服务平台、西安教育大数据交换平台,形成西安特色的教育大数据仓库。

教育大数据展示中心以硬件设施为基础,主要实现教育大数据的数据、系统、应用场景等的展示功能。本项目不涉及硬件建设,但相关软件平台接口需要开发。

教育大数据交换平台作为打通不同数据平台的桥梁,实现与已建国建、省建、市建系统的打通,主要包括数据前台、数据交换中心、数据后台。本次重点实现教育统计系统、义务教育入学报名系统、校园安全防控应急系统、教育电子地图以及智慧校园平台(或区县大数据中心)数据的对接、汇聚,形成西安特色的教育大数据仓库;能与市电子*务数据中台和省教育厅大数据平台实现接口方式数据交换。

教育大数据仓库是汇聚学校、教师、学生等基础教育数据,经过清洗、转换、关联、比对,构建西安特色,包括开发区、“名校+”联合体的标准数据库和主题库,形成全市教育大数据仓库,为管理者提供决策数据依据。教育大数据仓库根据目前已有数据、新建应用场景情况,逐步完善、扩充。

教育管理综合服务平台是教育大数据平台的门户,实现一键访问国家级、省级、西安市本级已建及待建教育应用系统。

要求与市大数据中心、省厅大数据中心、区县数据中心对接均不少于两类业务数据,智慧校园学校不少于3所学校(各学校应用不同)。

5.平台架构

教育局+全市学校组织关联平台,将实现底层组织数据框架平台和师生、家长统一入口。可以将西安市教育局下辖所有学校通过组织管理实现业务协同和数据关联。同时,保证市/县/区校组织—教育局与学校,既独立,又协同。

市/县局校联动平台将实现教育局,学校,师生统一移动办公平台,统一数字校园平台,统一校园管理平台,统一大数据平台。

组织层面:实现教育局组织管理职责下放,管辖组织内部学校自主管理,组织外部教育局统一管理。

业务层面:实现教育局、学校行*、教务办公移动化,数字化。教育局与学校间流程审批、上传下达等跨组织工作、业务协同畅通无阻。

数据层面:在统一平台下,实现教育局与其管辖范围内所有学校的数据共享、互通,使数据的采集、分类、汇总、分析在线化。教育行业大数据局的大数据分析提供接口统一。

二、教育大数据交换平台

教育大数据交换平台作为打通不同数据平台的桥梁,实现与已建国建、省建、市建系统的打通,主要负责教育数据等相关被交换数据资源的采集、处理、整合、转换等处理,即从数据源抽取出所需的数据,经过数据转换、脱敏等处理,最终按照预先定义好的数据模型,将数据加载到数据目的地。系统适配不同类型的数据源,包括主流SQL、NoSQL数据库、主流文件系统、HDFS文件系统,采集信息资源到共享库。数据采集方式支持触发器、数据库日志、时间戳、轮询等方式。主要包括数据前台、数据交换中心、数据后台。

1.大数据前台

在大数据前台层面,实现数据接入场景多端化,较好扩展性;实现数据展现多元化。西安市教育大数据二期主要在教育局以及辖区学校建设综合德育评价场景和综合学生评价及测评场景,实现局对学校、班级和学生综合评价体系建设。最终实现局端大屏展示,数据决策分析及教育地图数据全部统一汇集,分析。

2.大数据交换中心

围绕着全市教育基础数据库的建设,建立西安市教育大数据中台,通过数据的采集、汇聚、存储、清洗、应用等,实现西安市教育局及下属学校通过市或区推广和各自建的各类业务应用系统的数据资源整合,满足全区教育大数据统一管理、交换和共享。推动“最多跑一次”改革向教育领域拓展延伸。

实现现有系统的快速对接和第三方应用的灵活加载。支持快速部署云应用程序,提供托管基础架构、资源分配以及服务。同时,基础平台作为整个智慧教育的数据中心,支持数据的交换、共享和应用,实现基于云方式的设计、开发和部署,满足大并发量下的用户访问和数据使用。各项功能模块,要求模块之间实现弱耦合,模块之间能够独立运行,任一模块的升级调整、关机重启,不影响其它功能模块的继续运行,各模块能够根据访问量,实现云架构下的水平扩展。

在大数据交换中心层面,将实现业务系统搭建,基础信息管理,数据接入标准,数据开放标准和API接口统一标准建设。

1)API接口:统一API接口数据结构,为系统数据接入和开放建设标准平台,便于后续系统扩展。

2)数据接入标准:统一数据接入标准体系,西安教育大数据平台建设完成之后,无论是辖区哪个单位,都需要按数据接入标准进行数据开放,确保西安教育大数据平台能够通过标准数据接入到大数据平台。

3)数据开放:数据开放是大数据建设成功必要条件,建设一套数据开放规则,标准和开放体系及制度是确保大数据平台数据来源安全,准确的重要途经。大数据平台建设数据开放规则,标准,确保了系统平台数据获取有效性。

4)业务平台:西安市教育大数据在教育局以及辖区学校建设基础信息管理,综合德育评价场景、综合学生评价及测评场景,实现局对学校、班级和学生综合评价体系,实现局校一体化业务协同和数据共享平台。

3.大数据后台

在大数据后台层面,西安教育大数据平台的数据管理系统实现从数据采集完成以后,从数据存储,到运算,管理,加工等全方位的精细化管理能力,要求具有异构数据存储能力、大规模集群计算能力、精细化数据管理能力。

西安教育大数据仓提供高效的数据检索能力,可对结构化和半结构化数据标进行全局模糊检索能力。

对相关数据进行清理工作,确保行业数据空间化的准确性、一致性,并通过数据融合建立西安教育大数据体系,实现教育数据自身融合及跨部门相关数据整合,为西安教育提供有效的数据和决策支撑。此外,数据主题根据业务需求,对系统的数据资源分为具体的主题,用于支持相应的应用需要。

4.构建西安市教育大数据应用前台

(1)教育局端

市级教育局根据应用场景建立应用系统,实现与数据平台的对接,可根据业务需要收集数据、获取数据、分析数据。区县级教育局相关业务平台或大数据平台能与市级级联,实现数据的信息管理和统一使用。市级各部门和各区县教育局对数据查询、导出、图表展示等操作入口。

(2)学校端

学校建立智慧校园等教学应用平台,通过统一认证模块、数据交换中心的数据共享接口,做为某一大数据应用场景数据来源,如学生综合评价分析、学生体质健康管理、入学报名、课后服务、作业监测等扩展应用,保障数据增长和鲜活,为大数据分析服务。

(3)数据实验室

对第三方教学或管理平台,按照数据管理机制,通过数据中心的授权,与市级平台实现共建共享数据,达到数据的自动报送,有限使用和分析。

第三章内容模块及功能需求

一、教育大数据仓库

教育大数据仓库是汇聚学校、教师、学生等基础教育数据,经过清洗、转换、关联、比对,构建西安特色,包括开发区、“名校+”联合体的标准数据库和主题库,形成全市教育大数据仓库,为管理者提供决策数据依据。

要求支持Oracle、MySQL、SQLSever、clickhouse、hive、impala等自建数据源;实现数据集建模,支持基于SQL、数据表和上传文件等三种方式创建数据集,支持内置的数据脱敏配置,支持数据集的缓存配置;通过数据交换中间件,快速构建公共数据库。提供管理工具,以满足各类用户不同的查询要求。数据库建设计要求有详细的设计规范方案、数据字典和ER图等。

建设内容包括:

1.教育大数据基础平台用户权限统一管理

1)统一身份认证

统一身份管理作为平台的安全认证及授权中心,主要应为各应用系统提供集中的身份认证与授权服务。需实现用户管理、组织架构管理。需要构建能够用于整个系统的目录服务,作为用户身份管理的基础架构。

同时,应能提供一整套应用软件的标准化接口,实现统一身份认证、单点登录等要求,各类应用系统只要符合平台接口定义,就能和平台完全集成,以及后续扩展业务系统的无缝整合,打破信息孤岛,实现数据共建共享。用户通过教育管理综合服务平台实现单点登录,提高信息化管理应用系统的安全性。

系统需支持不同开发语言、不同应用服务器平台实现的应用系统的认证集成方式(Java、.net、ASP、PHP等),包括WebService、API等方式,并开放相应接口。

2)统一用户中心

建设统一的信息门户中心,实现内容管理及个性化门户集成及展示功能。

集成系统自带应用模块或者其他第三方应用系统的快捷入口,便于学校对网站应用的统一管理及展示。

根据每类用户使用特点和角色的不同,为管理人员、教师、学生、家长等制定个性化角色门户,实现对管理、教学、教研等多应用系统及教育信息公共查询等外部服务的应用集成,并为用户提供一体化的资源访问个性化应用界面。

要求提供URL资源管理插件、IFRAME集成插件、RSS集成插件、接口集成方式等多种内容集成方式将多平台、多模块用户信息进行集成。

3)单点登录

基础平台在cas的基础上,实现前端浏览器的单点登录。外部应用不需要自己验证用户名/密码的过程。登陆后,所有应用不再需要重复登录。

单点登录(SSO)。实现用户的身份认证、应用资源的访问控制、策略管理与服务。提供多种认证手段,实现“一次鉴权(认证和授权)”—单点登录,提供基于Web方式以及传统应用方式服务的单点登录,实现用户只需认证一次,就可以被授权访问其它业务系统。

单点登录平台需支持多种SSO协议(CAS,SAML,OAUTH2,OPENID,OPENIDCONNECT.REST)。支持使用特定的规则,管理和注册接入的应用和服务,支持各种语言开发的系统接入支持(JAVA.NET,PHP,PERL等)。

4)分级管理及权限分配

基于Web界面进行操作,SSL加密传输。账号管理包含账户的添加、删除、修改、导入、导出等功能。并提供导入接口供应用平台进行数据同步。

实现集中统一的用户身份和密钥管理,进行分级授权和集中身份认证,采用基于角色的权限控制体系,支持多种权限管理和灵活的授权分配方式。允许定义角色并对角色进行授权,能够指定不同的用户访问不同的应用及资源。

资源访问安全审计,完整详细的用户使用记录和日志,以及异常情况的预警机制。

2.综合数据仓库集成设计建设

以西安市教育基础数据库建设为基础,汇聚教育部标准和省教育厅数据标准,包含教育机构信息、学前教育信息、中小学教育信息、中职教育信息、教职工信息等,为市本级和区县、开发区提供数据支撑。具备标准体系管理、数据汇聚融合管理和数据融合监控管理等系统,具体包括标准体系管理、元数据管理、执行标准管理、数据接口管理、数据汇聚融合管理、数据统计、数据监控、任务调度等。并与省级教育基础数据库和数据交换平台对接。可为西安市大数据管理局提供西安市教育数据资源清单,并与西安市*务数据交换平台对接,提供*务数据共享服务和*务数据开放服务。

数据库是应用系统的信息支撑平台,用于存储和管理各应用软件系统所需的数据,为业务应用体统提供信息支持服务。数据库系统的设计,在遵循国家标准和颁布的行业标准、数据库设计规范的基础上,并结合业务系统的实际需要进行建设。

1)元数据库

元数据是“关于数据的数据”,它描述的是数据的背景、内容、数据结构及其生命周期管理。应提供元数据管理功能,通过对技术元数据、业务元数据、服务元数据、管理元数据的统一规划设计和管理,针对每个原数据进行数据字段、类型、视图、索引、关联表、数据规则、注释、创建时间等进行管理;提供元数据血缘关系分析和影响分析;提供数据质量监控,对数据和采集的数据进行匹配分析。提供企业级的元数据统一视图,提供标准的接口库、数据库、资源库、维度库、指标库、规则库等视图,并能够清晰地分析和跟踪业务运作历史数据变化。

对于数据库表、任务、模型及事件应都能进行元数据的管理,对其表字段元数据可进行修改,对各种元数据应能查看及新增修改其数据血缘关系,追溯到数据的整个生命周期。需可自定义视图、索引,方便管理员快速查询到频繁使用的字段及ID。数据血缘关系应能提供表格及图表的多种形式呈现。

能提供元数据的图形结构展现及数据血缘关系查询。能提供统一一站式存储和可视化管理元数据,使数据的设计、部署、操作和管理能达成协同和一致。

2)教育管理基础信息库

基础数据库是基于统一的元数据标准对原始数据库的数据进行审核、评估和转换后,形成的具有逻辑一致性、完备性和权威性的数据。基础数据库中的数据按照类型可以分为学校基础信息数据库、教职工基础信息数据库、学生基础信息数据库等。这些数据在元数数据库的支撑下被分层分类的、有序的、成体系的组织在一起。

1.学校基础信息数据库

主要有三大类:机构信息、行*管理信息、教育业务信息。学校基础信息数据库内容包括:基本信息、健康信息、评价信息、德育信息等,不同教育阶段内容依据管理特点有所侧重。

2.教职工基础信息数据库

教职工基础信息数据库内容包括:基本信息、资质信息、任职信息、异动信息等,不同教育阶段内容依据管理特点有所侧重。

3.学生基础信息数据库

学生基础信息数据库内容包括:基本信息、学生评价信息,学生德育信息等,不同教育阶段内容依据管理特点有所侧重。

要求提供基础信息库数据字段和数据字段类型设计说明书。

4.交换内容及流程

三大主体数据库分别以学校、教职工和学生完成基础信息数据的组织,通过对各学校现有的应用系统和智慧校园的应用系统进行统一采集汇总,并按照主要内容进行比对、清洗、整合和应用。

利用桥接将各学校的数据通过应用适配发送到数据交换经采集、汇总到教育大数据平台,以西安市教育局的学校、教职工和学生的基础信息为基准,各学校信息为辅助,通过比对系统对汇总信息进行信息一致性比对,比对的结果经数据共享与交换返回给各学校进行核对,同时将完整、一致的基础信息存储到各对应的基础信息库,而对于西安市教育局不具备的数据,以各学校的数据为准,一次性直接汇总至基础信息库。

5.数据比对和整合

比对系统是指中心的信息采集库获得各学校汇总信息后,完成比对、整合操作,形成基础信息库和各专题信息库的软件系统。

3)前置数据库

通过前置库的形式,可以保证教育系统的公共数据,借助共享交换系统,通过数据管理中心安全地输出到市级有教育数据需求的相关部门,不影响教育核心数据库的安全运行。

4)中心数据库

中心数据库主要用来存储来自前置数据库,经过数据工厂经过处理,加工,清洗,比对教育核心数据库。中心数据库是整个数据资源管理平台中的核心数据库,原则上需要经过严格的检查和验证才能进行定期的更新。

5)专题应用数据库

专题应用数据库,是根据主题分析应用需求,从基础数据、综合应用数据中抽取和重组而成,提供满足应用服务需要的包含多层次信息的专项数据。

专题应用数据库包括:教育教学应用数据库、教育评价数据库、体质健康主题库等不同应用主题的库。

(1)教育教学应用主题库

主要针对教育和教学管理,实现收集、存储、分析和分发,为交流过程提供不同场景应用数据支撑。

(2)教育评价主题库

主要包括教育教学质量综合评价、西安教育质量监测、学生综合素质评价等评价活动中产生的教育评价数据。教育评价数据库主要应用在下面一些教育评价活动中,统一存储多种评价活动的数据,并为教育评价业务系统提供数据支撑能力。

(3)体质健康主题库

体质健康主题库包括学生体测系统相关数据、日常身高体重检测数据,通过系统的联通或物联网设备的接入,将数据融合进大数据平台。

(4)其它主题库

根据教育教学管理的特色,系统平台已建有或可建立的其它更多的主题资源库。

3.API标准开放平台

API标准开放平台提供开放共享数据接口,制定公共数据开放目录、开放计划和开放标准,形成统一的公共数据开放平台。引导企业、行业协会、科研机构、社会组织等第三方数据加入数据开放平台,推进公共机构数据资源统一汇聚,通过和公共数据的融合、比对、补充,有效丰富公共数据内容,加强公共服务能力创新,充分释放数据红利。

1)服务开放平台

服务开放平台需满足不同标准的服务商将数据统一接入数据平台。整体包括数据接口规范标准以及申请授权服务、第三方应用接入规范和单点登录认证服务、第三方应用管理服务以及数据回写规范标准等相关内容。

2)数据中心子系统

数据中心子系统主要包括硬件平台与软件管理平台两部分,硬件平台基于计算机集群技术构建的云计算中心;软件管理平台主要实现数据管理、存储以及数据推送服务,可通过开放的API与*府数据中心无缝融合,该软件管理平台主要由存储层、数据层、系统管理层以及数据应用层四层组成,其中存储层包括数据库系统与存储节点管理系统;数据层包括数据接收、解析、存储与转发;系统管理层包括用户/单位注册管理、设备资源注册管理、文档安全访问控制管理模块;数据应用层主要包括数据分析、处理、显示以及开发的API接口。

3)开发者注册流程

开发者申请在西安市教育平台接入第三方平台,首先要申请成为开发者。

用户需注册,填写完成注册信息后,管理员审核通过开发者账号,开发者账号即可开接入应用。

4)应用创建流程

开发者注册完成,支持创建、上架各类应用,并经由管理员审核,审核通过后可进行相应测试。

同时应支持widget配置包含名称、使用限制、接口地址和描述等。

5)接入规范

要求提供完整的接口接入规范流程。

(1)应用名称

应用名称需要具有一定概括性,使用户可以通过应用名称可大致了解该应用的性质、面向对象等要素。

(2)映射平台

开发者想要应用在哪些类型平台上显示,选择对应的类型(包含教学、学习、管理、评价等)。

(3)应用类型

接入应用的类型,配置在哪些模块、WEB端、移动端显示接入的应用。

(4)详细介绍

应用简介是在门户应用列表中展示的对应用简单的介绍。

(5)运行url

应用的url地址。

(6)应用图标

应用图标需要具有一定代表性,明确图标的格式规范要求,提供10种以上系统图标,支持用户自主更换符合应用内容的图标。

(7)应用截图

应用截图是用户在进入应用详情页后,对其展示的应用内部实际截图,可以直观的让用户了解到该应用的展现风格、操作风格等使用体验,可让用户上传不少于3张图片。

(8)接口申请

当开发者创建应用后,可进行API接口申请,当接口申请并审核通过后,开发者可以对API进行接口调试。

6)用户绑定

接入应用需通过平台认证,获取授权码code、访问token、用户唯一标识,并实现用户账号绑定。要求列举详细接口及说明,请求方式、参数说明、返回值等。

7)应用运营管理

(1)开发者管理

需实现开发者账号管理、API接口申请审核管理。

(2)应用管理

需实现应用接入审核,应用上线、下线管理。

(3)API管理

API接口管理员对开放平台上API接口进行开启或关闭操作。

(4)数据统计

API统计:平台API接口数据统计主要统计所有API接口整体变化趋势和单个API接口调用详情。包括接口调用次数、接口响应时间等,管理员通过这些统计数据对应用调用的API接口进行管理,使开放平台正常运行。

应用统计:查看平台开发者总数、应用总数、各类应用用户活跃度包含日活月活排序、最新应用、各应用访问量(TOP10)。

8)应用授权

应用门户平台依托SOA、构件化、WebService、WEBAPI等技术,采用开放式平台架构,支持服务化架构和多种服务协议的接入。构建应用商店,实现从应用接入、应用审核、应用上架、应用推荐、应用使用、应用评价的全生命周期管理。实现以下功能(包含但不限于):

应用控制:实现对各类应用的接入、测试、审核、发布、生命周期的管理。

应用分类:管理员可自定义应用分类,将接入的应用进行分类。应用分类在门户首页显示。应用分类统一由管理员管理并向下继承。

应用监控与统计:支持应用数据统计,实现对各类应用的服务状态及调用过程中收集的信息进行监控,从机构类型、用户数等角度按时间期限进行统计分析,帮助应用提供方及时了解服务情况,为应用服务的持续优化提供直接的基础数据;也可以帮助应用消费方了解服务指数,实现应用服务的最佳使用。

应用搜索:提供便捷的一站式应用检索、使用、评价、评分、推荐等服务。

应用门户功能需满足多维度的分类属性和应用设置,例如用户群体分为教师、学生、家长;应用分类分为教育管理、教师发展、学生成长、课堂教学和在线学习。通过云应用商店可设置是否收费、是否提供免费试用,收费模式可以选择云服务租用或一次性买断。

9)数据开放标准

通过系统平台在全市范围内将上述信息与业务标准进行统一和规范,并以此为基础开展数据库及程序设计,汇总和分析各类数据,建立业务逻辑判断规则,对于与标准规范不相符的信息主动提示和预警,指导区属教育局、各学校有效开展相关测评工作,为不同类型用户提供信息服务。

学生基础数据标准

管理员通过本模块将《学生基础数据标准》以及《国家教育部教育学籍系统相关基础数据》相关条文作为基础标准,按照一定的数据模型录入系统,转换为系统可识别的信息规则,形成学生的基础数据。

教师基础数据标准

管理员通过本模块将《教师基础数据标准》以及《教师系统相关基础数据》相关条文作为基础标准,按照一定的数据模型录入系统,转换为系统可识别的信息规则,形成教师的基础数据。

学校基础数据标准

依据学构管理及机构管理标准,按照一定的数据模型录入系统,转化为系统可识别的信息规则,形成学校(机构)基础数据标准。

教育资产、教育数字资源等其它各数据数据标准均可依据同类方式形成基础数据标准进入大数据仓库。

4.公共数据服务及开放

公共数据服务系统作为教育大数据仓库对外的数据服务支撑,将数据以服务的形式推送出去,使数据需求者能够以申请服务的方式获取所需数据,以此完成包括教育系统之间的数据交换,以及市级部门之间的数据共享交换服务。该平台主要提供以下能力:

(1)数据资源管理

数据资源管理者借助该功能模块,依据规范的元数据描述,按照统一的标准将数据资源进行统一封装和编目,对数据资源进行新增和其他管理操作;同时平台管理者可对新增数据资源进行审核,以及对已发布的数据服务进行管理操作。

(2)数据资源申请

发布成功的数据资源可多维度地进行分类展示,用户可进行在线申请,申请通过后,用户即可通过调用接口、下载、查询等方式,完成对数据的访问、查询、获取等操作。平台支持三种申请类型:动态API接口、动态数据集下载以及在线数据查询。

(3)应用报备管理

对于需要申请平台数据服务的系统,需要通过应用报备管理,填写应用详细资料及报备信任IP,以此作为应用日后向平台申请数据服务的依据,以保证数据调用的安全性。

(4)数据实例管理

用户获取到数据后,也可对自己的数据进行停用、启用操作,同时系统支持用户在不停止数据使用的情况下,再添加或者减少数据字段;数据管理方也可对所有被申请的数据进行管理操作,可以对数据进行禁用、回收等操作。

1)数据共享平台

教育大数据中心的建设是一项基础建设,在建设过程中必须要考虑到中心的开放性、可扩展性。系统除对内、对外的响应程度开放外,还应全面考虑与教育系统的其他业务系统接口对接、无缝集成。因此,中心具备提供统一、规范的接口对各类服务和应用进行集成的能力,实现跨数据、跨应用和跨平台的无缝接入和集成,为各类用户提供快速、灵活的、个性化的综合信息服务。

采用分布式云架构设计,支持云上和云下进行部署,支持节点横向扩展能力。

2)数据开放接口

API接口

平台以公共资源信息库为基础,覆盖教师管理,学生管理,校园管理,学生体质健康管理等公共服务,对外开放数据服务接口,提供RESTAPI等接口方式。

数据调用

数据开放接口采用HTTP、HTTPS和SDK三种调用方式,用户按照规范拼装一个正确的URL,通过HTTP请求到接口平台,获取用户自己需要的数据。

数据推送

数据开放接口利用推送技术,通过用户订阅和数据标签服务确定数据推送标准,主动向接入平台的客户端传送数据而无需其发出请求,将数据推送至其他业务系统、推送至手机、推送至桌面,将数据信息推送至与管理者最接近的地方。

3)数据开放门户

数据搜索

通过输入搜索关键字,可按应用主题、数据来源、行业领域或全部分类搜索。

数据导航

通过数据开放门户的数据导航,快速定位自己所需的数据。

数据浏览

通过数据开放门户的数据浏览,用户可以查看数据简介、数据来源、源数据、数据类型、数据格式、调用方式等,通过数据调用、数据订阅等调用方式,系统可获取用户所需的数据。

数据订阅

通过数据开放门户的数据订阅,用户可以按需订阅数据,订阅成功后,数据开放平台将根据订阅标准主动定期向用户应用系统接口或数据库推送订阅数据,而无需用户主动调用或下载数据。

接入规范

开放门户提供技术接入规范和安全接入规范,提供HTTP、HTTPS、SDK三种接口调用技术规范说明。

日志管理

日志管理模块主要负责日志采集、存储、归档,提供日志查询统计功能,针对数据开发接口和数据开放门户,记录用户的访问日志、操作日志、登陆日志。

数据应用

数据开放应用以开放数据资源为基础,企业、公众可以通过数据开放平台的数据接口对数据进行再加工和利用,开发出个性化的便民服务应用,提升民生服务质量。

5.数据采集交换

数据采集系统实现将西安市各级教育业务系统、省部垂直系统、省大数据仓、互联网、物联网、第三方教育应用的数据汇聚。

数据采集系统不仅支持关系型数据进行批量采集,也支持非结构化数据进行流式采集,最终实现各个来源的异构数据跨域汇聚。同时系统对所有采集任务提供统一的调度机制与监控机制,在任务异常时能够及时告警,为整个采集过程提供了可靠、可观、可控等操作保障,最终实现各个来源的异构数据跨域汇聚。

对于无法通过采集系统直接采集的数据,可以通过数据直报平台,以统一的数据模板上传数据。

数据抽取阶段,同时支持与存放DW的数据库系统相同或不同的数据源的接入,同时考虑数据库、API与不同文件类型数据源的数据的抽取。同时要求在数据清洗阶段,通过数据质量检查系统,将不完整数据、错误数据以及重复数据进行过滤,将满足相应质量检测规则的合格数据汇聚到西安教育大数据仓,完成数据的整体汇聚过程。

最后,对不一致数据进行转换统一,将业务系统数据按照数据仓库粒度进行聚合,并根据不同的业务规则、数据指标进行计算并存储在数据仓库中,以便分析使用。

1)数据交换平台

数据交换平台能够解决基础数据从已建设系统的采集以及基础数据与应用系统之间的数据交换,实现数据共享。通过建立前置数据采集引擎采集数据,建立智慧教育数据交换引擎实现教育基础数据库与应用系统和各应用系统之间的数据共享。同时根据建立的数据交换可视化服务对数据交换过程进行监控。

为全面考虑数据交换的应用场景,设计采用前置机+数据交换中间件实现数据库之间批量数据交换,采用手工上报系统实现信息化建设较弱部门的数据交换问题,采用数据服务平台实现一些仅可通过API方式进行数据交换的场景。

数据交换平台数据交换示意如下:

提供数据集成工具,通过数据接口进行数据的抽取、加载、转换映射,完成从源头目标的数据交换。实现数据的双向传递,同时提供过程的调度和监控。

数据交换服务采用轻量级的分布式作业调度框架,实现任务在集群里面的分发,同时具备并行工作的能力、负载均衡处理的能力。支持适配各种主流数据库,包括但不限于Oracle、MySQL、SQLServer等。

数据交换中心作为教育大数据平台中各应用系统之间的数据中转站,完成数据共享、交换功能,可实现应用系统间无人值守的数据传输与交换。

2)数据访问服务

数据访问服务系统将大数据平台与各系统和应用进行有机连接和整合,确保各类子系统与应用服务稳定、正确的提供服务。对基础信息数据库进行封装,提供一个高效的数据访问服务平台,保证数据访问逻辑的统一,保证数据内容和编码的规范。当数据达到一致性、完整性要求时,数据将由公共数据缓存库转存到基础数据发布库中,并通过数据交换系统以订阅/发布的方式提供给各学校和应用使用。

3)数据资源目录平台

构建全局统一的教育数据目录系统(以下简称“目录系统”),提供教育数据的编目、发布、发现和定位服务,支持全市范围内跨部门、跨地区的普遍信息共享,为“最多跑一次”“教育大数据”改革等相关教育数据应用提供一份完整、权威的公共数据清单。

功能有资源编目登记、资源目录审核、资源注册、信息资源管理、信息资源发布、信息资源订阅。

6.西安市教育大数据API标准体系建设

制定教育数据管理规范,建立数据基础、数据管理、数据运行维护、数据应用等标准体系,确保西安市教育信息资源有序共享、开放和使用。规范西安市教育基础数据标准,实现与国家、省市的教育基础数据标准保持一致,数据标准体系为业务运作和信息化建设提供所需要的技术基础。包括术语标准、元数据标准、信息分类编码标准、数据模型标准、数据交换标准等。

1)基础数据标准规范

(1)术语标准

术语是指在专业领域中特定概念的词语指称。为了使基础数据库信息系统的数据不产生歧义数据的使用者必须从数据元登记系统中获得关于数据的描述从而理解数据的含义这就要求数据必须得到充分的、唯一的描述术语标准。

(2)数据元标准

数据元是数据的基本单元。数据元的标准化是解决基础数据库中基础信息的定义、格式不统一的根本方法。

(3)信息分类编码标准

在进行标准建立时,不能只站在教育局的层面看数据标准,还需要站在各个数据使用者的角度上进行数据规范设计。

2)标准体系建设内容

(1)建立西安市教育大数据中心基础标准

(2)建立西安市教育数据管理标准

(3)建立西安市教育数据运行维护标准

(4)建立西安市教育主题库相关数据标准规范

包括基础信息结构体系规范、基础信息标准、基础信息分类标准、基础信息元数据规范、基础信息更新管理规范、基础信息交换与共享标准等。

(5)建立西安市教育数据安全管理标准

建立集中统一的信息安全保障机制。明确数据采集、传输、存储、使用、开放等各环节的信息安全范围边界、责任主体和具体要求。

(6)建立西安市教育大数据交换标准

数据交换标准是为了实现不同系统之间的信息共享和沟通而建立的一套通用的数据文件的格式,以保证交换的数据在各个系统之间的准确路由,同时对于各数据源中数据采集和输出提出统一的消息模型,确保采集和输出的数据准确的表达和理解。基础数据库的数据共享和交换标准,主要对进行技术约束定义数据交换组件的模型和框架描述数据交换文档XML模式对根结构、控制信息元素、业务数据元素、安全策略等进行详细说明。

包括:市、区(县市)、校教育管理基础数据库(遵循《教育部教育管理信息化标准》);

市、区(县市)、校级基础数据标准化交换系统;

数据标准的管理参照标准(部颁标准)管理,同时提供批量导入标准的功能。主要参照:

信息系统安全等级保护基本要求(GB/T-)(应用类建设标准)

信息系统通用安全技术要求(GB/T-)(应用类建设标准)

信息系统等级保护安全设计技术要求(GB/T-)(应用类建设标准)

《教育管理信息教育管理基础代码》

《教育管理信息教育管理基础信息》

《教育管理信息教育行*管理信息》

《教育管理信息教育统计信息》

《教育管理信息普通中小学校管理信息》

执行标准(区域标准)管理:用于维护各个执行标准表中的数据以及与对应参照标准表之间的映射关系。用户可以对执行标准进行增删改、变更、废止、启用、合并和拆分等操作,支持批量导入、导出标准。

7.全员学生库

建设面向西安市学生的全员学生库,学生范围包括:学前、中小学、高中、中专院校在校学生信息,全员学生库中包括:个人学籍信息、学业成绩、兴趣特长、品德表现、艺术素养、体能素质、运动健康、教育活动、创新实践、奖励处分、资助信息等信息。

全员学生库不低于个字段,提供长效的数据更新和校正服务工作,保障全员学生库内数据的实时、鲜活、准确。同时提供全员学生库的查询、统计分析、数据引用和接口服务等应用服务平台。

8.全员教师库

建设面向西安市教师的全员教师库,教师范围包括:学前、中小学、高中、中专院校的全员教师信息,教师的主要信息包括:基本信息、学习经历、任课经历、资质信息、荣誉惩罚信息、履历单位信息、历年考核信息、所教学生的成绩信息、教师的教学履历、教学能力、教师的资格评定结果信息、教师科研信息、流动教师教学职称等级等。

全员教师库不低于个字段,提供长效的数据更新和校正服务工作,保障全员教师库内数据的实时、鲜活、准确。同时提供全员教师库的查询、统计分析、数据引用和接口服务等应用服务平台。

9.教育资产库

教育资产库主要面向全市教育局各部门、中职学校(可选)、中小学等,对所有有形资产和无形资产做全面的建仓和管控,提供资产的更新和统计分析服务,为西安市教育局宏观决策和定向分析做数据支撑。

教育资产库主要包括:机构部门(含学校)基本信息、人员结构组成、机构部门(含学校)区域、类型、生源、固定资产、师资力量、财务状况、经费使用、学生培养等内容。

基础库、主题库的建设服务主要是面向结构化数据记录、半结构化文本等具体数据内容建立标准化的数据处理模式,提供数据提取、清洗、转换、关联、比对、标识等规范化的处理流程。

10.构建西安市教育大数据后台

建设强大西安市教育大数据平台,实现西安大数据治理与管理平台并提供数据资产的全生命周期的管理。

1)数据源管理

数据源的信息相对繁杂且变更频率较低,为了提高工作中的配置效率,数据源管理模块进行所有数据源信息的统筹管理。

(1)基础维护:要求支持各种数据源,可以兼容各种关系型数据库mysql、sqlserver、oracle、DB2等,以及非关系型数据库hive、kylin、spark、impala等等,还应支持csv、excel等文件数据来源,同时应支持API接口的数据源接入。

(2)联通测试:对各种数据源进行相对应的参数配置,对于已配置的数据源信息,能测试连接是否成功。

2)主数据管理

支持多种方式授权,支持多种OLAP框架。按单位授权、按个人授权、公开、私有等多种类型的数据模型共享范围设置,支持批量授权。

支持新建数据模型、并设置多种维度、指标。

提供可视化自定义派生分析指标和维度,用户应能选择单位、年级、班级等维度,自行建模。提供最大值、最小值、合计值等基本统计功能。

支持针对不同的类型(如mysql、kylin)等设置自定义模型。

显示各类表单信息,支持新增表单,添加字段、设置分类、栅格布局、多种布局方式如左对齐、右对齐等。

显示各类模板信息,支持新增模板、批量授权。新增模板支持设置新增检索字段和列表字段。支持查看详情、日志、进行预览和删除。

显示各类数据集,支持按照数据集名称或元数据名称查询,新建、编辑、删除数据集。

显示各类接口,新增接口,支持按照接口名称、元数据、类型、版本筛选查找。

支持输入元数据名称查询数据标准。

3)数据治理平台

数据治理平台提供一站式数据治理服务,可以将分散、多样化的数据进行登记、汇集、标准化、清洗、整合等操作处理,实现对数据的分布和动态变更情况的追踪,实现数据抽取、转换、装载等步骤,有效去除错误和冗余数据,将大量庞杂而难以整合的数据过滤,以保证数据的准确性,提升数据质量,同时支撑对数据进行全面的业务化、规范化。

提供元数据管理、工作流管理、数据授权管理、系统管理、数据血缘管理跟踪(记录数据的来源和去向),以及数据质量中心,对不合格数据告警,实现高效存储与维护。通过多种数据清洗方式、脱敏算法,实现数据质量的提升;同时建立异常数据预警智能防控机制,动态监测预警信息,提供全方位的监管能力。

其中脱敏算法应包含哈希脱敏、遮盖脱敏、变换脱敏、加密脱敏等常规算法。

4)数据质量管理

在数据共享、数据分析过程中要保障良好的数据质量,为了保证数据质量的稳定和可靠,需要构建一套数据质量的管理体系,为数据共享和分析工作提供强有力的系统支撑。

在对数据进行清洗比对时,发现数据质量存在问题的数据,将由系统直接把问题数据反馈给相关部门,保留比对痕迹,由相关部门进行问题判断、数据认领或进行异常分析处理。

要求能围绕完整性、准确性、一致性、及时性监控分析数据质量问题,提升用户数据量。

应支持自定义数据质量,实时查看数据质量分析报告。应支持在数据调度过程中自动完成数据清洗。应支持统计、查看、删除、生成报告。

报告包含数据质量综合指数、数据质量均衡度等分析,能够查看数据质量均衡度各维度的走势图。

支持数据集管理包括新建数据集、删除数据集格式化数据、共享、数据集预处理等。实现数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动。支持数据质量监控、数据质量设置、数据质量管理。

5)数据智能决策分析系统

数据智能决策分析系统以教育大数据为基础,实现与现有系统数据的整合,融合校园管理数据、综合素质评价和学生动态数据等,搭建一套集应用管理、综合服务为一体的数据应用平台,提供综合评价分析等多方面的动态分析报告,将统计数据信息有效应用于教育决策,破解热点、难点问题,发挥监测、评价、预警以及预测功能,为教育管理、决策、教育发展提供科学依据。

二、教育管理综合服务平台

西安教育管理综合服务平台为西安市教育管理综合服务平台(互联网+教育大平台)应用集成工作页面,实现西安市教育局面向各业务处室和各类管理人员的综合性门户平台,具备统一用户管理、统一权限分配、统一认证对接、统一消息机制、统一门户入口等特点。一是定制门户首页,可显示自定义的功能模块,重要信息及排班信息一目了然;二是将已经运行的西安市教育电子地图系统无缝嵌入到新建的综合服务平台中;三是将西安市教育局各业务处室目前在用的业务系统的入口统一到新建的综合服务平台中,具备统一认证条件的实现单点登录。

1.*策信息发布平台

要求支持以短信、邮件、第三方消息(

1
查看完整版本: 西安市教育大数据平台二期项目