工程教育认证毕业要求达成评价的国际比较
为庆祝我司取得国家级高新技术企业资质证书及国家级科技型中小企业资质证书,现将我司自主研发的专业认证辅助系统--OBE教学设计与形成性评价系统,永久免费开放给各位高校教师使用,请点击以下链接进入。
作者简介:范瑜,北京交通大学教授,中国工程教育认证协会电子信息与电气工程类专业委员会学术委员,华盛顿协议周期审查组(ORT)专家(斯里兰卡组)。 原文刊载于《高等工程教育研究》2023 年第二期 80-86 页。
摘 要:我国工程教育认证十多年实践取得了宝贵经验,也存在一些值得研究的问题,如毕业要求达成评价方法中是否要将毕业要求分解、是否要让所有必修课参与定量评价等。为寻求这些问题的答案,对华盛顿协议成员的自评报告和研究论文进行了研究,重点对四份美国工程与技术认证委员会认证自评报告进行了分析,对我国毕业要求的评价方法与过程提出了改进建议。
一、引言
我国工程教育认证经过十多年实践取得了很多宝贵经验,但实践中也发现一些值得研究的问题,如毕业要求达成情况的定量评价,目前通行方法是用课程考核成绩分析法,该方法一般过程如下(各专业实际操作存在差异):先把毕业要求分解为内涵观测点(分解指标点),然后确定支撑每个内涵观测点的课程。支撑课程根据学生“广义作业”(试卷、作业、报告、设计等)考核结果计算与课程目标相关试题的 平均得分与总分之比乘以权重后,得到对该课程目标达成情况的贡献,再对所有贡献求和,得到该课程目标的达成评价值。然后,根据课程目标对内涵观测点的支撑情况,算出各内涵观测点的达成评价值。在专业层面上,毕业要求的所有内涵观测点达成评价值,分别由所有支撑课程对各内涵观测点的达成评价值加权求和,在求和的各结果中取最小值,就得到该项毕业要求的达成情况。课程考核成绩分析法能比较准确、客观反映学生整体毕业要求达成情况,但得到的课程目标和毕业要求达成情况是学生的平均值,不能反映学生个体情况。另外,课程目标应直接支撑毕业要求还是支撑内涵观测点,存在不同意见。所以,如何采用更合理的毕业要求达成情况分析方法,成为讨论热点。[1]
要对上述问题给出有价值的结论,应研究工程教育认证历史更长、范围更广的国家和地区的经验。由于华盛顿协议(“华协”)各成员通用标准没有关于毕业要求如何评价的具体规定,所以,要全面了解各国工程教育认证毕业要求的具体评价方法,应直接查阅“华协”成员的自评报告。
由于“华协”没有统一的认证标准,只下达了指导性文件《毕业生属性与职业能力》[2],所以“华协”成员都制定了本国(地区)认证标准。这些标准多数只在毕业要求项采用“华协”指导性文件的标准项,其他标准项自行制定,但多参考美国工程与技术认证委员会(ABET)标准,少数成员几乎完全采用该标准或略作修改。
美国工程与技术认证委员会是“华协”发起组织之一和最早成员,也是工程教育认证历史最长、制度最完整、参与认证专业最多的成员,且网上可查阅到很多自评报告。因此,本文主要对该委员会自评报告中毕业要求达成情况的评价方 法进行研究。
关于“毕业要求”的英文表达,华盛顿协议称其为“毕业生属性”(graduate attributes),ABET 标准 2011 年前称“专业产出”(program outcomes),2011 年改为“学生产出”(student outcomes),我国曾译为“graduate outcomes”,2022 年版《工程教育认证标准》的“术语和定义”译为 graduate attributes,与“华协”一致。本文一般叙述采用“毕业要求”,但介绍具体自评报告时,根据原文直译为“专业产出”或“学生产出”,同时将“达成情况评价”按原文简称为“达成评价”。
二、“华协”成员自评报告中毕业要求的分解方法
2010 年前,不论是“华协”各成员通用标准还是各专业自评报告,都没有对毕业要求进行分解的要求或操作,毕业要求达成评价主要依靠定性和简单定量评价,美国工程与技术认证委员会和我国大约十年前均曾采用这种方法。目前部分亚洲“华协”成员仍然采用这种处理方法,但这种方法显然不适合毕业要求达成情况的直接定量评价。
2011 年之后,美国、加拿大、澳大利亚、中国大陆等在自评报告中对毕业要求进行分解的专业逐渐增多,其中加拿大、澳大利亚甚至在通用标准或自评报告指南中明确要求对毕业要求进行分解。但毕业要求的实际分解方法仍存在不同。国内外自评报告中毕业要求的分解方法分为三类,且有各自优缺点:
第一类:专业层面将毕业要求分解为“二级指标点”(performance indicators,PI),美国工程与技术认证委员会对该术语的解释是“对学生产出关键特性所做的具体、可衡量的陈述”,使教师“一看就明白”,其意义与我国的“内涵观测点”相同,但这类方法不制定具体课程目标。我国 2014-2017 年间曾采用这类分解方法。该方法由教师自行确定某课程考试题与相应内涵观测点的相关度,达成情况定量评价过程比较简单,但某次试题与内涵观测点的相关度取决于教师的主观判断,不利于形成稳定的评价机制,各门课程之间的评价尺度不容易平衡。
第二类:毕业要求不分解为“二级指标点”,而是直接分解为课程层面的“三级指标点”,也称“次分解指标点”(sub-indicators),即课程目标。我国习惯上把这种方法也看作对毕业要求不分解,即课程目标直接支撑毕业要求。但国内尚未见到采用这种方法的。该方法在整个专业层面有标准化的“课程目标集”,优点是容易做到各门课程的评价结果比较平衡、方法简洁,有利于形成稳定的评价机制;但由于没有内涵观测点作指导,教师对毕业要求内涵不一定有深入理解,需要在专业层面对毕业要求直接分解为“课程目标集”时做较多工作。
第三类:毕业要求先分解为二级指标点,再分解为三级指标点(次分解指标点,课程目标),既有毕业要求的内涵观测点,也有各门课程的课程目标。近年美国工程与技术认证委员会多数认证专业采用这种分解方法。我国 2017 年后普遍采用这种方法。要指出的是,课程目标不是对二级指标点的再次“分解”,而是根据课程内容对二级指标点某方面所做的更具体的描述,美国工程与技术认证委员会自评报告中经常是一对一的。该方法的优点是可由教师对照内涵观测点自行制定课程目标,容易形成稳定的和各门课程平衡的评价机制,缺点是达成评价比较繁琐。
目前,我国几乎 100%的自评报告毕业要求都采用第三类分解法。美国工程与技术认证委员会自评报告则三类都有,以第三类为主,也有少数自评报告不作任何分解。我国的认证《通用标准》没有要求对毕业要求必须进行分解,美国工程与技术认证委员会通用标准与自评报告撰写指南也没对毕业要求进行分解的任何要求。
能够查阅的加拿大、澳大利亚、中国香港等“华协”成员的自评报告较少,但有较多的研究论文,对毕业要求基本采用第三类分解方法。其中,加拿大在 2010 年由女王大学牵头,多校参加的“工程教育认证毕业要求研究项目”提出了毕业要求达成评价的“六步法”过程[3,4],明确提出毕业要求的评价应首先给出专业层面的分解指标点,指出“分解指标点提供了与毕业要求相关的、可测量特征更具体的描述”。加拿大工程师学会的自评报告模板[5]不仅规定要将毕业要求分解为指标点,还定义了“次分解指标点”(课程学习产出),即课程目标。
近年印度的 16 份自评报告,新加坡、巴基斯坦各一份自评报告、斯里兰卡 4 份自评报告,均未对毕业要求进 行任何分解。中国台北的 6 份自评报告也没有对毕业要求(“核心能力”)进行任何分解。
三、自评报告的毕业要求达成评价方法
美国工程与技术认证委员会自评报告的数量最多,毕业要求达成评价方法也最多。在 80 余份 2004-2021 年的 ABET 专业自评报告中,剔除 2-3 年制专业和过于简单的报告,选出 67 份对毕业要求(专业产出/学生产出)达成情况的评价方法进行分类统计,结果显示:
2004-2013 年的自评报告中,专业产出/学生产出的达成情况多数仅依靠支撑产出课程的考试、高年级设计(capstone project)和本科毕业论文的成绩来评价,这种评价方法的缺点是:把课程成绩的高低单纯等同于毕业要求“达成度”的高低。虽然有的专业在教师的产出评价表中有类似分解指标点的量规(rubrics),但不是对每个学生评价,仅要求在问卷中按量规回答该课是否达成产出,客观性 难以保证。[6] 这一期间,很多专业主要依赖多样化的间接评价(如组织学生论坛、学生随堂调查、毕业生调查、实验调查、工程咨询委员会反馈、鼓励学生参加“工程基础统一测试”等)。2005 年以后,有的学校逐步加强直接评价比重,但仅把全体学生各考试题平均成绩对照未分解专业产出进行达成评价,且也可单独选择实验报告或家庭作业进行评价。[7]
最早对专业产出进行第二类分解的,是 2008 年耶鲁大学化学专业的自评报告。该自评报告将这种分解指标点称为“表现标准点”(performance criteria)。[8] 目的是便于对每门课、每个同学的每个三级分解指标点,借助量规表进行定量详细评价。2020 年该专业自评报告放弃了这种分解方法,但该方法却被该校同年认证的电气工程专业与机械工程专业所采用。2011 年以后,美国工程与技术认证委员会一些现场考查报告常出现“学生产出评价方法单一,仅借助于专业设计和毕业生调查”“学生产出达成评价的方法不够细化”之类结论。这些权威结论对专业产出定量分析起到了导向作用。首次对学生产出进行第一类分解的是 2011 年阿拉斯加费尔班克斯大学土木工程专业。该专业 2005 年认证被现场考查组指出“专业严重依赖于专业设计课程和高年级调查,应开发其他评价产出的方法”。为方便评价每个学生的产出,2011 年该专业的自评报告运用布鲁姆分类理论,提出“可衡量的表现标准点”方法。分解后的二级指标点称为“表现标准点”(performance criteria),但耶鲁大学这个词组指的是三级指标点或课程目标。该专业没有给出课程目标,虽然采用量规表,但直接将各门课程对照二级指标点进行评价。[9]
2013 年参加 ABET 认证的菲奇堡州立大学计算机科学专业采用的分解方法与耶鲁大学化学专业类似,也属于第二类分解,即提出一套课程目标。该专业首次引入管理学的“绩效指标点”(performance indicator)命名三级指标点,并注明“等同于课程目标”。[10]
2011 年以后,美国工程与技术认证委员会通用标准用术语“学生产出”(student outcomes)取代“专业产出”(program outcomes),各工程专业产出评价重心进一步下移并聚焦于每个学生。受 2010 年加拿大的第三类分解方法影响(ABET 认证专业一般都参加加拿大“双边工程师协会”),2014 年以后,一些 ABET 自评报告逐渐出现第三类分解方法。performance indicator 术语经常用来指学生产出的二级指标点。
2014 年以后,不仅采用直接定量评价成为主流,且用第三类分解方法加量规表对学生个人的产出进行定量评价的方法,被越来越多的专业所采用。据统计,2004-2013 年 34 份美国工程与技术认证委员会自评报告采用指标点分解方法和量规表的只有两个,均仅 5.9%;2014-2021 年 33 份自评报告采用指标点分解方法对学生产出定量评价的占 64%,其中采用第三类分解方法的占 60%,采用量规表进行课程目标达成评价的占 79%。
四、代表性自评报告毕业要求达成评价方法分析
美国工程与技术认证委员会自评报告中毕业要求达成评价方法各不相同,各有优缺点,值得借鉴。具有代表性的 4 份自评报告的详细分析显示,四份报告依次对毕业要求(专业产出/学生产出)采用了不分解、第一类分解、第二类分解和第三类分解方法。
1.加利福尼亚大学河滨分校电气工程专业
加利福尼亚大学河滨分校(University of California,Riverside)电气工程专业 2012 年通过美国工程与技术认证委员会认证,该专业 2012 年自评报告显示:[11]
该专业 2006 年参加上一次美国工程与技术认证委员会认证,当时 ABET 工程认证分委会对专业产出给出的结论草案是“虽然已进行一些评价,但似乎并没有充分衡量所有产出,也没有显示所有产出的成就”。经过 2007-2009 年整改,该专业通过认证,有效期 6 年(2006-2012)。
(1)课程层面评价方法。报告给出了 15 门必修课和 17 门选修课与学生产出的关联矩阵,但专业层面没有对学生产出进行分解,也没有制定课程目标集。矩阵除大四设计项目支撑全部学生产出外,其他必修课全部只支撑 2 个学生产出。该专业认为,一门课程可能涵盖更多的学生产出,但大多数课程中很难直接衡量超过 23 个学生产出,因此决定将重点放在每门课程支撑学生产出最强的 23 个学生产出上(相当于我国支撑强度 H 的课程)。
对每门课程和每个学生产出,教师至少确定一种工具(作业、测验、考试等)直接衡量学生产出方面的表现,但衡量过程没有使用量规表。以“电气工程中的概率和随机过程”课程为例,其课程目标共 7 项,但只选最主要(相当于我国 H 强度)两个目标 A 和 E 参加评价。高年级 设计的评价用很大篇幅举例介绍,基本属于定性与定量评价结合。
每门课程结束时,要求选课学生完成一个简短的调查。通过课程工具和课程结束调查对学生产出进行评价,再加上学生对教学评估的意见和学生测验、考试和作业的表现,以及教师和学生间的讨论,为教师和全体教师提供有关课程中学生成绩的信息。教师在“持续改进表”中总结建议,为下次课程提供可能的改进。
(2)高年级学生毕业调查。学生毕业前进行的高年级毕业调查提供了有关学生产出的信息,需要分析过程中予以考虑。由于这些结果是定性的,且是整个课程体系的平均结果,因此主要被作为专业层面学生产出的附加反馈信息。
(3)专业层面学生产出达成情况的评价。专业层面每项学生产出是根据所有相关支撑课程的平均成绩,由电气系美国工程与技术认证委员会认证事务委员会分析后得出结论。专业层面每项学生产出达成评价结果以达成度平均值的形式给出。如果任何学生产出的衡量值低于 0.7,系主任将与本科委员会和全系教师合作,分析课程需要进行哪些改进以更好达成学生产出。