第22章 、各地调研报告地厅(14)

　　（2）第二部分。在“培训内容需求调查”中，调查内容涉及政治素质、思想素质、道德品质、观念素质、心理素质、知识素质、能力素质、体能素质共8个方面的素质，并细分为若干项具体素质。其中，知识素质又分为政治理论知识、政策知识、法律法规知识、经济知识、管理知识、本单位专业知识、哲学知识、公文知识、科技知识、思维科学知识、外语知识、计算机知识等12类知识，其中前5类知识再细分为若干种学科知识。这种“层层分解式”素质调查的设计目的，是为进行比较和综合研究提供依据。为此，我们还特意设计了“知识素质综合调查”和“综合素质调查”两个大题。

　　第二部分问卷采用表格式，共分为5列。其中，第1列和第2列的目的是调查“合格的局级公务员的应有素质”，第3列和第4列的目的是调查局级公务员任职培训“参训者的现有素质”，第5列的目的是调查哪些素质项目应列为行政学院任职培训的“参训项目”。在第1～5列中，均包括“自评”和“他评”，其目的是为“分类比较研究”提供数据。其中，第3～4列采用“基数评分法”，目的是既有利于“自评”同“他评”的比较，又有利于知识素质中“自评”同“客观测试”进行比较。在第1～5列中，无论采取不同的特殊符号和数字符号，其共同目的都是为了对调查项目进行“结构性分析”。

　　（3）第三部分。在“任职培训形式需求调查”中，调查内容涉及入学制度、课程设计需求调查、课程选修、教学方法、考核形式、师资结构、教材形式、培训成绩的功用、对武汉市行政学院处和科级任职培训的总体评价和专题教学评价等10个方面，其目的是为研究局级公务员任职培训的“培训形式需求”提供“主观性评价”意见，同时也为比较“自评”和“他评”的意见提供依据。

　　关于问卷设计的具体情况，请参见“附件一”。

　　3.统计设计被调查者填写调查问卷以后，有关数据如何处理是一个重要问题。在统计设计上，我们根据调研需要和问卷的特点，采取了以下做法。

　　（1）人工统计。由于问卷所要调查的选项高达834个之多，如用人工统计，其工作量之大相当惊人。但是，正因为问卷的选项多，就决定了问卷不适宜于采用“机读纸”的填写方式。否则，问卷填表的工作量太大，填表人将不堪重负，会导致草率从事，严重影响调查信息的信度。因此，只能“两害相权取其轻”，在统计时采取人工作业的方式。

　　（2）分类统计。根据研究思路和研究方法，我们对已经填写好的问卷采取了分类统计的方法。首先，是分为“自评”和“他评”两大类。

　　其次，将“自评”分为两小类，一类是任职2年以下的局级公务员的自评，一类是45岁以下处级公务员自评。再次，将“他评”分为对“局级参训者的他评”和“对处级参训者的他评”。最后，再将对局级和处级公务员的“他评”都分为3种他评，一是任职3年以上“局级公务员”的他评，二是46岁以上“处级公务员”的他评，三是“其他干部”的他评，“其他干部”是指“非公务员”，包括在地方党委、人大、政协、法院、检察院、群团、企业、事业单位工作的局级、处级干部。

　　（3）统计结果的数据表达形式。

　　百分数：对问卷第一、三两个部分和第二部分的“第2列”的统计数据，都采用百分数的表达形式，以便进行“应有素质”的结构性分析和相关性研究。这些百分数均为同类项选择人次占有效填表总人数的百分比。

　　序数：对于第二部分第2列和第5列的统计数据，都采用序数的表达方式。在统计时，是先统计有关百分数，再转换为序数。

　　基数：对于第二部分第3列和第5列以及“客观测试”的数据，其统计结果都采用基数表达方式，即计算“算术平均分”，换算方式为评分累计分数除以有关参评人次。

　　（4）统计表设计。分类统计表：即根据问卷的结构和内容，分别设计同文件相对应的若干张分类统计表，这些分类统计表同样是“有分有合”，即有“大类”与“小类”之分。

　　统一编制统计表代号：即用“表××”或者“表××一×”的方式对统计表统一编制代号，其中，“表××”代表问卷的“第×大题”，“一×”中的“×”代表“第×小题”。无论大题和小题，其分类统计表代号和问卷的大、小题号都完全对应。有关分类统计表的具体结构和内容，请参见“附件二”二、问卷调查和数据分析研究（一）实施调研的基本情况1998年2～6月，我们进行了第一轮调研，先后到市直属局委办和区政府14个局级单位同80多名局级公务员和50多名处级公务员进行访谈调查，并设计、印发了400份调查问卷，并在统计、研究后形成了调研报告的初稿。

　　1998年7～10月，我们进行的第二轮调研。首先，重新明确研究思路、重新设计问卷。其次，重新进行调查，包括问卷调查和考试测试。在问卷调查中，共计实发问卷206份。其中，178名填表人是在市委党校、市行政学院培训的学员。在调查时，要求填表人集中在教室里即填表即回收。这些学员包括2个处级公务员任职培训班、1个党校局级干部进修班、1个中青班的学员。在调查中，绝大多数填表人态度认真或比较认真，一般填表时间为1个半至2个小时，最长的达2个半小时，最快的为40分钟。此外，有28名任职两年以下的局级干部在校外填写了调查问卷。这次问卷的填表人都是处级以上干部，职务级别和文化程度都比较高。统计结果显示，在190名“有效问卷”填表人中，学历结构为大专生占42.1%，本科生占46.8%、硕士研究生占8.9%；博士研究生占1.1%、高中生仅占1.1%。在专业技术职称结构上，中级职称者占61.2%，副高职称者占17.9%，正高职称者占3.0%。

　　在190份“有效问卷”中，属于“自评”的占70份，其中任职2年以下的局级公务员“自评”占35份，45岁以下的处级公务员“自评”占35份；属于“他评”的占120份，其中任职3年以上的局级公务员“他评”占40份，45岁以上的处级公务员“他评”占40份，其他干部（即“非公务员”的局、处级干部）“他评”占40份。按每份问卷预设674个选项计算，190份“有效问卷”中需处理的原始数据多达12.8万多个，并只能进行人工统计。因此，我们组织了由15人组成的统计专班，连续加班加点地工作整整7天，才取得第一轮统计数据3196个。此后，我们又对3196个原始数据进行了多轮次多种类的专题分类统计与分析，取得了近千个分析数据（见附件三、附件四、附件五）。

　　在“客观测试”调查方面，我们仅就“知识素质”出了一套试题，题目的覆盖面大，接受测试的处级干部有95人，评分阅卷后，只对35名45岁以下处级公务员“参训者”的分数进行了统计，以便同其有关知识素质的“主观评价”相比较。最后，在问卷调研、客观测试和访谈调查的基础上，撰写出本调研报告。

　　（二）问卷统计数据的分析与研究

　　1.统计数据的信度效度分析研究

　　经过分析研究，我们认为这次问卷调查取得的数据有较高的信度和效度，其主要表现有以下几个方面。

　　（1）问卷填写人态度认真，其意见因本人类别不同而存在较大的合理性差异，反映出了填写人的真实看法。在前述分类法中，我们已介绍了将问卷填写人分为两大类5小类，在统计分析时也是按这种分类进行研究的。统计数据显示，各类填表人的意见在多数情况下有一定或者较大的合理性差异，说明填表人因所属类别不同，看问题的角度也不同，但态度是认真的，否则就会图省事而出现不当性“意见一致”的局面。这一点，在“特有素质”的选择和排序、“现有素质”的评分、“参训项目”的排序上都可以反映出来。如前所述，多数填表人填写问卷的时间一般长达1个半至2个小时，有时长达2个半小时，如此认真，统计数据才可能出现较大的合理性差异，这种差异反映出了填表人的真实看法，因此统计数据在“主观表达”方面具有相当高的“信度”，并且对满足“培训需求”的调研目的来说是有用的，总体上具有较高的“效度”。

　　（2）知识素质“参训项目及排序”的统计数据符合“分类培训”的客观规律。在本次调研中，仅对知识素质进行了分类调查和分类统计。统计结果表明，处级公务员因本人工作性质不同，其参加局级公务员任职培训的“知识素质培训需求”也不同。按知识素质前3项“参训项目及排序”统计，党群工作类公务员培训需求的先后排序为：政治理论知识、法律法规知识、政策知识；政法工作类公务员的排序为：

　　法律法规知识、政策知识、本单位专业知识；经济管理类公务员的排序为：管理知识、经济知识、政策知识；文教科卫类公务员的排序为：

　　计算机知识、外语知识、公文写作与处理知识；专业技术类公务员的排序为：现代科技知识、计算机知识、本单位专业知识；其他管理类公务员的排序为：计算机知识、政策知识、现代科技知识。

　　（3）参训者队伍的“现有素质评分”呈现“两头小、中间大”的数据分布特征，基本符合实际情况和一般规律。这是问卷调查中，要求对局级公务员任职培训“参训者”队伍的整体性“现有素质”进行评分，共设计了104个子项，根据表17和表18的数据进行再统计，结果是评为“优秀”的为3～8项，评为“不合格”的为0～2项，而评为“良好”的项数为67～83项，基本合格的为16～30项，呈现出“两头小、中间大”的数据分布特征，基本符合干部队伍的实际和一般规律。

　　（4）在局级任职培训的“参训项目及排序”选择上，填表人综合考虑了培训项目的重要性、可行性和效益性等多种因素。根据附件二有关数据的分析，我们认为填表人采取了以下选择标准：

　　第一，“应有素质重要程度标准”：即某项素质在“应有素质及排序中”中居于前列或中列位置，“现有素质”的评分虽为“良好”（指合格）甚至“优秀”等级，但仍被列为“参训项目”并居中列以至前列位置，目的是为了“优化”局级公务员队伍的素质即“培优”。

　　第二，“现有素质差距标准”：即某项参训者“现有素质”被评为“中”（即基本合格）或者“差”（即不合格），就被列入“参训项目”，目的是进行“补差”。

　　第三，“可行性、效益性标准”：即按前两项标准，本应列入参训项目，并可能居前列或中列位置，但考虑到任职培训的时间短、这些素质项目参加任职培训的效益差等因素，就将其列居参训项目的后列或中列位置。

　　由此可见，填表人对调查选项的选择、评价和排序上是慎重的，具有较高的信度和效度。

　　（5）我们对“参训项目及其排序”的信度效度进行了初略的逐项评估，评估结果是具有较高的信度，多数项目也具有较高的效度。在“参训项目及其排序”的信度效度评估上，我们除了参照上述选择标准外，作了适当的修改和调整，并将信度效度评估分为4个等级，即1等、2等、3等、4等，其中1等的信度效度最高，4等的信度效度最低，有关等级评价的具体情况请见附件三：表20-1，表20-2。在逐项评估中，我们评定信度效度等级的主要做法是：

　　评定“4等”信度效度等级的情况：

　　①某项素质的“现有素质”已评为“优”（即评分为85分以上），但仍列入“参训项目”。因为，“现有素质”已经“优秀”，表明同“应有素质”之间已无“差距”不应列入“参训项目”。

　　②某项素质在校培训的可行性差，但仍列入“参训项目”。如：“为人正派”、“文体技艺爱好”。

　　③某项素质在校培训耗时过多，不宜于列入任职培训项目，应由公务员其他培训或学历教育承担的。如：“计算机操作技能”、“外语听说能力”、“文艺体育技能”。

　　④某项素质已“基本合格”，不应由任职培训“培优”的。如：“刑法知识”、“民法知识”、“本单位专业知识”。

　　⑤某项素质不应列入局级公务员“应有素质”的。如：“文艺体育技能”。

　　评定“3等”信度效度等级的情况：

　　①某项素质的“应有素质排序”同“参训项目排序”之间差距较大（一般相差2个序数以上），而“现有素质”评为“良”或“中”的。

　　②某项素质的“现有素质”在两项评分中有一项评为“优”，又列入“参训项目排序”前列的。

　　③某项素质的“应有素质排序”或者“参训项目排序”明显偏低或偏高，信度较高但效度低的。

　　④“参训项目及排序”考虑可行性、效益性存在较大不足的。

　　评定“2等”信度效度等级的情况：

　　①某项素质的“应有素质排序”同“参训项目排序”之间差距小（一般相差1个序数），而“现有素质”评为“良”或“中”的。

　　②某项素质的“现有素质”在两项评分中有一项评为“差”，“参训项目排序”比其“应有素质排序”的位置相对提前的。

　　⑧某项素质的“应有素质排序”或者“参训项目排序”较合理的。

　　④“参训项目及排序”考虑可行性、效益性无较大不足的。

　　评定“1等”信度效度等级的情况：

　　①某项素质的“应有素质排序”同“参训项目排序”之间无差距，而“现有素质”评为“良”、“中”、“差”的。

　　②某项素质的“应有素质排序”合理的。

　　③“参训项目及排序”考虑可行性、效益性较周全的。

　　根据附件三（表20-1，表20-2）的初步评估数据统计，5类填表人所填数据的信度效度较高，1、2、3等合计项数所占比率均在87.9%以上，其中“他评”略高于“自评”：1、2等合计项数所占比率也是“他评”略高于“自评”，但最高比率者是处级公务员“他评”，其他干部“他评”退为第3位（见下表）。

　　2.在统计分析中，我们也发现调查数据在信度和效度方面存在着局部性不足的问题

　　（1）“现有素质”评价中，“主观评价”明显高于“客观评价”。本次调查，仅对知识素质进行了闭卷测试，测试卷共计100个“客观题”，其中判断题和单项选择题各50题，内容包括7类。测试结果是：良好1类（政治理论知识）、合格4类（法律法规知识、管理知识、经济知识、哲学知识），不及格2类（公文写作与处理知识、现代科技知识），其平均分数分别为76.3分、64.2分、63.8分、61.7分、60.5分、45.0分、40.6分。同主观评价的分数相比，除政治理论知识的评分相互吻合外，测试及格的4类知识比主观评价的“良好”要低一个等级，不及格的2类知识比主观评价的“良好”要低两个等级，说明主观评价和客观评价的反差明显。从测试分数分布上看，试卷存在着难度偏大的问题，但如果对后6类知识评分提高一个分数等级，仍然有2类知识测试得分同主观评价相差一个分数等级。这种反差，虽然属于正常现象，并不能由此而否定其他素质主观评价的信度效度，但仍然反映了主观评价存在估计很高的问题（详见“附件二，表12～表14”）。

　　（2）“现有素质”评分中，“自评”评分高于“他评”。如，上述一览表中，无论是对局级还是处级“参训者”的评价，都存在着“自评”优良率偏高的问题，其中局级“自评”的优良率比“他评”要高出10.6个百分点，处级“自评”优良率比“他评”高出13.5个百分点。

　　（3）在“参训项目”选择上，存在着局部性的“信度”较高但“效度”