Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

In the administration the review process can be activated.

The review process can be activated under Administration. If activated, all questions follow a process to allow for quality assurance. As a prerequisite, you must first define so-called taxonomy level (subjects). All questions will be assigned to a subject. In addition, personnel using the Question Pool must be given access rights (teaching competence) for their teaching field. Only then the teaching fields will be visible. In the example below it is the subject "mathematics".

In the following graphic the review process is shown exemplarily.

Folgende Prozessschritte sind also im Beurteilungsprozess des Fragenpools abgebildet:

Fragen werden entweder unter "Meine Fragen" oder direkt im eigenen Fach (oder Kompetenz, Handlungsfeld

The following steps are depicted in the question bank review process:

  1. Questions are created under "My Questions" or directly under the assigned subjects (or teaching field, competence...) erstellt. Die Frage befindet sich im Status Draft
  2. Die Frage wird in die Beurteilung gegeben. Der Status der Frage wechselt auf Review.
  3. Die Fragen werden beurteilt. Die eigenen Fragen können nicht beurteilt werden, sondern nur die Fragen der anderen Benutzer, welche derselben Fachgruppe angehören.
  4. a) Die Beurteilung ist ungenügend. Das heisst, die Untergrenze der Bewertung mit den Sternen wird nicht erreicht. Die Frage geht zurück an den Ersteller in den Status Revision. Hier kann die Frage überarbeitet und erneut in die Beurteilung gegeben werden.
    b) Die Beurteilung durch die Sterne ist genügend. Die definierte Anzahl Personen hat eine genügende Bewertung abgegeben. Die Frage wechselt in den Status Final. 
  5. Die Fragen aus dem Bereich Final können in den Test eingebunden werden.

In der folgenden Abbildung sind auf der linken Seite die verschiedenen Bereiche aus dem Prozess abgebildet.

Image Removed

1) Das Fach Mathematics ist unter Mein Fragenpool sichtbar. Hier sind alle eigenen Fragen dieses Fachbereichs abgebildet. Es werden hier alle Fragen nach Status aufgelistet.

2) Unter Beurteilung ist wiederum das Fach Mathematics abgebildet. Hier sind Fragen im Status Review aufgelistet. Die eigenen Fragen tauchen hier jedoch nicht auf, da man die eigenen Fragen nicht selbst beurteilen soll. Es werden die Fragen von anderen Benutzern mit dem Recht Mathematics aufgelistet. Nun können die Fragen beurteilt werden.

3) Sobald die Beurteilungskriterien erfüllt sind, kommt die Frage in den Bereich Final. Es ist möglich, dass Sie nicht über genügend Rechte verfügen und Sie deshalb den Beriech Final nicht sehen. Trotzdem können Sie die Beurteilung gemäss 2) durchführen.

Status

Wenn Sie unter Mein Fragenpool ein Fach auswählen, wird einen Prozessablauf mit verschiedenen Status abgebildet (rot markiert). Hier bekommen Sie einen Überblick, welche Ihrer Fragen sich in welchem Status befindet. 

Image Removed

  • Revision: Hierhin gelangen alle Fragen, welche im Reviewprozess die Untergrenze der Beurteilung nicht erreicht haben. Die Untergrenze bezieht sich auf die Bewertung durch die Sterne und kann durch die Administration definiert werden. Die Fragen, welche sich hier befinden, müssen von Ihnen überarbeitet und wieder in die Beurteilung gegeben werden.
  • Final: Wenn eine Frage die Beurteilungskriterien erfüllt, gelangt sie in den Status Final. Hier sind nun die Fragen, welche die Qualitätssicherung überstanden haben und in Tests eingebunden werden können. 
  • End of life: Hierhin kommen Fragen, welche durch den Manager oder Administrator im Status Final in den Status End o life gesetzt worden sind. Nun ist es Ihnen überlassen, ob Sie die Fragen hier belassen oder löschen möchten. Wenn Sie die Frage wieder bearbeiten möchten, müssen Sie eine Kopie davon erstellen. Anschliessend befindet sich die Frage wieder im Status Draft und der Prozess kann von vorne beginnen.
    1. . The question has the status "Draft".
    2. The question is added to the review process, the status changes to "Review".
    3. During the review the question is assessed. Review is only possible for questions of other teachers of the same subject (or teaching field, competency...). The author of a question can not review the own questions.
    4. a) The star rating is below the defined lower limit. The question status changes to "Revision" and the question is put back to the author to be edited again. After editing the review process for this question can be started again.
      b) The star rating is equal or above the defined lower limit. That also means the defined number of ratings per question is reached. The question status changes to "Final".
    5. Questions with the status "Final" can be integrated in tests.

    On the left the different parts of the review process are shown.

    Image Added

    1) The subject Mathematics is visible under "My question bank". Here you can find all the questions of this subject you created yourself. The questions are listed in order of their status.

    2) Under "Review" there is also the subject Mathematics. All questions of other authors of the subject Mathematics with the status "Review" are listed there. You can not see your own questions here, because authors can not review their own questions. The questions are ready to review.

    3) If a question meets all the defined review process criteria its status changes to "Final". The block "Final" is only visible to you if you have the corresponding rights. Nevertheless questions can be reviewed as specified under 2).


    Status

    If you choose a subject under "My question bank" the review process with all its different status is shown (marked in red). By clicking on each status you can see which of your questions have this status.

    Image Added

    In the review process questions may have one of the following states:

    • Draft: The question is ready to be reviewed and linked to a subject, but not in the review process yet.
    • Review: The question is being assessed by another teacher (not author of question).
    • Revision: The question is being must be reworked.   If a question rating is lower then the lower limit for positive decision, the question status this is immediately changed to "Revision", even if the minimum number of ratings is not reached yet. The lower limit can be defined under Administration.
    • Final: Question meets assessment criteria.The question meets the review process criteria. Questions with this status survived the quality assurance and can now be integrated in tests.
    • End of life: Question with the status “final” ; set which are set to the status "end of life" by administrator or manager.

    Beurteilung

    Im Bereich Beurteilung können Sie nun die Fragen der anderen Personen aus Ihrer Fachgruppe beurteilen. Die Frage befindet sich im Lesemodus. Sie können also die gesamte Frage anschauen, inklusive Punkte, Feedback und Metadaten. Sie können jedoch nichts editieren. 

    Die Beurteilung der Frage starten Sie mit "Frage beurteilen". 

    Image Removed

    Anschliessend öffnet sich ein Dialog:

    Image Removed

    Hier können Sie nun zum einen die Bewertung mit den Sternen vornehmen und zum anderen einen Kommentar hinzufügen. vor allem wenn die Bewertung unter dem Grenzwert liegt ist ein Kommentar zentral. Nur so hat der Ersteller der Frage die Möglichkeit, die Frage anhand Ihrer Rückmeldung zu verbessern. Mit "Beurteilen" wird Ihre Beurteilung gespeichert
    • These questions can be deleted or just left there. To edit the question again it has to be copied. The copy will have the status "draft" again, so the review process can start from the beginning.


    Review question

    Here you can review the question of another teacher from the same subject (teaching field). The question is "read only" mode, so you can view the question including score, feedback and metadata, but you can not edit the question.

    Start the review with "Review question".

    Image Added

    The following dialog appears:

    Image Added

    Now an assessment can be made by giving a comment and rating via stars. If the rating is below the defined lower limit a comment is essential. So the author of the question is able to improve the question. With the button "Rate" the assessment is saved.