[BACK]Return to lonstatistics.pm CVS log [TXT] [DIR] Up to [LON-CAPA] / loncom / interface

Diff for /loncom/interface/lonstatistics.pm between versions 1.1 and 1.64

version 1.1, 2002/02/04 16:08:26 version 1.64, 2003/03/07 18:46:38
Line 1 Line 1
 # The LearningOnline Network with CAPA  # The LearningOnline Network with CAPA
 # (Publication Handler  
 #  #
 # $Id$  # $Id$
 #  #
Line 26 Line 25
 # http://www.lon-capa.org/  # http://www.lon-capa.org/
 #  #
 # (Navigate problems for statistical reports  # (Navigate problems for statistical reports
 # YEAR=2001  #
 # 5/05/01, 7/09/01, 7/25/01, 8/11/01,9/13/01, 9/26/01 Behrouz Minaei  
 # 10/5/01, 10/9/01, 10/22/01, 10/26/01 Behrouz Minaei  
 # 11/1/01, 11/4/01, 11/16/01 Behrouz Minaei  
 # 12/14/01, 12/16/01, 12/18/01,12/20/01,12/31/01 Behrouz Minaei  
 # YEAR=2002  
 # 1/22/02,2/1/02  
 ###  ###
   
   =pod
   
   =head1 NAME
   
   lonstatistics
   
   =head1 SYNOPSIS
   
   Main handler for statistics and chart.
   
   =head1 PACKAGES USED
   
       use strict;
       use Apache::Constants qw(:common :http);
       use Apache::lonnet();
       use Apache::lonhomework;
       use Apache::loncommon;
       use Apache::loncoursedata;
       use Apache::lonhtmlcommon;
       use Apache::lonproblemanalysis;
       use Apache::lonproblemstatistics;
       use Apache::lonstudentassessment;
       use Apache::lonpercentage;
       use GDBM_File;
   
   =over 4
   
   =cut
   
 package Apache::lonstatistics;  package Apache::lonstatistics;
   
 use strict;  use strict;
 use Apache::Constants qw(:common :http);  use Apache::Constants qw(:common :http);
   use vars qw(
       @FullClasslist 
       @Students
       @Sections 
       @SelectedSections
       %StudentData
       @StudentDataOrder
       @SelectedStudentData
       $top_map 
       @Sequences 
       @SelectedMaps
       @Assessments);
   
 use Apache::lonnet();  use Apache::lonnet();
 use Apache::lonhomework;  use Apache::lonhomework;
 use Apache::loncommon();  use Apache::loncommon;
 use HTML::TokeParser;  use Apache::loncoursedata;
   use Apache::lonhtmlcommon;
   use Apache::lonproblemanalysis();
   use Apache::lonproblemstatistics();
   use Apache::lonstudentassessment();
   use Apache::lonpercentage;
 use GDBM_File;  use GDBM_File;
 use Benchmark;  
   
 # -------------------------------------------------------------- Module Globals  
 my %hash;  #######################################################
 my %CachData;  #######################################################
 my %GraphDat;  
 my %maps;  =pod
 my %section;  
 my %StuBox;  =item Package Variables
 my %DiscFac;  
 my $CurMap;  =item @FullClasslist The full classlist
 my $CurSec;  
 my $CurStu;  =item @Students The students we are concerned with for this invocation
 my @cols;  
 my @list;  =item @Sections The sections available in this class
 my @students;  
 my $p_count;  =item $curr_student The student currently being examined
 my $Pos;  
 my $r;  =item $prev_student The student previous in the classlist
 my $OpSel1;  
 my $OpSel2;  =item $next_student The student next in the classlist
 my $OpSelDis1;  
 my $OpSelDis2;  =over
 my $CurDis=0;  
 my $OpSel3;  =cut 
 my $OpSel4;  
 my $GData;  #######################################################
 my $cid;  #######################################################
 my $firstres;  #
 my $lastres;  # Classlist variables
 my $DiscFlag=0;  #
   my $curr_student;
 my %Header = (0,"Problem Title",1,"#Stdnts",2,"Tries",3,"Mod",  my $prev_student;
               4,"Mean",5,"#YES",6,"#yes",7,"%Wrng",8,"S.D.",  my $next_student;
               9,"Skew.",10,"DoDiff",11,"Map");  
 #             9,"Skew.",10,"DoDiff",11,"Dis.F.",12,"Resourse URL");  #######################################################
   #######################################################
 my %class = ();  
   =pod
 my @LS;  
 my @LF;  =item &clear_classlist_variables()
   
 sub GetBin {  undef the following package variables:
     my ($Index1,$Index2,$String,$C)=@_;  
     my @step = 5;  =over
     my @L=($C eq 'S') ? @LS : @LF;  
     my $Count=$#L+1;  =item @FullClasslist
     $r->print("<br>zone   $C ------ $String ");  
     for(my $n=0;$n<$Count;$n++){    =item @Students
  my @t=split(/\:/,$L[$n]);  
         $r->print("<br>$t[$Index1] $t[$Index2]");  =item @Sections
     }  
 }  =item @SelectedSections
   
 sub GetUniqe {  =item %StudentData
     my ($Index,$String,$C)=@_;  
     my @step = 5;  =item @StudentDataOrder
     my @L=($C eq 'S') ? @LS : @LF;  
     my $Count=$#L+1;  =item @SelectedStudentData
     my @List=();  
     for(my $n=0;$n<$Count;$n++){    =item $curr_student
  my @t=split(/\:/,$L[$n]);  
  push(@List,$t[$Index]);  =item $prev_student
         #$r->print("<br>$t[$Index]");  
     }  =item $next_student
     @List = sort NumSort(@List);  
   =back
     $r->print("<br>zone   $C ------ $String ");  
     my $nIdx=0;  =cut
     my $nPrb=0;  
     my %Proc;  #######################################################
     undef %Proc;  #######################################################
     while ( $nIdx < $Count ) {  sub clear_classlist_variables {
  my $Focus=$List[$nIdx];      undef(@FullClasslist);
  my $Temp = $Focus;      undef(@Students);
  do {      undef(@Sections);
     $nIdx++;      undef(@SelectedSections);
     $nPrb++;      undef(%StudentData);
     $Focus=$List[$nIdx];      undef(@SelectedStudentData);
     #$Proc{$name}=$Focus;      undef($curr_student);
  } while ( $Focus == $Temp && $nIdx < $Count );      undef($prev_student);
         $r->print("<br>$Temp --> $nPrb");      undef($next_student);
  $nPrb=0;  
     }  
     return %Proc;  
 }  
   
 sub GetUniq {  
     my ($Index,$String)=@_;  
     my @step = 5;  
     my $Count=0;  
     my @List=();  
     my @temp=();  
     foreach (keys(%DiscFac)){    
  $Count++;  
  my @temp1=split(/\:/,$_);  
         @temp=($temp1[$Index],@temp1);  
  push(@List,join(':',@temp));  
     }  
     @List = sort NumericSort(@List);  
   
     $r->print("<br><br>zone ($Index) ------ $String ----- / $temp[3]");  
     my $nIdx=0;  
     my $nPrb=0;  
     my %Proc;  
     undef %Proc;  
     while ( $nIdx < $Count ) {  
  my ($Focus,$Dummy,$name)=split(/\:/,$List[$nIdx]);  
  my $Temp = $Focus;  
  $Proc{$name}=$Focus;  
  do {  
     $nIdx++;  
     $nPrb++;  
     ($Focus,$Dummy,$name)=split(/\:/,$List[$nIdx]);  
     $Proc{$name}=$Focus;  
  } while ( $Focus == $Temp && $nIdx < $Count );  
         $r->print("<br>$Temp --> $nPrb");  
  $nPrb=0;  
     }  
     return %Proc;  
 }  
   
 sub NumericSort {            
     $a <=> $b;  
 }  
   
   
 #------- Classification    
 sub Classify {  
     my $Count=0;  
     my @List=();  
 #    foreach(keys %class){  
 #        $r->print("<br>$_ --> $class{$_}");  
 #    }  
    # $DiscFac{($DisFactor.':'.$sname.':'.$ProbTot.':'.$TotalOpend.':'.  
             #          $TotalTries.':'.$ProbSolved.':'.$time)}=$Dis;  
     @LS=();  
     @LF=();  
     my $cf=0;  
     my $cs=0;  
     foreach (keys(%DiscFac)){    
  my @l=split(/\:/,$_);  
  if ($class{$l[1]}){  
     if( $class{$l[1]} == 4 ) {  
  $cs++;  
  push(@LS,('S:'.$l[6].':'.$l[0].':'.$l[5].':'.$l[4].':'.$l[3].':'.$class{$l[1]}));  
     }      
     elsif ( $class{$l[1]} < 3 ) {  
  $cf++;  
  push(@LF,('F:'.$l[6].':'.$l[0].':'.$l[5].':'.$l[4].':'.$l[3].':'.$class{$l[1]}));  
     }  
  }  
     }  
       
     $r->print("<br>zone successful");  
     for(my $n=0;$n<$cs;$n++){  
  $r->print('<br>'.$LS[$n]);  
     }  
   
     $r->print("<br>zone failed");  
     for(my $n=0;$n<$cf;$n++){  
  $r->print('<br>'.$LF[$n]);  
     }  
    
 #    my %Disc = &GetUniqe(@List,5,"Discrimination Factor");      
 #    my %Opnd = &GetUniq(@List,3,"Total Opened");  
 #    my %Trys = &GetUniq(@Lsit4,"Total Tries");  
 #    my %Slvd = &GetUniq(5,"Problems Solved");  
   
    # my (@L, $Index,$String)=@_;  
     my %Time = &GetUniqe(1,"Time",'S');  
     &GetUniqe(1,"Time",'F');  
     &GetUniqe(2,"Discrimination Factor",'S');      
     &GetUniqe(2,"Discrimination Factor",'F');  
     &GetUniqe(3,"Solved",'S');  
     &GetUniqe(3,"Solved",'F');  
     &GetUniqe(4,"Tries",'S');  
     &GetUniqe(4,"Tries",'F');      
   
     &GetBin(1,2, "  Time ... Discriminat",'S');  
     &GetBin(1,2, "  Time ... Discriminat",'F');  
     &GetBin(1,3, "  Time ... Solved",'S');  
     &GetBin(1,3, "  Time ... Solved",'F');  
     &GetBin(1,4, "  Time ... Tries",'S');  
     &GetBin(1,4, "  Time ... Tries",'F');  
     &GetBin(2,3, "  Discriminant ... Solved",'S');  
     &GetBin(2,3, "  Discriminant ... Solved",'F');  
     &GetBin(2,4, "  Discriminant ... Tries",'S');  
     &GetBin(2,4, "  Discriminant ... Tries",'F');  
     &GetBin(3,4, "  Solved ... Tries",'S');  
     &GetBin(3,4, "  solved ... Tries",'F');  
 #    foreach (keys(%Disc)) {  
 #        $r->print("<br>: $Disc{$_} --> $Slvd{$_}");  
  #   }   
  #   $r->print("<br>..........Discriminant ...  Time................");  
  ##   foreach (keys(%Disc)) {  
  #       $r->print("<br>$Disc{$_} --> $Time{$_}");  
   #  }   
   #  $r->print("<br>..........Time ...  Solved.......................");  
   #  foreach (keys(%Disc)) {  
   #      $r->print("<br>$Disc{$_} --> $Slvd{$_}");  
   #  }    
 }  
   
 #------- Processing upperlist and lowerlist according to each problem  
 sub ProcessDisc {  
     my @List = @_;  
     @List = sort (@List);  
     my $Count = $#List+1;  
     my $Prb;  
     my @Dis;  
     my $Slvd=0;  
     my $tmp;  
     my $Sum=0;  
     my $nIdx=0;  
     my $nStud=0;  
     my %Proc;  
     undef %Proc;  
     while ($nIdx<$Count) {  
  ($Prb,$tmp)=split(/\=/,$List[$nIdx]);  
  @Dis=split(/\+/,$tmp);  
  my $Temp = $Prb;  
  do {  
     $nIdx++;  
     $nStud++;  
     $Sum += $Dis[$CurDis];  
     ($Prb,$tmp)=split(/\=/,$List[$nIdx]);  
     @Dis=split(/\+/,$tmp);  
  } while ( $Prb eq $Temp && $nIdx < $Count );  
 # $Proc{$Temp}=$Sum.':'.$nStud;  
  $Proc{$Temp}=($Sum/$nStud).':'.$nStud;  
 #        $r->print("$nIdx) $Temp --> ($nPrb) $Proc{$Temp} <br>");  
  $Sum=0;  
  $nStud=0;  
     }  
     return %Proc;  
 }  
   
 #------- Creating Discimination factor table    
 sub DiscriminationTable {  
     my $Count=0;  
     foreach (keys(%DiscFac)){   
  $Count++;  
     }  
     my $UpCnt = int(0.27*$Count);  
     $r->print("<br><br>".  
               "Current map: <b>\"$CurMap\"</b> &nbsp;&nbsp;&nbsp; ".  
               "Current Section: <b>\"$CurSec\" </b>&nbsp;&nbsp;&nbsp;".  
               "Number of valid students: <b>$Count</b>".  
               "<br>The <b>Upper 27%</b> has <b>$UpCnt</b> records.".  
               "&nbsp;&nbsp;The <b>Lower 27%</b> has <b>$UpCnt</b> records <br>".  
               "The Criterion of sorting the students: ".   
               "<b>( Sum of Partial Credits Awarded / ".  
               "Total Number of Tries )</b>".  
               " <br><br>");  
     $r->rflush();  
     my $low=0;  
     my $up=$Count-$UpCnt;  
     my @UpList=();  
     my @LowList=();  
     $Count=0;  
     foreach my $key (sort(keys(%DiscFac))){   
  $Count++;      
 #        $r->print("$Count) $key <br>");  
   
  if ($low < $UpCnt || $Count > $up) {  
     $low++;  
     my $str=$DiscFac{$key};  
 #            $r->print("$Count) $str <br>");  
     foreach(split(/\:/,$str)){  
  if ($_) {  
     if ($low<$UpCnt){push(@LowList,$_);}  
     else {push(@UpList,$_);}  
  }  
     }  
  }  
     }  
   
     my %Up=&ProcessDisc(@UpList);  
     my %Low=&ProcessDisc(@LowList);  
   
     my @list = ();  
     my $Useful;  
     my $UnUseful;  
     $p_count = 0;  
   
     foreach my $key( keys %CachData) {   
  my @Temp=split(/\:/,$CachData{$key});  
  ($UnUseful,$Useful)=split(/\>/,$Temp[0]);     
  $list[$p_count]=$Useful.'&'.$CachData{$key};  
         $p_count++;  
     }  
   
     @list = sort MySort (@list);  
   
     my $Result = "\n".'<table border=2>';  
     $Result .= "\n".'<tr><th>P#</th>';   
     $Result .= "\n".'<th>'.$Header{0}.'</th>';  
     $Result .= "\n".'<th>'.'Discrimination Factor'.'</th>';  
     $Result .= "\n".'<th>'.'%Upper Award'.'</th>';  
     $Result .= "\n".'<th>'.'%Lower Award'.'</th>';  
     $Result .= "\n".'<th>'.'Upper Records'.'</th>';  
     $Result .= "\n".'<th>'.'Lower Records'.'</th>';  
     $Result .= "\n".'<th>'.'%Degree of Difficulty'.'</th>';  
     $Result .= "\n".'</tr>';      
     $r->print( $Result );  
   
     for ( my $nIdx = 0; $nIdx < $p_count; $nIdx++ ) {  
  my( $Pre, $Post ) = split(/\&/,$list[$nIdx]);   
  my ($Temp,$MxTries,$StdNo,$TotalTries,$YES,$Override,  
             $Wrng,$Avg,$SD,$Sk,$DoD,$res,$Prob)=split(/\:/,$Post);  
  my ($UpDis,$UpNo)=split(/\:/,$Up{$Prob});  
  my ($LwDis,$LwNo)=split(/\:/,$Low{$Prob});  
  $UpNo = ($UpNo) ? $UpNo : 0;  
  $LwNo = ($LwNo) ? $LwNo : 0;  
  my $U_Dis = sprintf("%.4f", $UpDis)*100;  
  my $L_Dis = sprintf("%.4f", $LwDis)*100;  
  my $DisFac = $UpDis - $LwDis;  
  my $_Dis = sprintf("%.4f", $DisFac)*100;  
         $r->print( "\n".'<tr>'.  
                    "\n".'<td>'.($nIdx+1).'</td>'.  
                    "\n".'<td>'.$Temp.'</td>'.  
                    "\n".'<td>'.$_Dis.'</td>'.  
                    "\n".'<td>'.$U_Dis.'</td>'.  
                    "\n".'<td>'.$L_Dis.'</td>'.  
                    "\n".'<td>'.$UpNo.'</td>'.  
                    "\n".'<td>'.$LwNo.'</td>'.  
                    "\n".'<td>'.($DoD).'</td>'.  
                    "\n".'</tr>' );  
     }   
     $r->print("\n".'</table>');  
     $r->rflush();  
 }  }
   
 sub CreateDiscFac {  #######################################################
   #######################################################
   
   =pod
   
   =item &PrepareClasslist()
   
   Build up the classlist information.  The classlist information is kept in
   the following package variables:
   
   =over
   
   =item @FullClasslist
   
   =item @Students
   
   =item @Sections
   
   =item @SelectedSections
   
     my $CacheDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  =item %StudentData
                   "_$ENV{'user.domain'}_$cid\_statistics.db";  
     my $CachDisFac = "/home/httpd/perl/tmp/$ENV{'user.name'}".  =item @SelectedStudentData
      "_$ENV{'user.domain'}_$cid\_DiscFactor.db";  
   =item $curr_student
     my $ptr='';  
 #    $ptr .= '<br><b> Discrimination Criterion: &nbsp; </b>'."\n".  =item $prev_student
 #            '<select name="DisType"> <option '.$OpSelDis1.'>  Total Numebr of Correct Answers </option>'."\n".  
 #    '<option '.$OpSelDis2.'></option>Sum of Partial Awarded Credits / Total Number of Tries  </select> '."\n";            =item $next_student
     $ptr .= '<br><input type="submit" name="sort" '.  
             'value="Recalculate Discrimintion Factor" />';  =back
     $r->print($ptr);  
   $curr_student, $prev_student, and $next_student may not be defined, depending
     if ((-e "$CacheDB")&&  upon the calling context.
          ($ENV{'form.sort'} ne 'Recalculate Discrimintion Factor')) {  
  if (tie(%CachData,'GDBM_File',"$CacheDB",&GDBM_READER,0640)) {  =cut
             tie(%DiscFac,'GDBM_File',$CachDisFac,&GDBM_READER,0640);  
             #&DiscriminationTable();  #######################################################
     &Classify();   #######################################################
         }   sub PrepareClasslist {
         else {$r->print("Unable to tie hash to db file");}      my $r = shift;
     }      my %Sections;
     else {      &clear_classlist_variables();
  if (tie(%CachData,'GDBM_File',$CacheDB,&GDBM_WRCREAT,0640)) {      #
     tie(%DiscFac,'GDBM_File',$CachDisFac,&GDBM_WRCREAT,0640);      # Retrieve the classlist
     foreach (keys %CachData) {delete $CachData{$_};}      my $cid  = $ENV{'request.course.id'};
     foreach (keys %DiscFac) {delete $DiscFac{$_};}      my $cdom = $ENV{'course.'.$cid.'.domain'};
     $DiscFlag=1;      my $cnum = $ENV{'course.'.$cid.'.num'};
     &Build_Statistics();      my ($classlist,$field_names) = &Apache::loncoursedata::get_classlist($cid,
     $DiscFlag=0;                                                                    $cdom,$cnum);
             &DiscriminationTable();       if (exists($ENV{'form.Section'})) {
  }          if (ref($ENV{'form.Section'})) {
         else {$r->print("Unable to tie hash to db file");}              @SelectedSections = @{$ENV{'form.Section'}};
     }          } elsif ($ENV{'form.Section'} !~ /^\s*$/) {
     untie(%CachData);              @SelectedSections = ($ENV{'form.Section'});
     untie(%DiscFac);          }
 }          }
       @SelectedSections = ('all') if (! @SelectedSections);
       foreach (@SelectedSections) {
 # ------ Create different Student Report           if ($_ eq 'all') {
 sub StudentReport {              @SelectedSections = ('all');
     my ($sname,$sdom)=@_;          }
     if ( $sname eq 'All Students' ) {      }
  $r->print( '<h3><font color=blue>WARNING:       #
                     Please select a student</font></h3>' );      # Set up %StudentData
  return;      @StudentDataOrder = qw/fullname username domain id section status/;
     }      foreach my $field (@StudentDataOrder) {
     my $shome=&Apache::lonnet::homeserver( $sname,$sdom );                    $StudentData{$field}->{'title'} = $field;
     my $reply=&Apache::lonnet::reply('dump:'.$sdom.':'.$sname.':'.$cid,$shome );          $StudentData{$field}->{'base_width'} = length($field);
     my %result = ();          $StudentData{$field}->{'width'} = 
     my $ResId;                                 $StudentData{$field}->{'base_width'};
     my $Code;      }
     my $Tries;  
     my $TotalTries = 0;      #
     my $ParCr = 0;      # Process the classlist
     my $Wrongs;      while (my ($student,$student_data) = each (%$classlist)) {
     my %TempHash;          my $studenthash = ();
     my $Version;          for (my $i=0; $i< scalar(@$field_names);$i++) {
     my $LatestVersion;              my $field = $field_names->[$i];
     my $PtrTry='';              # Store the data
     my $PtrCod='';              $studenthash->{$field}=$student_data->[$i];
     my $SetNo=0;              # Keep track of the width of the fields
     my $Str = "\n".'<table border=2>'.              next if (! exists($StudentData{$field}));
               "\n".'<tr>'.              my $length = length($student_data->[$i]);
               "\n".'<th> # </th>'.              if ($StudentData{$field}->{'width'} < $length) {
       "\n".'<th> Set Title </th>'.                  $StudentData{$field}->{'width'} = $length; 
       "\n".'<th> Results </th>'.              }
       "\n".'<th> Tries </th>'.          }
       "\n".'</tr>';          push (@FullClasslist,$studenthash);
     unless ($reply=~/^error\:/) {          #
         map {          # Build up a list of sections
             my ($name,$value)=split(/\=/,&Apache::lonnet::unescape($_));          my $section = $studenthash->{'section'};
             $result{$name}=$value;          if (! defined($section) || $section =~/^\s*$/ || $section == -1) {
         } split(/\&/,$reply);;              $studenthash->{'section'} = 'none';
         foreach $ResId (@cols) {              $section = $studenthash->{'section'};
     if ( !$ResId ) {          }
  my $Set=&Apache::lonnet::declutter($hash{'map_id_'.$1});          $Sections{$section}++;
  if ( $Set ) {          #
     $SetNo++;          # Only put in the list those students we are interested in
     $Str .= "\n"."<tr>".          foreach my $sect (@SelectedSections) {
     "\n"."<td> $SetNo </td>".              if (($sect eq 'all') || ($section eq $sect)) {
                             "\n"."<td> $Set </td>".                  push (@Students,$studenthash);
                             "\n"."<td> $PtrCod </td>".                  last;
                             "\n"."<td> $PtrTry</td>".  
                             "\n"."</tr>";  
  }  
  $PtrTry='';  
  $PtrCod='';  
  next;   
     }  
             $ResId=~/(\d+)\.(\d+)/;  
             my $Map = &Apache::lonnet::declutter( $hash{'map_id_'.$1} );  
             if ( $CurMap ne 'All Maps' ) {  
  my ( $ResMap, $NameMap ) = split(/\=/,$CurMap);  
  if ( $Map ne $ResMap ) { next; }  
     }  
     my $meta=$hash{'src_'.$ResId};  
     my $PartNo = 0;  
     undef %TempHash;  
     map {  
  if ($_=~/^stores\_(\d+)\_tries$/) {  
                     my $Part=&Apache::lonnet::metadata($meta,$_.'.part');  
     if ( $TempHash{"$Part"} eq '' ) {   
  $TempHash{"$Part"} = $Part;  
  $TempHash{$PartNo}=$Part;  
  $TempHash{"$Part.Code"} = '-';    
  $PartNo++;  
     }  
  }  
             } split(/\,/,&Apache::lonnet::metadata($meta,'keys'));  
   
             my $Prob = $Map.'___'.$2.'___'.  
                        &Apache::lonnet::declutter( $hash{'src_'.$ResId} );  
             $Code='U';  
             $Tries = 0;  
             $Wrongs = 0;  
      $LatestVersion = $result{"version:$Prob"};         
   
     if ( $LatestVersion ) {  
  for ( my $Version=1; $Version<=$LatestVersion; $Version++ ) {  
     my $vkeys = $result{"$Version:keys:$Prob"};  
     my @keys = split(/\:/,$vkeys);  
     
     foreach my $Key (@keys) {    
  if (($Key=~/\.(\w+)\.solved$/) && ($Key!~/^\d+\:/)) {  
     my $Part = $1;  
     $Tries = $result{"$Version:$Prob:resource.$Part.tries"};  
     $TempHash{"$Part.Tries"} = ($Tries) ? $Tries : 0;   
     $TotalTries += $Tries;  
     my $Val = $result{"$Version:$Prob:resource.$Part.solved"};  
     if ( $Val eq 'correct_by_student' )  
                                 { $Wrongs = $Tries - 1; $Code = 'Y'; }   
     elsif ( $Val eq 'correct_by_override' )  
                                 { $Wrongs = $Tries - 1; $Code = 'y'; }                          
     elsif ( $Val eq 'incorrect_attempted' ||   
                                 $Val eq 'incorrect_by_override' )  
                 { $Wrongs = $Tries; $Code = 'N'; }  
     $TempHash{"$Part.Code"} = $Code;  
     $TempHash{"$Part.Wrongs"} = $Wrongs;  
  }  
          }  
                 }   
  for ( my $n = 0; $n < $PartNo; $n++ ) {    
     my $part = $TempHash{$n};  
     if ($PtrTry ne '') {$PtrTry .= ',';}  
     $PtrTry .= "$TempHash{$part.'.Tries'}";  
                     $PtrCod .= "$TempHash{$part.'.Code'}";      
  }  
             }              }
     else {   
  for(my $n=0; $n<$PartNo; $n++) {   
     if ($PtrTry ne '') {$PtrTry .= ',';}  
     $PtrTry .= "0";  
                     $PtrCod .= "-";   
  }  
     }  
         }          }
     }      }
     $Str .= "\n".'</table>';      #
     $r->print($Str);      # Put the consolidated section data in the right place
     $r->rflush();      @Sections = sort {$a cmp $b} keys(%Sections);
       unshift(@Sections,'all'); # Put 'all' at the front of the list
       #
       # Sort the Students
       my $sortby = 'fullname';
       $sortby = $ENV{'form.sort'} if (exists($ENV{'form.sort'}));
       my @TmpStudents = sort { $a->{$sortby} cmp $b->{$sortby} ||
                                $a->{'fullname'} cmp $b->{'fullname'} } @Students;
       @Students = @TmpStudents;
       # 
       # Now deal with that current student thing....
       if (exists($ENV{'form.StudentAssessmentStudent'})) {
           my ($current_uname,$current_dom) = 
               split(':',$ENV{'form.StudentAssessmentStudent'});
           my $i;
           for ($i = 0; $i<=$#Students; $i++) {
               next if (($Students[$i]->{'username'} ne $current_uname) || 
                        ($Students[$i]->{'domain'}   ne $current_dom));
               $curr_student = $Students[$i];
               last; # If we get here, we have our student.
           }
           if ($i == 0) {
               $prev_student = 'none';
           } else {
               $prev_student = $Students[$i-1];
           }
           if ($i == $#Students) {
               $next_student = 'none';
           } else {
               $next_student = $Students[$i+1];
           }
       }
       #
       if (exists($ENV{'form.StudentData'})) {
           if (ref($ENV{'form.StudentData'}) eq 'ARRAY') {
               @SelectedStudentData = @{$ENV{'form.StudentData'}};
           } else {
               @SelectedStudentData = ($ENV{'form.StudentData'});
           }
       } else {
           @SelectedStudentData = ('fullname');
       }
       foreach (@SelectedStudentData) {
           if ($_ eq 'all') {
               @SelectedStudentData = ('all');
               last;
           }
       }
       #
       return;
 }  }
   
   #######################################################
   #######################################################
   
   =pod
   
   =item &current_student()
   
 # ------------------------------------------- Prepare Statistics Table  Returns a pointer to a hash containing data about the currently
 sub PreStatTable {  selected student.
     my $CacheDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_statistics.db";  =cut
     my $GraphDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_graph.db";  #######################################################
     my $CachDisFac = "/home/httpd/perl/tmp/$ENV{'user.name'}".  #######################################################
      "_$ENV{'user.domain'}_$cid\_DiscFactor.db";  sub current_student { 
     $r->print('<br><input type="submit" name="sort" value="Recalculate Statistics" />');      if (defined($curr_student)) {
           return $curr_student;
     my $Ptr = '';      } else {
           return 'All Students';
     $Ptr .= '<br><b> Sorting Type: &nbsp; </b>'."\n".  
             '<select name="order"> <option '.$OpSel1.' >Ascending</option>'."\n".  
     '<option '.$OpSel2.'>Descending</option> </select> '."\n";  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
     $Ptr .= '<input type="submit" name="sort" value="DoDiff Graph" />'."\n";  
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  
     $Ptr .= '<input type="submit" name="sort" value="%Wrong Graph" />'."\n";  
   
     $Ptr .= '<pre>'.  
     '  #Stdnts: Total Number of Students opened the problem.<br>'.   
     '  Tries  : Total Number of Tries for solving the problem.<br>'.   
     '  Mod    : Maximunm Number of Tries for solving the problem.<br>'.   
     '  Mean   : Average Number of the tries. [ Tries / #Stdns ]<br>'.  
     '  #YES   : Number of students solved the problem correctly.<br>'.   
     '  #yes   : Number of students solved the problem by override.<br>'.  
     '  %Wrng  : Percentage of students tried to solve the problem but still incorrect. [ 100*((#Stdnts-(#YES+#yes))/#Stdnts) ]<br>'.  
     '  S.D.   : Standard Deviation of the tries.[ sqrt(sum((Xi - Mean)^2)) / (#Stdnts-1) where Xi is every student\'s tries ]<br>'.  
     '  Skew.  : Skewness of the students tries. [ (sqrt( sum((Xi - Mean)^3) / #Stdnts)) / (S.D.^3) ]<br>'.  
 #    '  DoDiff : Degree of Difficulty of the problem. [ Tries/(#YES+#yes+0.1) ]<br>'.  
     '  DoDiff : Degree of Difficulty of the problem. [ 1 - ((#YES+#yes) / Tries) ]<br>'.  
 #    '  Dis.F. : Discrimination Factor. [ Sum of Partial Credits Awarded / Total Number of Tries in %27 upper and lower students]</b>'.  
             '</pre>';  
   
     $r->print($Ptr);  
     $r->rflush();  
         
     my $Result = "\n".'<table border=2>';  
     $Result .= '<tr><th>P#</th>'."\n";  
     for ( my $nIdx=0; $nIdx < 12; $nIdx++ ) {   
  $Result .= '<th>'.'<input type="submit" name="sort" value="'.  
                    $Header{$nIdx}.'" />'.'</th>'."\n";  
     }      }
     $Result .= "\n".'</tr>'."\n";      }
     $r->print( $Result );  
     $r->rflush();  #######################################################
   #######################################################
   
     if ((-e "$CacheDB")&&($ENV{'form.sort'} ne 'Recalculate Statistics')) {  =pod
  if (tie(%CachData,'GDBM_File',"$CacheDB",&GDBM_READER,0640)) {  
     tie(%GraphDat,'GDBM_File',$GraphDB,&GDBM_WRCREAT,0640);  =item &previous_student()
     &Cache_Statistics();  
         }  Returns a pointer to a hash containing data about the student prior
         else {  in the list of students.  Or something.  
     $r->print("Unable to tie hash to db file");  
         }  =cut
     }  
     else {  #######################################################
  if (tie(%CachData,'GDBM_File',$CacheDB,&GDBM_WRCREAT,0640)) {  #######################################################
     tie(%DiscFac,'GDBM_File',$CachDisFac,&GDBM_WRCREAT,0640);  sub previous_student { 
     tie(%GraphDat,'GDBM_File',$GraphDB,&GDBM_WRCREAT,0640);      if (defined($prev_student)) {
     foreach (keys %DiscFac) {delete $CachData{$_};}          return $prev_student;
     foreach (keys %CachData) {delete $CachData{$_};}      } else {
     $DiscFlag=0;          return 'No Student Selected';
     &Build_Statistics();      }
  }  }
         else {  
     $r->print("Unable to tie hash to db file");  #######################################################
         }  #######################################################
     }  
     #$r->print('Total instances of the problems : '.($p_count*($#students+1)));  =pod
   
     untie(%CachData);  =item &next_student()
     untie(%GraphDat);  
     untie(%DiscFac);  Returns a pointer to a hash containing data about the next student
   to be viewed.
     $r->print("\n".'</table>'."\n");  
     $r->rflush();          =cut
 }  
   #######################################################
   #######################################################
 # ------------------------------------- Find the section of student in a course  sub next_student { 
       if (defined($next_student)) {
 sub usection {          return $next_student;
     my ($udom,$unam,$courseid)=@_;      } else {
     $courseid=~s/\_/\//g;          return 'No Student Selected';
     $courseid=~s/^(\w)/\/$1/;      }
     map {  }
         my ($key,$value)=split(/\=/,$_);  
         $key=&Apache::lonnet::unescape($key);  #######################################################
         if ($key=~/^$courseid(?:\/)*(\w+)*\_st$/) {  #######################################################
             my $section=$1;  
             if ($key eq $courseid.'_st') { $section=''; }  =pod
     my ($dummy,$end,$start)=split(/\_/,&Apache::lonnet::unescape($value));  
             $section=($section) ? $section : '(none)';  =item &clear_sequence_variables()
             $section=(int($section)) ? int($section) : $section;  
 #            $r->print($unam.'...'.$section.'<br>');  =cut
     return $section;  
         }  #######################################################
     } split(/\&/,&Apache::lonnet::reply('dump:'.$udom.':'.$unam.':roles',  #######################################################
                         &Apache::lonnet::homeserver($unam,$udom)));  sub clear_sequence_variables {
     return '';      undef($top_map);
 }      undef(@Sequences);
       undef(@Assessments);
   }
 # ------ Dump the Student's DB file and handling the data for statistics table   
   #######################################################
 sub ExtractStudentData {  #######################################################
     my ($student,$coid)=@_;  
     my ($sname,$sdom) = split( /\:/, $student );  =pod
     my $shome=&Apache::lonnet::homeserver( $sname,$sdom );            
     my $reply=&Apache::lonnet::reply('dump:'.$sdom.':'.$sname.':'.$coid,$shome );  =item &SetSelectedMaps($elementname)
     my %result = ();  
     my $ResId;  Sets the @SelectedMaps array from $ENV{'form.'.$elementname};
     my $Dis = '';  
     my $Code;  =cut
     my $Tries;  
     my $ParCr;  #######################################################
     my $TotalTries = 0;  #######################################################
     my $TotalOpend = 0;  sub SetSelectedMaps {
     my $ProbSolved = 0;      my $elementname = shift;
     my $ProbTot = 0;      if (exists($ENV{'form.'.$elementname})) {
     my $TimeTot = 0;          if (ref($ENV{'form.'.$elementname})) {
     my $TotParCr = 0;              @SelectedMaps = @{$ENV{'form.'.$elementname}};
     my $Wrongs;          } else {
     my %TempHash;              @SelectedMaps = ($ENV{'form.'.$elementname});
     my $Version;          }
     my $LatestVersion;      } else {
     my $SecLimit;          @SelectedMaps = ('all');
     my $MapLimit;      }
     unless ($reply=~/^error\:/) {  }
         map {  
             my ($name,$value)=split(/\=/,&Apache::lonnet::unescape($_));  
             $result{$name}=$value;  #######################################################
 #$r->print($name.'='.$value.'<br>');  #######################################################
         } split(/\&/,$reply);  
         foreach $ResId (@cols) {  =pod
     if ( !$ResId ) { next; }  
             $ResId=~/(\d+)\.(\d+)/;  =item &Sequences_with_Assess()
             my $Map = &Apache::lonnet::declutter( $hash{'map_id_'.$1} );  
             if ( $CurMap ne 'All Maps' ) {  Returns an array containing the subset of @Sequences which contain
  my ( $ResMap, $NameMap ) = split(/\=/,$CurMap);  assessments.
  if ( $Map ne $ResMap ) { next; }  
     }  =cut
     my $meta=$hash{'src_'.$ResId};  
     my $PartNo = 0;  #######################################################
     $Dis .= ':';  #######################################################
     undef %TempHash;  sub Sequences_with_Assess {
     map {      my @Sequences_to_Show;
  if ($_=~/^stores\_(\d+)\_tries$/) {      foreach my $map_symb (@SelectedMaps) {
                     my $Part=&Apache::lonnet::metadata($meta,$_.'.part');          foreach my $sequence (@Sequences) {
     if ( $TempHash{"$Part"} eq '' ) {               next if ($sequence->{'symb'} ne $map_symb && $map_symb ne 'all');
  $TempHash{"$Part"} = $Part;              next if ($sequence->{'num_assess'} < 1);
  $TempHash{$PartNo}=$Part;              push (@Sequences_to_Show,$sequence);
  $TempHash{"$Part.Code"} = 'U';            }
  $PartNo++;      }
     }      return @Sequences_to_Show;
  }  }
             } split(/\,/,&Apache::lonnet::metadata($meta,'keys'));  
   #######################################################
             my $Prob = $Map.'___'.$2.'___'.  #######################################################
                        &Apache::lonnet::declutter( $hash{'src_'.$ResId} );  
             $Code='U';  =pod
             $Tries = 0;  
     $ParCr = 0;  =item &PrepareCourseData($r)
             $Wrongs = 0;  
      $LatestVersion = $result{"version:$Prob"};         =cut
   
     if ( $LatestVersion ) {  #######################################################
  for ( my $Version=1; $Version<=$LatestVersion; $Version++ ) {  #######################################################
     my $vkeys = $result{"$Version:keys:$Prob"};  sub PrepareCourseData {
     my @keys = split(/\:/,$vkeys);      my ($r) = @_;
         &clear_sequence_variables();
     foreach my $Key (@keys) {        my ($top,$sequences,$assessments) = 
  if (($Key=~/\.(\w+)\.solved$/) && ($Key!~/^\d+\:/)) {          &Apache::loncoursedata::get_sequence_assessment_data();
     my $Part = $1;      if (! defined($top) || ! ref($top)) {
     $Tries = $result{"$Version:$Prob:resource.$Part.tries"};          # There has been an error, better report it
     $ParCr = $result{"$Version:$Prob:resource.$Part.awarded"};          &Apache::lonnet::logthis('top is undefined');
     my $Time = $result{"$Version:$Prob:timestamp"};          return;
     $TempHash{"$Part.Time"} = ($Time) ? $Time : 0;      }
     $TempHash{"$Part.Tries"} = ($Tries) ? $Tries : 0;      $top_map = $top if (ref($top));
     $TempHash{"$Part.ParCr"} = ($ParCr) ? $ParCr : 0;              @Sequences = @{$sequences} if (ref($sequences) eq 'ARRAY');
     $TotalTries += $TempHash{"$Part.Tries"};      @Assessments = @{$assessments} if (ref($assessments) eq 'ARRAY');
     $TotParCr += $TempHash{"$Part.ParCr"};      #
 #$r->print($Version.'---'.$Prob.'==='.$Time.'<br>');      # Compute column widths
     my $Val = $result{"$Version:$Prob:resource.$Part.solved"};      foreach my $seq (@Sequences) {
     if ( $Val eq 'correct_by_student' )          my $name_length = length($seq->{'title'});
                                { $Wrongs = $Tries - 1; $Code = 'C'; }           my $num_parts = $seq->{'num_assess_parts'};
     elsif ( $Val eq 'correct_by_override' )          #
                                { $Wrongs = $Tries - 1; $Code = 'O'; }                                  # The number of columns needed for the summation text: 
     elsif ( $Val eq 'incorrect_attempted' ||           #    " 1/5" = 1+3 columns, " 10/99" = 1+5 columns
                                 $Val eq 'incorrect_by_override' )          my $sum_length = 1+1+2*(length($num_parts));
                { $Wrongs = $Tries; $Code = 'I'; }          my $num_col = $num_parts+$sum_length;
     $TempHash{"$Part.Code"} = $Code;          if ($num_col < $name_length) {
     $TempHash{"$Part.Wrongs"} = $Wrongs;              $num_col = $name_length;
  }          }
          }          $seq->{'base_width'} = $name_length;
                 }           $seq->{'width'} = $num_col;
  for ( my $n = 0; $n < $PartNo; $n++ ) {        }
     my $part = $TempHash{$n};      return;
     my $Yes = 0;  }
                     if ( $TempHash{$part.'.Code'} eq 'C' ||  
                          $TempHash{$part.'.Code'} eq 'O'  )   #######################################################
        {$ProbSolved++;$Yes=1;}      #######################################################
     my $ptr = "$hash{'title_'.$ResId}";  
     if ( $PartNo > 1 ) {                  =pod
  $ptr .= " (part $part)";  
  $Dis .= ':';  =item &log_sequence($sequence,$recursive,$padding)
     }  
     my $Fac = ($TempHash{"$part.Tries"}) ?   Write data about the sequence to a logfile.  If $recursive is not
                               ($TempHash{"$part.ParCr"}/$TempHash{"$part.Tries"}) : 0;  undef the data is written recursively.  $padding is used for recursive
     my $DisF;  calls.
     if ( $Fac > 0 &&  $Fac < 1 ) {   
  $DisF = sprintf( "%.4f", $Fac );  =cut
     }  
     else {$DisF = $Fac;}  #######################################################
 #    $DisF .= '+'.$TempHash{"$part.Time"};  #######################################################
     $TimeTot += $TempHash{"$part.Time"};  sub log_sequence {
     $Dis .= $ptr.'*'.$ResId.'='.$DisF.'+'.$Yes;      my ($seq,$recursive,$padding) = @_;
     $ptr .= "*$ResId:$TempHash{$part.'.Tries'}".      $padding = '' if (! defined($padding));
             ":$TempHash{$part.'.Wrongs'}".      if (ref($seq) ne 'HASH') {
                             ":$TempHash{$part.'.Code'}";              &Apache::lonnet::logthis('log_sequence passed bad sequnce');
 #$r->print($sname.' -- '.$ptr.'--- timestamp='.$TempHash{"$part.Time"}.'<br>');          return;
     push (@list, $ptr);      }
     $TotalOpend++;      &Apache::lonnet::logthis($padding.'sequence '.$seq->{'title'});
     $ProbTot++;      while (my($key,$value) = each(%$seq)) {
  }          next if ($key eq 'contents');
           if (ref($value) eq 'ARRAY') {
               for (my $i=0;$i< scalar(@$value);$i++) {
                   &Apache::lonnet::logthis($padding.$key.'['.$i.']='.
                                            $value->[$i]);
             }              }
     else {           } else {
  for(my $n=0; $n<$PartNo; $n++) {              &Apache::lonnet::logthis($padding.$key.'='.$value);
     push (@list, "$hash{'title_'.$ResId}*$ResId:0:0:U");          }
     $ProbTot++;       }
  }      if (defined($recursive)) {
     }          &Apache::lonnet::logthis($padding.'-'x20);
         }          &Apache::lonnet::logthis($padding.'contains:');
  if ( $TotalTries ) {          foreach my $item (@{$seq->{'contents'}}) {
     my $DisFac = ( $TotalTries ) ? ($TotParCr/$TotalTries) : 0;              if ($item->{'type'} eq 'container') {
 #    my $DisFactor = int(sprintf( "%.4f", $DisFac ) * 100);                  &log_sequence($item,$recursive,$padding.'    ');
     my $DisFactor = sprintf( "%.4f", $DisFac );              } else {
     my $time;                  &Apache::lonnet::logthis($padding.'title = '.$item->{'title'});
     if ($ProbSolved){                  while (my($key,$value) = each(%$item)) {
  $time = int(($TimeTot/$ProbSolved)/10000000);                      next if ($key eq 'title');
     }                      if (ref($value) eq 'ARRAY') {
     $DiscFac{($DisFactor.':'.$sname.':'.$ProbTot.':'.$TotalOpend.':'.                          for (my $i=0;$i< scalar(@$value);$i++) {
                       $TotalTries.':'.$ProbSolved.':'.$time)}=$Dis;                              &Apache::lonnet::logthis($padding.$key.'['.$i.']='.
 #$r->print($DisFactor.$sname.'<br> --- Dis= '.$Dis.'<br>');                                                       $value->[$i]);
  }                          }
     }                      } else {
     #$r->print($sname.' PrCr= '.$TotParCr.' Slvd= '.$ProbSolved.' Tries='.$TotalTries.'<br>');                          &Apache::lonnet::logthis($padding.$key.'='.$value);
 }                      }
                   }
               }
 # ------------------------------------------------------------ Build page table          }
 sub tracetable {          &Apache::lonnet::logthis($padding.'end contents of '.$seq->{'title'});
     my ($rid,$beenhere)=@_;          &Apache::lonnet::logthis($padding.'-'x20);
     $rid=~/(\d+)\.(\d+)/;      }
     $maps{&Apache::lonnet::declutter($hash{'map_id_'.$1})}='';#$hash{'title_'.$rid};       return;
     unless ($beenhere=~/\&$rid\&/) {  }
        $beenhere.=$rid.'&';   
        if (defined($hash{'is_map_'.$rid})) {  
    my $cmap=$hash{'map_type_'.$hash{'map_pc_'.$hash{'src_'.$rid}}};  
            if ( $cmap eq 'sequence' || $cmap eq 'page' ) {   
                $cols[$#cols+1]=0;  
                #$maps{&Apache::lonnet::declutter($hash{'src_'.$rid})}=   
                #      $hash{'title_'.$rid};   
            }  
            if ((defined($hash{'map_start_'.$hash{'src_'.$rid}})) &&  
                (defined($hash{'map_finish_'.$hash{'src_'.$rid}}))) {  
               my $frid=$hash{'map_finish_'.$hash{'src_'.$rid}};  
   
                 &tracetable($hash{'map_start_'.$hash{'src_'.$rid}},  
                 '&'.$frid.'&');  
   
               if ($hash{'src_'.$frid}) {  
                  if ($hash{'src_'.$frid}=~  
                                  /\.(problem|exam|quiz|assess|survey|form)$/) {  
      $cols[$#cols+1]=$frid;  
                  }  
       }  
    }  
        } else {  
           if ($hash{'src_'.$rid}) {  
              if ($hash{'src_'.$rid}=~  
                                  /\.(problem|exam|quiz|assess|survey|form)$/) {  
          $cols[$#cols+1]=$rid;  
              }  
           }  
        }  
        if (defined($hash{'to_'.$rid})) {  
           map {  
               &tracetable($hash{'goesto_'.$_},$beenhere);  
           } split(/\,/,$hash{'to_'.$rid});  
        }  
     }  
 }  
   
 sub MySort {            
     if ( $Pos > 0 && $Pos < 11 ) {  
  if ($ENV{'form.order'} eq 'Descending') {$b <=> $a;}  
  else { $a <=> $b; }  
     }  
     else {  
  if ($ENV{'form.order'} eq 'Descending') {$b cmp $a;}  
  else { $a cmp $b; }  
     }  
 }  
   
 sub Build_Statistics {  
     $r->print(<<ENDPOP);  
 <script>  
     popwin=open('','popwin','width=400,height=100');  
     popwin.document.writeln('<html><body bgcolor="#8cee8c">'+  
       '<title>LON-CAPA Statistics</title>'+  
       '<h4>Computation Progress</h4>'+  
       '<form name=popremain>'+  
       '<input type=text size=35 name=remaining value=Starting></form>'+  
       '</body></html>');  
     popwin.document.close();  
 </script>  
 ENDPOP  
   
     $r->rflush();  ##############################################
 # ---------------------------- Gathering the Data of students' tries  ##############################################
     my $index;  
     for ($index=0;$index<=$#students;$index++) {  =pod 
 #----------- update progress  
         $r->print('<script>popwin.document.popremain.remaining.value="'.  =item &StudentDataSelect($elementname,$status,$numvisible,$selected)
                   'Computing '.($index+1).'/'.($#students+1).': '.  
                   $students[$index].'";</script>');  
         $r->rflush();  
   
         &ExtractStudentData($students[$index],$cid);  Returns html for a selection box allowing the user to choose one (or more) 
   of the fields of student data available (fullname, username, id, section, etc)
   
   =over 4
   
   =item $elementname The name of the HTML form element
   
   =item $status 'multiple' or 'single' selection box
   
   =item $numvisible The number of options to be visible
   
   =back
   
   =cut
   
   ##############################################
   ##############################################
   sub StudentDataSelect {
       my ($elementname,$status,$numvisible)=@_;
       if ($numvisible < 1) {
           return;
     }      }
 #--------------------- close Progress Line      #
     $r->print('<script>popwin.close()</script>');      # Build the form element
     $r->rflush();       my $Str = "\n";
 # -------------------- sorting the Data      $Str .= '<select name="'.$elementname.'" ';
     @list = sort(@list);      if ($status ne 'single') {
     $OpSel2='';          $Str .= 'multiple="true" ';
     $OpSel1='selected';      }
           $Str .= 'size="'.$numvisible.'" >'."\n";
     $p_count = 0;       #
     my $nIdx = 0;      # Deal with 'all'
     my $dummy;       $Str .= '    <option value="all" ';
     my $p_val;      foreach (@SelectedStudentData) {
     my $ResId;          if ($_ eq 'all') {
     my $NoElements = $#list + 1;              $Str .= 'selected ';
 #-------------------------------- loop for data representation              last;
     while ( $nIdx < $NoElements ) {          }
         my %storestats=();  
  my ($Prob,$Tries,$Wrongs,$Code)=split(/\:/,$list[$nIdx]);  
  my $Temp = $Prob;  
  my $MxTries = 0;  
  my $TotalTries = 0;  
  my $YES = 0;  
  my $Incorrect = 0;  
  my $Override = 0;  
  my $StdNo = 0;  
  my @StdLst;   
  do {  
     $nIdx++;  
     $StdNo++;  
     $StdLst[ $StdNo ] = $Tries;  
     $TotalTries += $Tries;  
     if ( $MxTries < $Tries ) { $MxTries = $Tries; }   
     if ( $Code eq 'C' ){ $YES++; }  
     elsif( $Code eq 'I' ) { $Incorrect++; }  
     elsif( $Code eq 'O' ) { $Override++; }  
     elsif( $Code eq 'U' ) { $StdNo--; }  
     ($Prob,$Tries,$Wrongs,$Code)=split(/\:/,$list[$nIdx]);  
  } while ( $Prob eq $Temp && $nIdx < $NoElements );  
   
  $p_count++;  
   
  ($Temp,$ResId)=split(/\*/,$Temp);  
   
         $Temp = '<a href="'.$hash{'src_'.$ResId}.'" target="_blank">'.$Temp.'</a>';  
       
  my $res = &Apache::lonnet::declutter($hash{'src_'.$ResId});  
         my $urlres=$res;  
   
         $ResId=~/(\d+)\.(\d+)/;  
         my $Map = &Apache::lonnet::declutter( $hash{'map_id_'.$1} );  
         $urlres=$Map;  
    
   
         $res = '<a href="'.$hash{'src_'.$ResId}.'">'.$res.'</a>';  
   
         #$Map = '<a href="'.$Map.'">'.$res.'</a>';  
   
 #------------------------ Compute the Average of Tries about one problem  
  my $Average = ($StdNo) ? $TotalTries/$StdNo : 0;  
   
         $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___timestamp'}=time;         
         $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___stdno'}=$StdNo;  
         $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___avetries'}=$Average;  
      
 #-------------------------------- Compute percentage of Wrong tries  
  my $Wrong = ( $StdNo ) ? 100 * ( $Incorrect / $StdNo ) : 0;  
   
 #-------------------------------- Compute Standard Deviation  
  my $StdDev = 0;   
  if ( $StdNo > 1 ) {  
     for ( my $n = 0; $n < $StdNo; $n++ ) {  
                 my $Dif = $StdLst[ $n ]-$Average;  
  $StdDev += $Dif*$Dif;  
     }   
     $StdDev /= ( $StdNo - 1 );  
     $StdDev = sqrt( $StdDev );  
  }  
   
 #-------------------------------- Compute Degree of Difficulty  
  my $DoDiff = 0;  
  if( $TotalTries > 0 ) {  
     $DoDiff = 1 - ( ( $YES + $Override ) / $TotalTries );  
 #    $DoDiff =  ($TotalTries)/($YES + $Override+ 0.1);      
  }  
          
         $storestats{$ENV{'request.course.id'}.'___'.$urlres.'___difficulty'}=$DoDiff;  
   
 #-------------------------------- Compute the Skewness  
  my $Skewness = 0;  
         my $Sum = 0;   
  if ( $StdNo > 0 && $StdDev > 0 ) {  
     for ( my $n = 0; $n < $StdNo; $n++ ) {  
                 my $Dif = $StdLst[ $n ]-$Average;  
  $Skewness += $Dif*$Dif*$Dif;  
     }   
     $Skewness /= $StdNo;  
     $Skewness /= $StdDev*$StdDev*$StdDev;  
  }  
 #-----------------  Some restition in presenting the float numbers  
  my $Avg = sprintf( "%.2f", $Average );  
  my $Wrng = sprintf( "%.1f", $Wrong );  
  my $SD = sprintf( "%.1f", $StdDev );  
  my $DoD = sprintf( "%.2f", $DoDiff );  
  my $Sk = sprintf( "%.1f", $Skewness );  
       
  $CachData{($p_count-1)}=$Temp.':'.$StdNo.':'.$TotalTries.':'.  
                                 $MxTries.':'.$Avg.':'.$YES.':'.  
                                 $Override.':'.$Wrng.':'.$SD.':'.  
                                 $Sk.':'.$DoD.':'.$Map.':'.$Prob;  
   
         $urlres=~/^(\w+)\/(\w+)/;  
         if ($StdNo) {   
            &Apache::lonnet::put('resevaldata',\%storestats,$1,$2);   
         }  
   
 #-------------------------------- Row of statistical table  
         if ( $DiscFlag == 0 ) {  
     $r->print( "\n".'<tr>'.  
                "\n".'<td>'.$p_count.'</td>'.  
                "\n".'<td>'.$Temp.'</td>'.  
                "\n".'<td>'.$StdNo.'</td>'.  
                "\n".'<td>'.$TotalTries.'</td>'.  
                "\n".'<td>'.$MxTries.'</td>'.  
                "\n".'<td>'.$Avg.'</td>'.  
                "\n".'<td>'.$YES.'</td>'.  
                "\n".'<td>'.$Override.'</td>'.  
                "\n".'<td>'.$Wrng.'</td>'.  
                "\n".'<td>'.$SD.'</td>'.  
                "\n".'<td>'.$Sk.'</td>'.  
                "\n".'<td>'.$DoD.'</td>'.  
                "\n".'<td>'.$Map.'</td>'.  
                        "\n".'</tr>' );  
     $GraphDat{$nIdx}=$DoD.':'.$Wrng;  
  }   
     }  
 }  
   
   
 sub Cache_Statistics {  
     my @list = ();  
     my $Useful;  
     my $UnUseful;  
     my %myHeader = reverse( %Header );  
     $Pos = $myHeader{$ENV{'form.sort'}};  
     $p_count = 0;  
   
     foreach my $key( keys %CachData) {   
  my @Temp=split(/\:/,$CachData{$key});  
  if ( $Pos == 0 || $Pos == 11 ) {  
     ($UnUseful,$Useful)=split(/\>/,$Temp[$Pos]);  
  }  
  else {  
     $Useful = $Temp[$Pos];  
  }     
  $list[$p_count]=$Useful.'&'.$CachData{$key};  
         $p_count++;  
     }  
   
     @list = sort MySort (@list);  
   
     for ( my $nIdx = 0; $nIdx < $p_count; $nIdx++ ) {  
  my( $Pre, $Post ) = split(/\&/,$list[$nIdx]);   
  my ($Temp,$StdNo,$TotalTries,$MxTries,$Avg,$YES,  
             $Override,$Wrng,$SD,$Sk,$DoD,$res,$Prob)=split(/\:/,$Post);  
  $r->print( "\n".'<tr>'.  
                "\n".'<td>'.($nIdx+1).'</td>'.  
                "\n".'<td>'.$Temp.'</td>'.  
                "\n".'<td>'.$StdNo.'</td>'.  
                "\n".'<td>'.$TotalTries.'</td>'.  
                "\n".'<td>'.$MxTries.'</td>'.  
                "\n".'<td>'.$Avg.'</td>'.  
                "\n".'<td>'.$YES.'</td>'.  
                "\n".'<td>'.$Override.'</td>'.  
                "\n".'<td>'.$Wrng.'</td>'.  
                "\n".'<td>'.$SD.'</td>'.  
                "\n".'<td>'.$Sk.'</td>'.  
                "\n".'<td>'.$DoD.'</td>'.  
                "\n".'<td>'.$res.'</td>'.  
                "\n".'</tr>' );  
  $GraphDat{$nIdx}=$DoD.':'.$Wrng;  
     }   
 }  
   
 # ------------------------------------------- Prepare data for Graphical chart  
   
 sub GetGraphData {  
     my $Tag = shift;  
     my $Col;  
     my $data='';  
     my $count = 0;  
     my $Max = 0;  
     my $cid=$ENV{'request.course.id'};  
     my $GraphDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".  
                   "_$ENV{'user.domain'}_$cid\_graph.db";  
     foreach (keys %GraphDat) {delete $GraphDat{$_};}  
     if (-e "$GraphDB") {  
  if (tie(%GraphDat,'GDBM_File',"$GraphDB",&GDBM_READER,0640)) {  
     if ( $Tag eq 'DoDiff Graph' ) {  
  $Tag = 'Degree-of-Difficulty';  
  $Col = 0;  
     }  
     else {  
  $Tag = 'Wrong-Percentage';  
  $Col = 1;  
     }  
     foreach (sort NumericSort keys %GraphDat) {   
  my @Temp=split(/\:/,$GraphDat{$_});  
                 my $inf = $Temp[$Col];   
  if ( $Max < $inf ) {$Max = $inf;}  
  $data .= $inf.',';  
  $count++;  
     }  
             untie(%GraphDat);  
     my $Course = $ENV{'course.'.$cid.'.description'};  
     $Course =~ s/\ /"_"/eg;  
     $GData=$Course.'&'.$Tag.'&'.$Max.'&'.$count.'&'.$data;  
   
  }  
  else {  
     $r->print("Unable to tie hash to db file");  
  }  
     }  
 }  
   
   
 sub initial {  
 # --------------------------------- Initialize the global varaibles  
   undef @students;  
   undef @cols;  
   undef %maps;  
   undef %section;  
   undef %StuBox;  
   undef @list;  
   undef %CachData;  
   undef %GraphDat;  
   undef %DiscFac;  
   undef $CurMap;  
   undef $CurSec;  
   undef $CurStu;  
   undef $p_count;  
   undef $Pos;  
   undef $GData;  
 }  
   
   
 sub ClassList {  
   
     &GetStatus();  
   
     $cid=$ENV{'request.course.id'};  
     my $chome=$ENV{'course.'.$cid.'.home'};  
     my ($cdom,$cnum)=split(/\_/,$cid);  
 # ----------------------- Get first and last resource, see if there is anything  
     $firstres=$hash{'map_start_/res/'.$ENV{'request.course.uri'}};  
     $lastres=$hash{'map_finish_/res/'.$ENV{'request.course.uri'}};  
     if (($firstres) && ($lastres)) {  
 # ----------------------------------------------------------------- Render page  
  my $classlst=&Apache::lonnet::reply  
                  ('dump:'.$cdom.':'.$cnum.':classlist',$chome);  
  my $StudNo = 0;  
  unless ($classlst=~/^error\:/) {  
     foreach (sort split(/\&/,$classlst)) {  
  my ($name,$value)=split(/\=/,$_);  
  my ($end,$start)=split(/\:/,&Apache::lonnet::unescape($value));  
  $name=&Apache::lonnet::unescape($name);  
  my ($sname,$sdom)=split(/\:/,$name);  
  my $ssec=&Apache::lonnet::usection($sdom,$sname,$cid);  
                 if ($ssec==-1) {next;}  
  $ssec=($ssec) ? $ssec : '(none)';  
  $ssec=(int($ssec)) ? int($ssec) : $ssec;  
  #$r->print($sname.'...'.$ssec.'<br>');  
  $section{$ssec}=$ssec;  
  if ($CurSec eq 'All Sections' || $ssec eq $CurSec) {  
     $students[$StudNo]=$name;  
     $StuBox{$sname}=$ssec;  
  }  
  $StudNo++;  
     }  
  }  
  else {  
     $r->print('<h1>Could not access course data</h1>');  
  }  
         $r->print("Total number of students : ".($#students+1));  
         $r->rflush();  
 # --------------- Find all assessments and put them into some linear-like order  
  &tracetable($firstres,'&'.$lastres.'&');  
     }      }
       $Str .= ">all</option>\n";
       #
       # Loop through the student data fields
       foreach my $item (@StudentDataOrder) {
           $Str .= '    <option value="'.$item.'" ';
           foreach (@SelectedStudentData) {
               if ($item eq $_ ) {
                   $Str .= 'selected ';
                   last;
               }
           }
           $Str .= '>'.$item."</option>\n";
       }
       $Str .= "</select>\n";
       return $Str;
   }
   
   ##############################################
   ##############################################
   
   =pod 
   
   =item &MapSelect($elementname,$status,$numvisible,$restriction) 
   
   Returns html for a selection box allowing the user to choose one (or more) 
   of the sequences in the course.  The values of the sequences are the symbs.
   If the top sequence is selected, the value 'top' will result.
   
   =over 4
   
   =item $elementname The name of the HTML form element
   
 # ------------------------------------------------------------- End render page   =item $status 'multiple' or 'single' selection box
     else {  
  $r->print('<h3>Undefined course sequence</h3>');  =item $numvisible The number of options to be visible
     }  
     &MapSecOptions();  =item $restriction Code reference to subroutine which returns true or 
 }  false.  The code must expect a reference to a sequence data structure.
   
   =back
 sub Menu {  
     my $InpStr = $ENV{'form.sort'};  =cut
     if ( $InpStr eq 'DoDiff Graph' || $InpStr eq '%Wrong Graph' ) {        
  &GetGraphData($InpStr);  ##############################################
     $r->print('<IMG src="/cgi-bin/graph.gif?'.$GData.'" />');  ##############################################
     }  sub MapSelect {
     else {      my ($elementname,$status,$numvisible,$restriction)=@_;
  $r->print('<html><head><title>LON-CAPA Statistics</title></head>');      if ($numvisible < 1) {
           return;
       }
         $r->print('<body bgcolor="#FFFFFF">'.      #
                   '<script>window.focus(); window.width=500;window.height=500; </script>'.      # Set up array of selected items
                   '<img align=right src=/adm/lonIcons/lonlogos.gif>');      &SetSelectedMaps($elementname);
 # ---------------------------------------------------------------- Course title      #
         $r->print('<h1> Course : "'.      # Set up the restriction call
                   $ENV{'course.'.$ENV{'request.course.id'}.      if (! defined($restriction)) {
                   '.description'}.'"</h1><h2>'.localtime().'</h2>');          $restriction = sub { 1; };
 # ------------------------------- This is going to take a while, produce output      }
         $r->rflush();      #
       # Build the form element
  $r->print("\n".'<form name=stat method=post action="/adm/statistics" >');      my $Str = "\n";
       $Str .= '<select name="'.$elementname.'" ';
  my $content = $ENV{'form.sort'};      if ($status ne 'single') {
  if ($content eq '' || $content eq 'Return to Menu') {          $Str .= 'multiple="true" ';
     my $Ptr = '<h3>';      }
     $Ptr .= '<input type=submit name=sort value="Problem Evaluation"/>';#General Statistics"/>';      $Str .= 'size="'.$numvisible.'" >'."\n";
     $Ptr .= '<br><br>';      #
     $Ptr .= '<input type=submit name=sort value="Student Assessment"/>';      # Deal with 'all'
     $Ptr .= '<br><br>';      foreach (@SelectedMaps) {
 #    $Ptr .= '<input type=submit name=sort value=Discrimination>';#"Problem Evaluation"/>';          if ($_ eq 'all') {
     $Ptr .= '</h3>';              @SelectedMaps = ('all');
     $r->print( $Ptr );              last;
       }          }
  else {      }
     &initial();      #
     &ClassList();      # Put in option for 'all'
     if ( $content eq 'Discrimination' || #'Problem Evaluation' ||      $Str .= '    <option value="all" ';
                  $content eq 'Recalculate Discrimintion Factor' ) {      foreach (@SelectedMaps) {
  &CreateDiscFac();          if ($_ eq 'all') {
     }              $Str .= 'selected ';
     elsif ( $content eq 'Student Assessment' ||               last;
                     $content eq 'Create Student Report' ) {          }
  &StudentOptions();      }
  &StudentReport($CurStu,$StuBox{"$CurStu"});      $Str .= ">all</option>\n";
     }      #
     else {      # Loop through the sequences
  &PreStatTable();      foreach my $seq (@Sequences) {
     }          next if (! $restriction->($seq));
  }          $Str .= '    <option value="'.$seq->{'symb'}.'" ';
  $r->print("\n".'</form>'.          foreach (@SelectedMaps) {
                   "\n".'</body>'.              if ($seq->{'symb'} eq $_) {
                   "\n".'</html>');                  $Str .= 'selected ';
  $r->rflush();                  last;
     }              }
 }          }
           $Str .= '>'.$seq->{'title'}."</option>\n";
 sub StudentOptions {      }
     my $OpSel5='';      $Str .= "</select>\n";
     $CurStu = $ENV{'form.student'};      return $Str;
     if ( $CurStu eq '' ) {   }
         $CurStu = 'All Students';  
         $OpSel5 = 'selected';  ##############################################
     }  ##############################################
     my $Ptr ='';  
 # ----------------------------------- Loading the Students Combobox  =pod 
     $Ptr .= '<br><b>Select Student</b>'."\n".  
            '<select name="student">'."\n".   =item &SectionSelect($elementname,$status,$numvisible) 
     '<option '.$OpSel5.'>All Students</option>';                               
     foreach my $key ( sort keys %StuBox ) {            Returns html for a selection box allowing the user to choose one (or more) 
  $Ptr .= '<option';  of the sections in the course.  
  if ($CurStu eq $key) {$Ptr .= ' selected';}       
         $Ptr .= '>'.$key."</option>\n";       =over 4
     }  
     $Ptr .= '</select>';  =item $elementname The name of the HTML form element
     $Ptr .= '<br><input type="submit" name="sort" value="Create Student Report" />';  
     $r->print( $Ptr );  =item $status 'multiple' or 'single' selection box
     $r->rflush();  
 }  =item $numvisible The number of options to be visible
   
 sub GetStatus {  =item $selected Array ref to the names of the already selected sections.
   If undef, $ENV{'form.'.$elementname} is used.  
     $OpSelDis1='';  If $ENV{'form.'.$elementname} is also empty, none will be selected.
     $OpSelDis2='';  
     $OpSel1='';  =item $restriction Code reference to subroutine which returns true or 
     $OpSel2='';  false.  The code must expect a reference to a sequence data structure.
     $OpSel3='';  
     $OpSel4='';  =back
   
 #    if ( $ENV{'form.DisType'} eq 'Total Number of Correct Answers' ) {   =cut
 # $OpSelDis1='selected';   
 # $CurDis=0;  ##############################################
 #    }  ##############################################
 #    else { $OpSel2 = 'selected'; $CurDis = 1;}  sub SectionSelect {
       my ($elementname,$status,$numvisible)=@_;
     if ( $ENV{'form.order'} eq 'Descending' ) { $OpSel2='selected'; }      if ($numvisible < 1) {
     else { $OpSel1 = 'selected'; }          return;
     $CurMap = $ENV{'form.maps'};      }
     if ( $CurMap eq '' ) {       #
  $CurMap = 'All Maps';      # Build the form element
  $OpSel3 = 'selected';      my $Str = "\n";
     }      $Str .= '<select name="'.$elementname.'" ';
     $CurSec = $ENV{'form.section'};      if ($status ne 'single') {
     if ( $CurSec eq '' ) {           $Str .= 'multiple="true" ';
  $CurSec = 'All Sections';      }
         $OpSel4 = 'selected';      $Str .= 'size="'.$numvisible.'" >'."\n";
     }      #
 }      # Loop through the sequences
       foreach my $s (@Sections) {
           $Str .= '    <option value="'.$s.'" ';
 sub MapSecOptions {          foreach (@SelectedSections) {
 # ----------------------------------- Loading the Maps Combobox              if ($s eq $_) {
     my $Ptr = '<br>';                  $Str .= 'selected ';
     $Ptr .= '<br><input type="submit" name="sort" value="Return to Menu" />';                  last;
     $Ptr .= '<br><b> Select &nbsp; Map &nbsp; &nbsp; </b>'."\n".              }
            '<select name="maps">'."\n".           }
     '<option '.$OpSel3.'>All Maps</option>';                                       $Str .= '>'.$s."</option>\n";
     foreach my $key ( sort keys %maps ) {                }
  $Ptr .= '<option';      $Str .= "</select>\n";
         if ($CurMap eq $key) {$Ptr .= ' selected';}           return $Str;
  $Ptr .= '>'.$key."</option>\n";       }
     }  
     $Ptr .= '</select>';  ##############################################
     $Ptr .= '&nbsp;&nbsp;&nbsp;';  ##############################################
   
 # ----------------------------------- Loading the Sections Combobox  sub CheckFormElement {
     $Ptr .= '<br><b>Select Section</b>'."\n".      my ($cache, $ENVName, $cacheName, $default)=@_;
            '<select name="section">'."\n".   
     '<option '.$OpSel4.'>All Sections</option>';                                   if(defined($ENV{'form.'.$ENVName})) {
     foreach my $key ( sort keys %section ) {                    $cache->{$cacheName} = $ENV{'form.'.$ENVName};
  $Ptr .= '<option';      } elsif(!defined($cache->{$cacheName})) {
         if ($CurSec eq $key) {$Ptr .= ' selected';}               $cache->{$cacheName} = $default;
  $Ptr .= '>'.$key."</option>"."\n";           } else {
           $ENV{'form.'.$ENVName} = $cache->{$cacheName};
       }
       return;
   }
   
   sub ProcessFormData{
       my ($cache)=@_;
   
       $cache->{'reportKey'} = 'false';
   
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['download',
                                                'reportSelected',
                                                'StudentAssessmentStudent',
                                                'ProblemStatisticsSort']);
       &CheckFormElement($cache, 'DownloadAll', 'DownloadAll', 'false');
       if ($cache->{'DownloadAll'} ne 'false') {
           # Clean the hell out of that cache!
           # We cannot untie the hash at this scope (stupid libgd :( )
           # So, remove every single key.  What a waste of time....
           # Of course, if you are doing this you are probably resigned
           # to waiting a while.
           &Apache::lonnet::logthis("Cleaning out the cache file");
           while (my ($key,undef)=each(%$cache)) {
               next if ($key eq 'DownloadAll');
               delete($cache->{$key});
           }
       }
       &CheckFormElement($cache, 'Status', 'Status', 'Active');
       &CheckFormElement($cache, 'postdata', 'reportSelected', 'Class list');
       &CheckFormElement($cache, 'reportSelected', 'reportSelected', 
                         'Class list');
       $cache->{'reportSelected'} = 
           &Apache::lonnet::unescape($cache->{'reportSelected'});
       &CheckFormElement($cache, 'sort', 'sort', 'fullname');
       &CheckFormElement($cache, 'download', 'download', 'false');
       &CheckFormElement($cache, 'StatisticsMaps', 
                         'StatisticsMaps', 'All Maps');
       &CheckFormElement($cache, 'StatisticsProblemSelect',
         'StatisticsProblemSelect', 'All Problems');
       &CheckFormElement($cache, 'StatisticsPartSelect',
         'StatisticsPartSelect', 'All Parts');
       if(defined($ENV{'form.Section'})) {
           my @sectionsSelected = (ref($ENV{'form.Section'}) ?
                                  @{$ENV{'form.Section'}} :
                                   ($ENV{'form.Section'}));
           $cache->{'sectionsSelected'} = join(':', @sectionsSelected);
       } elsif(!defined($cache->{'sectionsSelected'})) {
           $cache->{'sectionsSelected'} = $cache->{'sectionList'};
       }
   
       # student assessment
       if(defined($ENV{'form.CreateStudentAssessment'}) ||
          defined($ENV{'form.NextStudent'}) ||
          defined($ENV{'form.PreviousStudent'})) {
           $cache->{'reportSelected'} = 'Student Assessment';
       }
       if(defined($ENV{'form.NextStudent'})) {
           $cache->{'StudentAssessmentMove'} = 'next';
       } elsif(defined($ENV{'form.PreviousStudent'})) {
           $cache->{'StudentAssessmentMove'} = 'previous';
       } else {
           $cache->{'StudentAssessmentMove'} = 'selected';
       }
       &CheckFormElement($cache, 'StudentAssessmentStudent', 
                         'StudentAssessmentStudent', 'All Students');
       $cache->{'StudentAssessmentStudent'} = 
           &Apache::lonnet::unescape($cache->{'StudentAssessmentStudent'});
       &CheckFormElement($cache, 'DefaultColumns', 'DefaultColumns', 'false');
   
       # Problem analysis
       &CheckFormElement($cache, 'Interval', 'Interval', '1');
   
       # ProblemStatistcs
       &CheckFormElement($cache, 'DisplayCSVFormat',
                         'DisplayFormat', 'Display Table Format');
       &CheckFormElement($cache, 'ProblemStatisticsAscend',
                         'ProblemStatisticsAscend', 'Ascending');
       &CheckFormElement($cache, 'ProblemStatisticsSort',
                         'ProblemStatisticsSort', 'Homework Sets Order');
       &CheckFormElement($cache, 'DisplayLegend', 'DisplayLegend', 
         'Hide Legend');
       &CheckFormElement($cache, 'SortProblems', 'SortProblems', 
                         'Sort Within Sequence');
   
       # Search only form elements
       my @headingColumns=();
       my @sequenceColumns=();
       my $foundColumn = 0;
       if(defined($ENV{'form.ReselectColumns'})) {
           my @reselected = (ref($ENV{'form.ReselectColumns'}) ? 
                             @{$ENV{'form.ReselectColumns'}}
                             : ($ENV{'form.ReselectColumns'}));
           foreach (@reselected) {
               if(/HeadingColumn/) {
                   push(@headingColumns, $_);
                   $foundColumn = 1;
               } elsif(/SequenceColumn/) {
                   push(@sequenceColumns, $_);
                   $foundColumn = 1;
               }
           }
       }
   
       $cache->{'reportKey'} = 'false';
       if($cache->{'reportSelected'} eq 'Analyze') {
           $cache->{'reportKey'} = 'Analyze';
       } elsif($cache->{'reportSelected'} eq 'DoDiffGraph') {
           $cache->{'reportKey'} = 'DoDiffGraph';
       } elsif($cache->{'reportSelected'} eq 'PercentWrongGraph') {
           $cache->{'reportKey'} = 'PercentWrongGraph';
       }
   
       if(defined($ENV{'form.DoDiffGraph'})) {
           $cache->{'reportSelected'} = 'DoDiffGraph';
           $cache->{'reportKey'} = 'DoDiffGraph';
       } elsif(defined($ENV{'form.PercentWrongGraph'})) {
           $cache->{'reportSelected'} = 'PercentWrongGraph';
           $cache->{'reportKey'} = 'PercentWrongGraph';
       }
   
       foreach (keys(%ENV)) {
           if(/form\.Analyze/) {
               $cache->{'reportSelected'} = 'Analyze';
               $cache->{'reportKey'} = 'Analyze';
               my $data;
               (undef, $data)=split(':::', $_);
               $cache->{'AnalyzeInfo'}=$data;
           } elsif(/form\.HeadingColumn/) {
               my $value = $_;
               $value =~ s/form\.//;
               push(@headingColumns, $value);
               $foundColumn=1;
           } elsif(/form\.SequenceColumn/) {
               my $value = $_;
               $value =~ s/form\.//;
               push(@sequenceColumns, $value);
               $foundColumn=1;
           }
       }
   
       if($foundColumn) {
           $cache->{'HeadingsFound'} = join(':', @headingColumns);
           $cache->{'SequencesFound'} = join(':', @sequenceColumns);;
       }
       if(!defined($cache->{'HeadingsFound'}) || 
          $cache->{'DefaultColumns'} ne 'false') {
           $cache->{'HeadingsFound'}='HeadingColumnFull Name';
       }
       if(!defined($cache->{'SequencesFound'}) ||
          $cache->{'DefaultColumns'} ne 'false') {
           $cache->{'SequencesFound'}='All Sequences';
       }
       $cache->{'DefaultColumns'} = 'false';
   
       return;
   }
   
   ##################################################
   ##################################################
   
   =pod
   
   =item &SortStudents()
   
   Determines which students to display and in which order.  Which are 
   displayed are determined by their status(active/expired).  The order
   is determined by the sort button pressed (default to username).  The
   type of sorting is username, lastname, or section.
   
   =over 4
   
   Input: $students, $CacheData
   
   $students: A array pointer to a list of students (username:domain)
   
   $CacheData: A pointer to the hash tied to the cached data
   
   Output: \@order
   
   @order: An ordered list of students (username:domain)
   
   =back
   
   =cut
   
   sub SortStudents {
       my ($cache)=@_;
   
       my @students = split(':::',$cache->{'NamesOfStudents'});
       my @sorted1Students=();
       foreach (@students) {
           if($cache->{'Status'} eq 'Any' || 
              $cache->{$_.':Status'} eq $cache->{'Status'}) {
               push(@sorted1Students, $_);
           }
       }
   
       my $sortBy = '';
       if(defined($cache->{'sort'})) {
           $sortBy = ':'.$cache->{'sort'};
       } else {
           $sortBy = ':fullname';
       }
       my @order = sort { lc($cache->{$a.$sortBy}) cmp lc($cache->{$b.$sortBy}) ||
                          lc($cache->{$a.':fullname'}) cmp lc($cache->{$b.':fullname'}) } 
                   @sorted1Students;
   
       return \@order;
   }
   
   =pod
   
   =item &SpaceColumns()
   
   Determines the width of all the columns in the chart.  It is based on
   the max of the data for that column and its header.
   
   =over 4
   
   Input: $students, $studentInformation, $headings, $ChartDB
   
   $students: An array pointer to a list of students (username:domain)
   
   $studentInformatin: The type of data for the student information.  It is
   used as part of the key in $CacheData.
   
   $headings: The name of the student information columns.
   
   $ChartDB: The name of the cache database which is opened for read/write.
   
   Output: None - All data stored in cache.
   
   =back
   
   =cut
   
   sub SpaceColumns {
       my ($students,$studentInformation,$headings,$cache)=@_;
   
       # Initialize Lengths
       for(my $index=0; $index<(scalar @$headings); $index++) {
           my @titleLength=split(//,$headings->[$index]);
           $cache->{$studentInformation->[$index].':columnWidth'}=
               scalar @titleLength;
       }
   
       foreach my $name (@$students) {
           foreach (@$studentInformation) {
               my @dataLength=split(//,$cache->{$name.':'.$_});
               my $length=(scalar @dataLength);
               if($length > $cache->{$_.':columnWidth'}) {
                   $cache->{$_.':columnWidth'}=$length;
               }
           }
       }
   
       return;
   }
   
   sub PrepareData {
       my ($c, $cacheDB, $studentInformation, $headings,$r)=@_;
   
       # Test for access to the cache data
       my $courseID=$ENV{'request.course.id'};
       my $isRecalculate=0;
       if(defined($ENV{'form.Recalculate'})) {
           $isRecalculate=1;
       }
   
       my $isCached = &Apache::loncoursedata::TestCacheData($cacheDB,
                                                            $isRecalculate);
       if($isCached < 0) {
           return "Unable to tie hash to db file.";
       }
   
       # Download class list information if not using cached data
       my %cache;
       unless(tie(%cache,'GDBM_File',$cacheDB,&GDBM_WRCREAT(),0640)) {
           return "Unable to tie hash to db file.";
       }
   
   #    if(!$isCached) {
           my $processTopResourceMapReturn=
               &Apache::loncoursedata::ProcessTopResourceMap(\%cache, $c);
           if($processTopResourceMapReturn ne 'OK') {
               untie(%cache);
               return $processTopResourceMapReturn;
           }
    #   }
   
       if($c->aborted()) {
           untie(%cache);
           return 'aborted'; 
       }
   
       my $classlist=&Apache::loncoursedata::DownloadClasslist($courseID,
                                                   $cache{'ClasslistTimestamp'},
                                                   $c);
       foreach (keys(%$classlist)) {
           if(/^(con_lost|error|no_such_host)/i) {
               untie(%cache);
               return "Error getting student data.";
           }
       }
   
       if($c->aborted()) {
           untie(%cache);
           return 'aborted'; 
       }
   
       # Active is a temporary solution, remember to change
       Apache::loncoursedata::ProcessClasslist(\%cache,$classlist,$courseID,$c);
       if($c->aborted()) {
           untie(%cache);
           return 'aborted'; 
       }
   
       &ProcessFormData(\%cache);
       my $students = &SortStudents(\%cache);
       &SpaceColumns($students, $studentInformation, $headings, \%cache);
       $cache{'updateTime:columnWidth'}=24;
   
       my $download = $cache{'download'};
       my $downloadAll = $cache{'DownloadAll'};
       my @allStudents=();
       if($download ne 'false') {
           $cache{'download'} = 'false';
       } elsif($downloadAll ne 'false') {
           $cache{'DownloadAll'} = 'false';
           if($downloadAll eq 'sorted') {
               @allStudents = @$students;
           } else {
               @allStudents = split(':::', $cache{'NamesOfStudents'});
           }
       }
   
       untie(%cache);
   
       if($download ne 'false') {
           my @who = ($download);
           if(&Apache::loncoursedata::DownloadStudentCourseData(\@who, 'false',
                                                                $cacheDB, 'true',
                                                                'false', $courseID,
                                                                $r, $c) ne 'OK') {
               return 'Stop at download individual';
           }
       } elsif($downloadAll ne 'false') {
           if(&Apache::loncoursedata::DownloadStudentCourseData(\@allStudents,
                                                                'false',
                                                                $cacheDB, 'true',
                                                                'true', $courseID,
                                                                $r, $c) ne 'OK') {
               return 'Stop at download all';
           }
       }
   
       return ('OK', $students);
   }
   
   sub DisplayClasslist {
       my ($r)=@_;
       #
       my @Fields = ('fullname','username','domain','id','section');
       #
       my $Str='';
       $Str .= '<table border="0"><tr><td bgcolor="#777777">'."\n";
       $Str .= '<table border="0" cellpadding="3"><tr bgcolor="#e6ffff">'."\n";
       foreach my $field (@Fields) {
           $Str .= '<th><a href="/adm/statistics?sort='.$field.'">'.$field.
               '</a></th>';
       }
       $Str .= '</tr>'."\n";
       #
       my $alternate = 0;
       foreach my $student (@Students) {
           my $sname = $student->{'username'}.':'.$student->{'domain'};
           if($alternate) {
               $Str .= '<tr bgcolor="#ffffe6">';
           } else {
               $Str .= '<tr bgcolor="#ffffc6">';
           }
           $alternate = ($alternate + 1) % 2;
           #
           foreach my $field (@Fields) {
               $Str .= '<td>';
               if ($field eq 'fullname') {
                   $Str .= '<a href="/adm/statistics?reportSelected=';
                   $Str .= &Apache::lonnet::escape('Student Assessment');
                   $Str .= '&StudentAssessmentStudent=';
                   $Str .= &Apache::lonnet::escape($sname).'">';
                   $Str .= $student->{$field}.'&nbsp';
                   $Str .= '</a>';
               } else {
                   $Str .= $student->{$field};
               }
               $Str .= '</td>';
           }
           $Str .= "</tr>\n";
       }
       $Str .= '</table></td></tr></table>'."\n";
       #
       $r->print($Str);
       $r->rflush();
       #
       return;
   }
   
   sub BuildClasslist {
       my ($cacheDB,$students,$studentInformation,$headings,$r)=@_;
   
       my %cache;
       unless(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER(),0640)) {
           return '<html><body>Unable to tie database.</body></html>';
       }
   
   #    my $Ptr = '';
   #    $Ptr .= '<table border="0"><tbody>';
   #    $Ptr .= '<tr><td align="right"><b>Select Sections</b>';
   #    $Ptr .= '</td>'."\n";
   #    $Ptr .= '<td align="left">'."\n";
   #    my @sectionsSelected = split(':',$cache{'sectionsSelected'});
   #    my @sections = split(':',$cache{'sectionList'});
   #    $Ptr .= &Apache::lonhtmlcommon::MultipleSectionSelect(\@sections,
   #                                                          \@sectionsSelected,
   #                                                          'Statistics');
   #    $Ptr .= '</td></tr></table><br>';
   #    $r->print($Ptr);
   #    $r->rflush();
   #    my %mySections = ();
   #    foreach (@sections) { $mySections{$_} = 'True'; }
   #    $r->print("<br>$cache{'sectionsSelected'}<br>");
   
       my $Str='';
       $Str .= '<table border="0"><tr><td bgcolor="#777777">'."\n";
       $Str .= '<table border="0" cellpadding="3"><tr bgcolor="#e6ffff">'."\n";
   
       my $displayString = '<td align="left"><a href="/adm/statistics?';
       $displayString .= 'sort=LINKDATA">DISPLAYDATA&nbsp</a></td>'."\n";
       $Str .= &Apache::lonhtmlcommon::CreateHeadings(\%cache,
                                                      $studentInformation,
                                                      $headings, $displayString);
       $Str .= '</tr>'."\n";
   
       my $alternate=0;
       foreach (@$students) {
   #        if ($mySections{$cache{$_.':'.'section'}} ne 'True') {next;}
           my ($username, $domain) = split(':', $_);
           if($alternate) {
               $Str .= '<tr bgcolor="#ffffe6">';
           } else {
               $Str .= '<tr bgcolor="#ffffc6">';
           }
           $alternate = ($alternate + 1) % 2;
           foreach my $data (@$studentInformation) {
               $Str .= '<td>';
               if($data eq 'fullname') {
                   $Str .= '<a href="/adm/statistics?reportSelected=';
                   $Str .= &Apache::lonnet::escape('Student Assessment');
                   $Str .= '&StudentAssessmentStudent=';
                   $Str .= &Apache::lonnet::escape($cache{$_.':'.$data}).'">';
                   $Str .= $cache{$_.':'.$data}.'&nbsp';
                   $Str .= '</a>';
               } elsif($data eq 'updateTime') {
                   $Str .= '<a href="/adm/statistics?reportSelected=';
                   $Str .= &Apache::lonnet::escape('Class list');
                   $Str .= '&download='.$_.'">';
                   $Str .= $cache{$_.':'.$data}.'&nbsp';
                   $Str .= '&nbsp</a>';
               } else {
                   $Str .= $cache{$_.':'.$data}.'&nbsp';
               }
   
               $Str .= '</td>'."\n";
           }
     }      }
     $Ptr .= '</select>'."\n";  
   
     $r->print( $Ptr );      $Str .= '</tr>'."\n";
       $Str .= '</table></td></tr></table>'."\n";
       $r->print($Str);
     $r->rflush();      $r->rflush();
   
       untie(%cache);
   
       return;
 }  }
   
   sub CreateMainMenu {
       my ($status, $reports)=@_;
   
       my $Str = '';
   
       $Str .= '<table border="0"><tbody><tr>'."\n";
       $Str .= '<td></td>'."\n";
       $Str .= '<td align="center"><b>Select a Report</b></td>'."\n";
       $Str .= '<td align="center"><b>Student Status</b></td></tr>'."\n";
       $Str .= '<tr>'."\n";
       $Str .= '<td align="center"><input type="submit" name="Refresh" ';
       $Str .= 'value="Update Display" /></td>'."\n";
       $Str .= '<td align="center">';
       $Str .= '<select name="reportSelected" onchange="document.';
       $Str .= 'Statistics.submit()">'."\n";
   
       foreach (sort(keys(%$reports))) {
           next if($_ eq 'reportSelected');
           $Str .= '<option name="'.$_.'"';
           if($reports->{'reportSelected'} eq $reports->{$_}) {
               $Str .= ' selected=""';
           }
           $Str .= '>'.$reports->{$_}.'</option>'."\n";
       }
       $Str .= '</select></td>'."\n";
   
       $Str .= '<td align="center">';
       $Str .= &Apache::lonhtmlcommon::StatusOptions($status, 'Statistics');
       $Str .= '</td>'."\n";
   
       $Str .= '</tr></tbody></table>'."\n";
       $Str .= '<hr>'."\n";
   
       return $Str;
   }
   
   sub BuildStatistics {
       my ($r)=@_;
   
       my $c = $r->connection;
       my @studentInformation=('fullname','section','id','domain','username',
                               'updateTime');
       my @headings=('Full Name', 'Section', 'PID', 'Domain', 'User Name',
                     'Last Updated');
       my $spacing = '   ';
   
       my %reports = ('classlist'          => 'Class list',
                      'problem_statistics' => 'Problem Statistics',
                      'student_assessment' => 'Student Assessment',
      'percentage'         => 'Correct-problems Plot',
   #                   'activitylog'        => 'Activity Log',
                      'reportSelected'     => 'Class list');
   
       my %cache;
       my $courseID=$ENV{'request.course.id'};
       my $cacheDB = "/home/httpd/perl/tmp/$ENV{'user.name'}".
                     "_$ENV{'user.domain'}_$courseID\_statistics.db";
   
       $r->print(&Apache::lonhtmlcommon::Title('Course Statistics and Charts'));
   
       my ($returnValue, $students) = &PrepareData($c, $cacheDB,
                                                   \@studentInformation,
                                                   \@headings,$r);
       if($returnValue ne 'OK') {
           $r->print($returnValue."\n".'</body></html>');
           return OK;
       }
       if(!$c->aborted()) {
           &Apache::loncoursedata::CheckForResidualDownload($cacheDB,
                                                            'true', 'true',
                                                            $courseID,
                                                            $r, $c);
       }
   
       my $GoToPage;
       if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER(),0640)) {
           $GoToPage = $cache{'reportSelected'};
           $reports{'reportSelected'} = $cache{'reportSelected'};
           if(defined($cache{'reportKey'}) &&
              !exists($reports{$cache{'reportKey'}}) &&
              $cache{'reportKey'} ne 'false') {
               $reports{$cache{'reportKey'}} = $cache{'reportSelected'};
           }
   
           if(defined($cache{'OptionResponses'})) {
               $reports{'problem_analysis'} = 'Option Response Analysis';
           }
   
           $r->print('<form name="Statistics" ');
           $r->print('method="post" action="/adm/statistics">');
           $r->print(&CreateMainMenu($cache{'Status'}, \%reports));
           $r->rflush();
           untie(%cache);
       } else {
           $r->print('<html><body>Unable to tie database.</body></html>');
           return OK;
       }
   
       if($GoToPage eq 'Activity Log') {
           &Apache::lonproblemstatistics::Activity();
       } elsif($GoToPage eq 'Problem Statistics') {
           &Apache::lonproblemstatistics::BuildProblemStatisticsPage($cacheDB,
                                                                     $students,
                                                                     $courseID,
                                                                     $c,$r);
       } elsif($GoToPage eq 'Option Response Analysis') {
           &Apache::lonproblemanalysis::BuildProblemAnalysisPage($cacheDB, $r);
       } elsif($GoToPage eq 'Student Assessment') {
           &Apache::lonstudentassessment::BuildStudentAssessmentPage($r, $c);
       } elsif($GoToPage eq 'Analyze') {
           &Apache::lonproblemanalysis::BuildAnalyzePage($cacheDB, $students,
                                                         $courseID, $r);
       } elsif($GoToPage eq 'DoDiffGraph' || $GoToPage eq 'PercentWrongGraph') {
           my $courseDescription = $ENV{'course.'.$courseID.'.description'};
           $courseDescription =~ s/\ /"_"/eg;
           &Apache::lonproblemstatistics::BuildGraphicChart($GoToPage, $cacheDB,
                                                            $courseDescription,
                                                            $students, $courseID,
                                                            $r, $c);
       } elsif($GoToPage eq 'Class list') {
           &DisplayClasslist($r);
   #        &BuildClasslist($cacheDB, $students, \@studentInformation,
   #                        \@headings, $r);
       } elsif($GoToPage eq 'Correct-problems Plot') {
    &Apache::lonpercentage::BuildPercentageGraph($cacheDB, $students,
        $courseID, $c, $r);
       }
   
       $r->print('</form>'."\n");
       $r->print("\n".'</body>'."\n".'</html>');
       $r->rflush();
   
       return OK;
   }
   
 # ================================================================ Main Handler  # ================================================================ Main Handler
   
 sub handler {  sub handler {
     $r=shift;      my $r=shift;
   
     if (&Apache::lonnet::allowed('vgr',$ENV{'request.course.id'})) {  #    $jr = $r;
 # ------------------------------------------- Set document type for header only  
  if ($r->header_only) {  
     if ($ENV{'browser.mathml'}) {  
  $r->content_type('text/xml');  
     }   
     else {  
  $r->content_type('text/html');  
     }  
     &Apache::loncommon::no_cache($r);  
     $r->send_http_header;  
     return OK;  
  }      
  my $requrl=$r->uri;  
 # ----------------------------------------------------------------- Tie db file  
   
  undef %hash;      my $loaderror=&Apache::lonnet::overloaderror($r);
       if ($loaderror) { return $loaderror; }
       $loaderror=
          &Apache::lonnet::overloaderror($r,
            $ENV{'course.'.$ENV{'request.course.id'}.'.home'});
       if ($loaderror) { return $loaderror; }
   
  if ($ENV{'request.course.fn'}) {      unless(&Apache::lonnet::allowed('vgr',$ENV{'request.course.id'})) {
     my $fn=$ENV{'request.course.fn'};  
     if (-e "$fn.db") {  
  if (tie(%hash,'GDBM_File',"$fn.db",&GDBM_READER,0640)) {  
 # ------------------------------------------------------------------- Hash tied  
     $r->content_type('text/html');  
     $r->send_http_header;  
     &Menu();  
  }  
  else {  
     $r->content_type('text/html');  
     $r->send_http_header;  
     $r->print('<html><body>Coursemap undefined.</body></html>');  
  }  
 # ------------------------------------------------------------------ Untie hash  
  unless (untie(%hash)) {  
     &Apache::lonnet::logthis("<font color=blue>WARNING: ".  
                             "Could not untie coursemap $fn (browse).</font>");   
  }  
   
 # -------------------------------------------------------------------- All done  
  return OK;  
 # ----------------------------------------------- Errors, hash could no be tied  
     }  
  }   
  else {  
     $ENV{'user.error.msg'}="$requrl:bre:0:0:Course not initialized";  
     return HTTP_NOT_ACCEPTABLE;   
  }  
     }  
     else {  
         $ENV{'user.error.msg'}=          $ENV{'user.error.msg'}=
         $r->uri.":vgr:0:0:Cannot view grades for complete course";          $r->uri.":vgr:0:0:Cannot view grades for complete course";
           return HTTP_NOT_ACCEPTABLE;
       }
   
         return HTTP_NOT_ACCEPTABLE;       # Set document type for header only
       if($r->header_only) {
           if ($ENV{'browser.mathml'}) {
               $r->content_type('text/xml');
           } else {
               $r->content_type('text/html');
           }
           &Apache::loncommon::no_cache($r);
           $r->send_http_header;
           return OK;
       }
   
       unless($ENV{'request.course.fn'}) {
    my $requrl=$r->uri;
           $ENV{'user.error.msg'}="$requrl:bre:0:0:Course not initialized";
           return HTTP_NOT_ACCEPTABLE;
     }      }
   
       $r->content_type('text/html');
       $r->send_http_header;
   
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['sort',
                                                'StudentAssessmentStudent']);
   
       &PrepareClasslist($r);
   
       &PrepareCourseData($r);
   
       &BuildStatistics($r);
   
       return OK;
 }  }
 1;  1;
 __END__  
   
   =pod
   
   =back
   
   =cut
   
   __END__
   
Removed from v.1.1  
changed lines
  Added in v.1.64

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>