Diff for /loncom/interface/statistics/lonstudentassessment.pm between versions 1.28 and 1.110

version 1.28, 2003/02/21 18:41:56 version 1.110, 2005/01/21 18:52:40
Line 1 Line 1
 # The LearningOnline Network with CAPA  # The LearningOnline Network with CAPA
 # (Publication Handler  
 #  #
 # $Id$  # $Id$
 #  #
Line 53  package Apache::lonstudentassessment; Line 52  package Apache::lonstudentassessment;
 use strict;  use strict;
 use Apache::lonstatistics;  use Apache::lonstatistics;
 use Apache::lonhtmlcommon;  use Apache::lonhtmlcommon;
   use Apache::loncommon();
 use Apache::loncoursedata;  use Apache::loncoursedata;
 use Apache::lonnet; # for logging porpoises  use Apache::lonnet; # for logging porpoises
 use GDBM_File;  use Apache::lonlocal;
   use Spreadsheet::WriteExcel;
   use Spreadsheet::WriteExcel::Utility();
   
   #######################################################
   #######################################################
   =pod
   
   =item Package Variables
   
   =over 4
   
   =item $Statistics Hash ref to store student data.  Indexed by symb,
         contains hashes with keys 'score' and 'max'.
   
   =cut
   
   #######################################################
   #######################################################
   
   my $Statistics;
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
 =pod  =pod
   
 =item &BuildStudentAssessmentPage()  =item $show_links 'yes' or 'no' for linking to student performance data
   
 Inputs:   =item $output_mode 'html', 'excel', or 'csv' for output mode
   
 =over 4  =item $show 'all', 'totals', or 'scores' determines how much data is output
   
 =item $cacheDB The name of the cache file used to store student data  =item $single_student_mode evaluates to true if we are showing only one
   student.
   
 =item $students Array ref containing the name(s) of the students   =cut
 selected for display  
   
 =item $courseID The ID of the course  #######################################################
   #######################################################
   my $show_links;
   my $output_mode;
   my $chosen_output;
   my $single_student_mode;
   
 =item $formName The name of the html form - 'Statistics'  #######################################################
   #######################################################
   # End of package variable declarations
   
 =item $headings Array ref of headings to show  =pod
   
 =item $spacing A string of spaces  =back
   
 =item $studentInformation Array ref of possible headings for student info  =cut
 ('fullname','section',...)  
   #######################################################
   #######################################################
   
   =pod
   
   =item &BuildStudentAssessmentPage()
   
   Inputs: 
   
   =over 4
   
 =item $r Apache Request  =item $r Apache Request
   
Line 95  selected for display Line 132  selected for display
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub BuildStudentAssessmentPage {  sub BuildStudentAssessmentPage {
     my ($cacheDB,$students,$courseID,$formName,$headings,$spacing,      my ($r,$c)=@_;
         $studentInformation,$r,$c)=@_;      #
     my %cache;      undef($Statistics);
     unless(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER(),0640)) {      undef($show_links);
         $r->print('<html><body>Unable to tie database.</body></html>');      undef($output_mode);
       undef($chosen_output);
       undef($single_student_mode);
       #
       my %Saveable_Parameters = ('Status' => 'scalar',
                                  'chartoutputmode' => 'scalar',
                                  'chartoutputdata' => 'scalar',
                                  'Section' => 'array',
                                  'StudentData' => 'array',
                                  'Maps' => 'array');
       &Apache::loncommon::store_course_settings('chart',\%Saveable_Parameters);
       &Apache::loncommon::restore_course_settings('chart',\%Saveable_Parameters);
       #
       &Apache::lonstatistics::PrepareClasslist();
       #
       $single_student_mode = 0;
       $single_student_mode = 1 if ($ENV{'form.SelectedStudent'});
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               ['selectstudent']);
       if ($ENV{'form.selectstudent'}) {
           &Apache::lonstatistics::DisplayClasslist($r);
         return;          return;
     }      }
       #
     # Remove students who don't have the proper section.      # Print out the HTML headers for the interface
     my @sectionsSelected = split(':',$cache{'sectionsSelected'});      #    This also parses the output mode selector
     for(my $studentIndex=((scalar @$students)-1); $studentIndex>=0;      #    This step must *always* be done.
         $studentIndex--) {      $r->print(&CreateInterface());
         my $value = $cache{$students->[$studentIndex].':section'};      $r->print('<input type="hidden" name="notfirstrun" value="true" />');
         my $found = 0;      $r->print('<input type="hidden" name="sort" value="'.
         foreach (@sectionsSelected) {                $ENV{'form.sort'}.'" />');
             if($_ eq 'none') {      $r->rflush();
                 if($value eq '' || !defined($value) || $value eq ' ') {      #
                     $found = 1;      if (! exists($ENV{'form.notfirstrun'}) && ! $single_student_mode) {
                     last;          return;
                 }      }
             } else {      #
                 if($value eq $_) {      my $initialize     = \&html_initialize;
                     $found = 1;      my $output_student = \&html_outputstudent;
                     last;      my $finish         = \&html_finish;
                 }      #
             }      if ($output_mode eq 'excel') {
         }          $initialize     = \&excel_initialize;
         if($found == 0) {          $output_student = \&excel_outputstudent;
             splice(@$students, $studentIndex, 1);          $finish         = \&excel_finish;
       } elsif ($output_mode eq 'csv') {
           $initialize     = \&csv_initialize;
           $output_student = \&csv_outputstudent;
           $finish         = \&csv_finish;
       }
       #
       if($c->aborted()) {  return ; }
       #
       # Determine which students we want to look at
       my @Students;
       if ($single_student_mode) {
           @Students = (&Apache::lonstatistics::current_student());
           $r->print(&next_and_previous_buttons());
           $r->rflush();
       } else {
           @Students = @Apache::lonstatistics::Students;
       }
       #
       # Perform generic initialization tasks
       #       Since we use lonnet::EXT to retrieve problem weights,
       #       to ensure current data we must clear the caches out.
       #       This makes sure that parameter changes at the student level
       #       are immediately reflected in the chart.
       &Apache::lonnet::clear_EXT_cache_status();
       #
       # Clean out loncoursedata's package data, just to be safe.
       &Apache::loncoursedata::clear_internal_caches();
       #
       # Call the initialize routine selected above
       $initialize->($r);
       foreach my $student (@Students) {
           if($c->aborted()) { 
               $finish->($r);
               return ; 
         }          }
           # Call the output_student routine selected above
           $output_student->($r,$student);
     }      }
     my ($infoHeadings, $infoKeys, $sequenceHeadings, $sequenceKeys,      # Call the "finish" routine selected above
         $doNotShow) =      $finish->($r);
         &ShouldShowColumns(\%cache, $headings, $studentInformation);      #
       return;
     my $selectedName = &FindSelectedStudent(\%cache,  }
                                             $cache{'StudentAssessmentStudent'},  
                                             $students);  
     $r->print(&CreateInterface(\%cache, $selectedName, $students, $formName,  
                                $doNotShow));  
     $r->rflush();  
   
   #######################################################
   #######################################################
   sub next_and_previous_buttons {
     my $Str = '';      my $Str = '';
     if($selectedName eq 'No Student Selected') {      $Str .= '<input type="hidden" name="SelectedStudent" value="'.
  $Str .= '<h3><font color=blue>WARNING: ';          $ENV{'form.SelectedStudent'}.'" />';
         $Str .= 'Please select a student</font></h3>';      #
         $r->print($Str);      # Build the previous student link
         return;      my $previous = &Apache::lonstatistics::previous_student();
       my $previousbutton = '';
       if (defined($previous)) {
           my $sname = $previous->{'username'}.':'.$previous->{'domain'};
           $previousbutton .= '<input type="button" value="'.
               'Previous Student ('.
               $previous->{'username'}.'@'.$previous->{'domain'}.')'.
               '" onclick="document.Statistics.SelectedStudent.value='.
               "'".$sname."'".';'.
               'document.Statistics.submit();" />';
       } else {
           $previousbutton .= '<input type="button" value="'.
               'Previous student (none)'.'" />';
     }      }
       #
     $r->print(&CreateTableHeadings(\%cache, $spacing, $infoKeys, $infoHeadings,      # Build the next student link
                                    $sequenceKeys, $sequenceHeadings));      my $next = &Apache::lonstatistics::next_student();
     untie(%cache);      my $nextbutton = '';
     if($c->aborted()) {  return $Str; }      if (defined($next)) {
           my $sname = $next->{'username'}.':'.$next->{'domain'};
     my $selected=0;          $nextbutton .= '<input type="button" value="'.
     my $Count = 0;              'Next Student ('.
     $r->print('<pre>'."\n");              $next->{'username'}.'@'.$next->{'domain'}.')'.
     foreach (@$students) {              '" onclick="document.Statistics.SelectedStudent.value='.
         if($c->aborted()) { return $Str; }              "'".$sname."'".';'.
         next if ($_ ne $selectedName &&              'document.Statistics.submit();" />';
                  $selectedName ne 'All Students');  
         $selected = 1;  
   
         my @who = ($_);  
         next if(&Apache::loncoursedata::DownloadStudentCourseData(\@who, 'true',  
                                                              $cacheDB, 'true',  
                                                              'false', $courseID,  
                                                              $r, $c) ne 'OK');  
         next if($c->aborted());  
   
         if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER(),0640)) {  
             my @before=();  
             my @after=();  
             my @updateColumn=();  
             my $foundUpdate = 0;  
             foreach(@$infoKeys) {  
                 if(/updateTime/) {  
                     $foundUpdate=1;  
                     push(@updateColumn, $_);  
                     next;  
                 }  
                 if($foundUpdate) {  
                     push(@after, $_);  
                 } else {  
                     push(@before, $_);  
                 }  
             }  
             $Count++;  
     my $out = '';  
     $out .= sprintf("%3d) ", $Count);  
             if($Count % 2) {  
                 $out .= '<bgcolor="#FFFFFF">';  
             } else {  
                 $out .= '<bgcolor="#505050">';  
             }  
     my $displayString = $out.'DISPLAYDATA'.$spacing;  
     $r->print(&Apache::lonhtmlcommon::FormatStudentInformation(  
                                                          \%cache, $_,  
                                                          \@before,  
                                                          $displayString,  
                                                          'preformatted'));  
   
             if($foundUpdate) {  
                 $displayString = '';  
                 $displayString .= '<a href="/adm/statistics?reportSelected=';  
                 $displayString .= &Apache::lonnet::escape('Student Assessment');  
                 $displayString .= '&download='.$_.'">';  
                 $displayString .= 'DISPLAYDATA</a>'.$spacing;  
                 $r->print(&Apache::lonhtmlcommon::FormatStudentInformation(  
                                                                    \%cache, $_,  
                                                                    \@updateColumn,  
                                                                    $displayString,  
                                                                    'preformatted'));  
             }  
   
             $displayString = 'DISPLAYDATA'.$spacing;  
             $r->print(&Apache::lonhtmlcommon::FormatStudentInformation(  
                                                          \%cache, $_,  
                                                          \@after,  
                                                          $displayString,  
                                                          'preformatted'));  
             $r->print(&StudentReport(\%cache, $_, $spacing, $sequenceKeys));  
             $r->print("\n");  
             $r->rflush();  
             untie(%cache);  
         }  
     }  
     $r->print('</pre>'."\n");   
     if($selected == 0) {  
  $Str .= '<h3><font color=blue>WARNING: ';  
         $Str .= 'No Students enrolled OR Please select a student</font></h3>';  
         $r->print($Str);  
     } else {      } else {
  if(tie(%cache,'GDBM_File',$cacheDB,&GDBM_READER(),0640)) {          $nextbutton .= '<input type="button" value="'.
     $r->print(&StudentAverageTotal(\%cache, $students, $sequenceKeys));              'Next student (none)'.'" />';
     untie(%cache);  
  }  
     }      }
     return;      #
       # Build the 'all students' button
       my $all = '';
       $all .= '<input type="button" value="All Students" '.
               '" onclick="document.Statistics.SelectedStudent.value='.
               "''".';'.'document.Statistics.submit();" />';
       $Str .= $previousbutton.('&nbsp;'x5).$all.('&nbsp;'x5).$nextbutton;
       return $Str;
   }
   
   #######################################################
   #######################################################
   
   sub get_student_fields_to_show {
       my @to_show = @Apache::lonstatistics::SelectedStudentData;
       foreach (@to_show) {
           if ($_ eq 'all') {
               @to_show = @Apache::lonstatistics::StudentDataOrder;
               last;
           }
       }
       return @to_show;
 }  }
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
Line 246  sub BuildStudentAssessmentPage { Line 297  sub BuildStudentAssessmentPage {
 Called by &BuildStudentAssessmentPage to create the top part of the  Called by &BuildStudentAssessmentPage to create the top part of the
 page which displays the chart.  page which displays the chart.
   
 Inputs:  Inputs: None
   
 =over 4  
   
 =item $cache The ubiquitous cache  
   
 =item $selectedName The name of the currently selected student, or  
 'All Students' or 'No Student Selected'.  
   
 =item $students Array ref containing the name(s) of the students selected  
 for display.  
   
 =item $formName The name of the HTML form to use, 'Statistics'  
   
 =item $doNotShow Array ref containing the names of columns to not show  
   
 =back  
   
 Returns:  A string containing the HTML for the headers and top table for   Returns:  A string containing the HTML for the headers and top table for 
 the chart page.  the chart page.
Line 272  the chart page. Line 307  the chart page.
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub CreateInterface {  sub CreateInterface {
     my($cache,$selectedName,$students,$formName,$doNotShow)=@_;  
   
     my $Str = '';      my $Str = '';
     $Str .= &CreateLegend();      $Str .= &Apache::lonhtmlcommon::breadcrumbs(undef,'Chart');
     $Str .= '<table><tr><td>'."\n";  #    $Str .= &CreateLegend();
     $Str .= '<input type="submit" name="PreviousStudent" ';      $Str .= '<table cellspacing="5">'."\n";
     $Str .= 'value="Previous Student" />'."\n";      $Str .= '<tr>';
     $Str .= '&nbsp&nbsp&nbsp'."\n";      $Str .= '<td align="center"><b>'.&mt('Sections').'</b></td>';
     $Str .= &Apache::lonhtmlcommon::StudentOptions($cache, $students,      $Str .= '<td align="center"><b>'.&mt('Student Data</b>').'</td>';
                                                    $selectedName,      $Str .= '<td align="center"><b>'.&mt('Enrollment Status').'</b></td>';
                                                    'StudentAssessment',      $Str .= '<td align="center"><b>'.&mt('Sequences and Folders').'</b></td>';
                                                    $formName);      $Str .= '<td align="center"><b>'.&mt('Output Format').'</b>'.
     $Str .= "\n".'&nbsp&nbsp&nbsp'."\n";          &Apache::loncommon::help_open_topic("Chart_Output_Formats").
     $Str .= '<input type="submit" name="NextStudent" ';          '</td>';
     $Str .= 'value="Next Student" />'."\n";      $Str .= '<td align="center"><b>'.&mt('Output Data').'</b>'.
     $Str .= '</td></tr></table>'."\n";          &Apache::loncommon::help_open_topic("Chart_Output_Data").
     $Str .= '<table cellspacing="5"><tr>'."\n";          '</td>';
     $Str .= '<td align="center"><b>Select Sections</b>'."\n";      $Str .= '</tr>'."\n";
     $Str .= '</td>'."\n";      #
     $Str .= '<td align="center"><b>Select column to view:</b></td>'."\n";  
     $Str .= '<td></td></tr>'."\n";  
   
     $Str .= '<tr><td align="center">'."\n";      $Str .= '<tr><td align="center">'."\n";
     my @sections = split(':',$cache->{'sectionList'});      $Str .= &Apache::lonstatistics::SectionSelect('Section','multiple',5);
     my @selectedSections = split(':',$cache->{'sectionsSelected'});  
     $Str .= &Apache::lonhtmlcommon::MultipleSectionSelect(\@sections,  
                                                           \@selectedSections,  
                                                           'Statistics');  
     $Str .= '</td><td align="center">';      $Str .= '</td><td align="center">';
     $Str .= &CreateColumnSelectionBox($doNotShow);      my $only_seq_with_assessments = sub { 
           my $s=shift;
           if ($s->{'num_assess'} < 1) { 
               return 0;
           } else { 
               return 1;
           }
       };
       $Str .= &Apache::lonstatistics::StudentDataSelect('StudentData','multiple',
                                                         5,undef);
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
     $Str .= '<input type="submit" name="DefaultColumns" ';      $Str .= &Apache::lonhtmlcommon::StatusOptions(undef,undef,5);
     $Str .= 'value="Default Column Display" />'."\n";  
     $Str .= '</td><td>'."\n";      $Str .= '</td><td>'."\n";
     $Str .= '<input type="submit" name="displaymode" ';      $Str .= &Apache::lonstatistics::MapSelect('Maps','multiple,all',5,
     if (! exists($ENV{'form.displaymode'}) ||                                                $only_seq_with_assessments);
         lc($ENV{'form.displaymode'}) eq 'display with links') {      $Str .= '</td><td>'."\n";
         $Str .= 'value="Display without links" />';      $Str .= &CreateAndParseOutputSelector();
         # Set the current value, in case it is undefined      $Str .= '</td><td>'."\n";
         $ENV{'form.displaymode'} = 'Display with links';      $Str .= &CreateAndParseOutputDataSelector();
     } else {      $Str .= '</td></tr>'."\n";
         $Str .= 'value="Display with links" />';      $Str .= '</table>'."\n";
     }      $Str .= '<input type="submit" name="Generate Chart" value="'.
     $Str .= "\n";          &mt('Generate Chart').'" />';
     $Str .= '</td></tr></table>'."\n";      $Str .= '&nbsp;'x5;
       $Str .= '<input type="submit" name="selectstudent" value="'.
           &mt('Select One Student').'" />';
       $Str .= '&nbsp;'x5;
       $Str .= '<input type="submit" name="ClearCache" value="'.
           &mt('Clear Caches').'" />';
       $Str .= '&nbsp;'x5;
       $Str .= 
           &mt('Status[_1]',
               '<input type="text" name="stats_status" size="60" value="" />');
       $Str .= '<br />';
     return $Str;      return $Str;
 }  }
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
 =pod  =pod
   
 =item &CreateTableHeadings()  =item &CreateAndParseOutputSelector()
   
 Create HTML for the columns of student data to show.  
 Called by &BuildStudentAssessmentPage().  Calls  
 &Apache::lonhtmlcommon::CreateHeadings().  
   
 Inputs:  
   
 =over 4  
   
 =item $cache The ubiquitous cache  
   
 =item $spacing A string of spaces  
   
 =item $infoKeys Array ref to names of keys to display from the cache   
 which describe students  
   
 =item $infoHeadings Array ref to headings of columns for student info  
   
 =item $sequenceKeys Array ref of names of keys to use to retrieve sequence  
 data from the cache  
   
 =item $sequenceHeadings Array ref of names of sequences used for output.  
   
 =back  
   
 Returns: A string containing the HTML of the table headings.  
   
 =cut  =cut
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub CreateTableHeadings {  my @OutputOptions = 
     my($cache,$spacing,$infoKeys,$infoHeadings,$sequenceKeys,      ({ name  => 'HTML, with links',
        $sequenceHeadings)=@_;         value => 'html, with links',
          description => 'Output HTML with each symbol linked to the problem '.
      'which generated it.',
          mode => 'html',
          show_links => 'yes',
          },
        { name  => 'HTML, with all links',
          value => 'html, with all links',
          description => 'Output HTML with each symbol linked to the problem '.
      'which generated it.  '.
              'This includes links for unattempted problems.',
          mode => 'html',
          show_links => 'all',
          },
        { name  => 'HTML, without links',
          value => 'html, without links',
          description => 'Output HTML.  By not including links, the size of the'.
      ' web page is greatly reduced.  If your browser crashes on the '.
      'full display, try this.',
          mode => 'html',
          show_links => 'no',
              },
        { name  => 'Excel',
          value => 'excel',
          description => 'Output an Excel file (compatable with Excel 95).',
          mode => 'excel',
          show_links => 'no',
      },
        { name  => 'CSV',
          value => 'csv',
          description => 'Output a comma separated values file suitable for '.
              'import into a spreadsheet program.  Using this method as opposed '.
              'to Excel output allows you to organize your data before importing'.
              ' it into a spreadsheet program.',
          mode => 'csv',
          show_links => 'no',
              },
        );
   
 #    my $Str = '&nbsp&nbsp&nbsp&nbsp&nbsp';  sub OutputDescriptions {
     my $Str = '';      my $Str = '';
     $Str .= '<table border="0" cellpadding="0" cellspacing="0">'."\n";      $Str .= "<h2>Output Formats</h2>\n";
     $Str .= '<tr>'."\n";      $Str .= "<dl>\n";
     $Str .= '<td><pre>     </pre></td>'."\n";      foreach my $outputmode (@OutputOptions) {
     $Str .= &CreateColumnSelectors($infoHeadings, $sequenceHeadings,   $Str .="    <dt>".$outputmode->{'name'}."</dt>\n";
                                    $sequenceKeys);   $Str .="        <dd>".$outputmode->{'description'}."</dd>\n";
     $Str .= '<td></td></tr>'."\n";      }
       $Str .= "</dl>\n";
     $Str .= '<tr>'."\n";  
     my $displayString = '';  
     $displayString .= '<td><pre>     </pre></td>'."\n";  
     $displayString .= '<td align="left"><pre><a href="/adm/statistics?';  
     $displayString .= 'sort=LINKDATA">DISPLAYDATA</a>FORMATTING';  
     $displayString .= $spacing.'</pre></td>'."\n";  
     $Str .= &Apache::lonhtmlcommon::CreateHeadings($cache,  
                                                    $infoKeys,  
                                                    $infoHeadings,  
                                                    $displayString,  
                                                    'preformatted');  
   
     $displayString  = '<td align="left"><pre>DISPLAYDATAFORMATTING'.$spacing;  
     $displayString .= '</pre></td>'."\n";  
     $Str .= &Apache::lonhtmlcommon::CreateHeadings($cache,  
                                                    $sequenceKeys,  
                                                    $sequenceHeadings,  
                                                    $displayString,  
                                                    'preformatted');  
   
     $Str .= '<td><pre>Total Solved/Total Problems</pre></td>';  
     $Str .= '</tr></table>'."\n";  
   
     return $Str;      return $Str;
 }  }
   
 #######################################################  sub CreateAndParseOutputSelector {
 #######################################################      my $Str = '';
       my $elementname = 'chartoutputmode';
       &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
                                               [$elementname]);
       #
       # Format for output options is 'mode, restrictions';
       my $selected = 'html, without links';
       if (exists($ENV{'form.'.$elementname})) {
           if (ref($ENV{'form.'.$elementname} eq 'ARRAY')) {
               $selected = $ENV{'form.'.$elementname}->[0];
           } else {
               $selected = $ENV{'form.'.$elementname};
           }
       }
       #
       # Set package variables describing output mode
       $show_links  = 'no';
       $output_mode = 'html';
       foreach my $option (@OutputOptions) {
           next if ($option->{'value'} ne $selected);
           $output_mode = $option->{'mode'};
           $show_links  = $option->{'show_links'};
       }
   
       #
       # Build the form element
       $Str = qq/<select size="5" name="$elementname">/;
       foreach my $option (@OutputOptions) {
           $Str .= "\n".'    <option value="'.$option->{'value'}.'"';
           $Str .= " selected " if ($option->{'value'} eq $selected);
           $Str .= ">".&mt($option->{'name'})."<\/option>";
       }
       $Str .= "\n</select>";
       return $Str;
   }
   
 =pod  ##
   ## Data selector stuff
   ##
   my @OutputDataOptions =
       (
        { name  => 'Scores Summary',
          base  => 'scores',
          value => 'sum and total',
          scores => 1,
          tries  => 0,
          every_problem => 0,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          shortdesc => 'Total Score and Maximum Possible for each '.
              'Sequence or Folder',
          longdesc => 'The score of each student as well as the '.
              ' maximum possible on each Sequence or Folder.',
          },
        { name  => 'Scores Per Problem',
          base  => 'scores',
          value => 'scores',
          scores => 1,
          tries  => 0,
          correct => 0,
          every_problem => 1,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 1,
          shortdesc => 'Score on each Problem Part',
          longdesc =>'The students score on each problem part, computed as'.
              'the part weight * part awarded',
          },
        { name  =>'Tries',
          base  =>'tries',
          value => 'tries',
          scores => 0,
          tries  => 1,
          correct => 0,
          every_problem => 1,
          sequence_sum => 0,
          sequence_max => 0,
          grand_total => 0,
          grand_maximum => 0,
          summary_table => 0,
          maximum_row => 0,
          shortdesc => 'Number of Tries before success on each Problem Part',
          longdesc =>'The number of tries before success on each problem part.',
          non_html_notes => 'negative values indicate an incorrect problem',
          },
        { name  =>'Parts Correct',
          base  =>'tries',
          value => 'parts correct total',
          scores => 0,
          tries  => 0,
          correct => 1,
          every_problem => 1,
          sequence_sum => 1,
          sequence_max => 1,
          grand_total => 1,
          grand_maximum => 1,
          summary_table => 1,
          maximum_row => 0,
          shortdesc => 'Number of Problem Parts completed successfully.',
          longdesc => 'The Number of Problem Parts completed successfully and '.
              'the maximum possible for each student',
          },
        );
   
 =item &StudentReport()  sub HTMLifyOutputDataDescriptions {
       my $Str = '';
       $Str .= "<h2>Output Data</h2>\n";
       $Str .= "<dl>\n";
       foreach my $option (@OutputDataOptions) {
           $Str .= '    <dt>'.$option->{'name'}.'</dt>';
           $Str .= '<dd>'.$option->{'longdesc'}.'</dd>'."\n";
       }
       $Str .= "</dl>\n";
       return $Str;
   }
   
 This is the workhorse subroutine - it handles formatting and display of a  sub CreateAndParseOutputDataSelector {
 students performance data.  It processes one row of the chart.      my $Str = '';
       my $elementname = 'chartoutputdata';
       #
       my $selected = 'scores';
       if (exists($ENV{'form.'.$elementname})) {
           if (ref($ENV{'form.'.$elementname} eq 'ARRAY')) {
               $selected = $ENV{'form.'.$elementname}->[0];
           } else {
               $selected = $ENV{'form.'.$elementname};
           }
       }
       #
       $chosen_output = $OutputDataOptions[0];
       foreach my $option (@OutputDataOptions) {
           if ($option->{'value'} eq $selected) {
               $chosen_output = $option;
           }
       }
       #
       # Build the form element
       $Str = qq/<select size="5" name="$elementname">/;
       foreach my $option (@OutputDataOptions) {
           $Str .= "\n".'    <option value="'.$option->{'value'}.'"';
           $Str .= " selected " if ($option->{'value'} eq $chosen_output->{'value'});
           $Str .= ">".&mt($option->{'name'})."<\/option>";
       }
       $Str .= "\n</select>";
       return $Str;
   
 Input:   }
   
 =over 4  #######################################################
   #######################################################
   
 =item $cache The ubiquitous cache  =pod
   
 =item $name The name and domain of the current student in name:domain format  =head2 HTML output routines
   
 =item $spacing A string containing spaces.  =item &html_initialize($r)
   
 =item $showSequences Array ref containing the sequences to display  Create labels for the columns of student data to show.
   
 =back  =item &html_outputstudent($r,$student)
   
 Output: $Str  Return a line of the chart for a student.
   
 $Str: Formatted string that is an entire row of the chart.  It is a  =item &html_finish($r)
 concatenation of student information and student course information.  
   
 =cut  =cut
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub StudentReport {  {
     my ($cache,$name,$spacing,$showSequences)=@_;      my $padding;
     my ($username,$domain)=split(':',$name);      my $count;
   
       my $nodata_count; # The number of students for which there is no data
       my %prog_state;   # progress state used by loncommon PrgWin routines
       my $total_sum_width;
   
   sub html_initialize {
       my ($r) = @_;
       #
       $padding = ' 'x3;
       $count = 0;
       $nodata_count = 0;
       undef(%prog_state);
       #
       $r->print("<h3>".$ENV{'course.'.$ENV{'request.course.id'}.'.description'}.
                 "&nbsp;&nbsp;".localtime(time)."</h3>");
   
       if ($chosen_output->{'base'} !~ /^final table/) {
           $r->print("<h3>".$chosen_output->{'shortdesc'}."</h3>");        
       }
       my $Str = "<pre>\n";
       # First, the @StudentData fields need to be listed
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $title=$Apache::lonstatistics::StudentData{$field}->{'title'};
           my $base =$Apache::lonstatistics::StudentData{$field}->{'base_width'};
           my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
           $Str .= $title.' 'x($width-$base).$padding;
       }
       #
       # Compute the column widths and output the sequence titles
       my $total_count;
       foreach my $sequence (&Apache::lonstatistics::Sequences_with_Assess()){
           #
           # Comptue column widths
           $sequence->{'width_sum'} = 0;
           if ($chosen_output->{'sequence_sum'}) {
               if ($chosen_output->{'every_problem'}) {
                   # Use 1 digit for a space
                   $sequence->{'width_sum'} += 1;            
               }
       $total_count += $sequence->{'num_assess_parts'};
               # Use 3 digits for the sum
               $sequence->{'width_sum'} += 3;
           }
           if ($chosen_output->{'sequence_max'}) {
               if ($sequence->{'width_sum'}>0) {
                   # One digit for the '/'
                   $sequence->{'width_sum'} +=1;
               }
               # Use 3 digits for the total
               $sequence->{'width_sum'}+=3;
           }
    #
           if ($chosen_output->{'every_problem'}) {
               # one problem per digit
               $sequence->{'width_problem'} = $sequence->{'num_assess_parts'};
           } else {
               $sequence->{'width_problem'} = 0;
           }
           $sequence->{'width_total'} = $sequence->{'width_problem'} + 
                                        $sequence->{'width_sum'};
           if ($sequence->{'width_total'} < length(&HTML::Entities::decode($sequence->{'title'}))) {
               $sequence->{'width_total'} = length(&HTML::Entities::decode($sequence->{'title'}));
           }
           #
           # Output the sequence titles
           $Str .= 
               $sequence->{'title'}.' 'x($sequence->{'width_total'}-
                                         length($sequence->{'title'})
                                         ).$padding;
       }
       $total_sum_width = length($total_count)+1;
       $Str .= "    total</pre>\n";
       $Str .= "<pre>";
       $r->print($Str);
       $r->rflush();
       return;
   }
   
   sub html_outputstudent {
       my ($r,$student) = @_;
     my $Str = '';      my $Str = '';
     if(defined($cache->{$name.':error'})) {      #
         return $Str;      if($count++ % 5 == 0 && $count > 0) {
           $r->print("</pre><pre>");
       }
       # First, the @StudentData fields need to be listed
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $title=$student->{$field};
           # Deal with 'comments' - how I love special cases
           if ($field eq 'comments') {
               $title = '<a href="/adm/'.$student->{'domain'}.'/'.$student->{'username'}.'/'.'aboutme#coursecomment">'.&mt('Comments').'</a>';
           }
           my $base = length($title);
           my $width=$Apache::lonstatistics::StudentData{$field}->{'width'};
           $Str .= $title.' 'x($width-$base).$padding;
       }
       # Get ALL the students data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state
           ($student->{'username'},$student->{'domain'},undef,
            $ENV{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
           %StudentsData = @tmp;
       }
       if (scalar(@tmp) < 1) {
           $nodata_count++;
           $Str .= '<font color="blue">No Course Data</font>'."\n";
           $r->print($Str);
           $r->rflush();
           return;
     }      }
     if($cache->{$name.':error'} =~ /course/) {      #
         $Str .= '<b><font color="blue">No course data for student </font>';      # By sequence build up the data
         $Str .= '<font color="red">'.$username.'.</font></b><br>';      my $studentstats;
         return $Str;      my $PerformanceStr = '';
     }      foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
     my $hasVersion = 'false';          if ($chosen_output->{'tries'}) {
     my $hasFinalData = 'false';              ($performance,$performance_length,$score,$seq_max,$rawdata) =
     foreach my $sequence (@$showSequences) {                  &StudentTriesOnSequence($student,\%StudentsData,
         my $hasData = 'false';                                          $seq,$show_links);
         my $characterCount=0;          } else {
         foreach my $problemID (split(':', $cache->{$sequence.':problems'})) {              ($performance,$performance_length,$score,$seq_max,$rawdata) =
             my $problem = $cache->{$problemID.':problem'};                  &StudentPerformanceOnSequence($student,\%StudentsData,
             # All grades (except for versionless parts) are displayed as links                                                $seq,$show_links);
             # to their submission record.  Loop through all the parts for the          }
             # current problem in the correct order and prepare the output links          my $ratio='';
             foreach(split(/\:/,$cache->{$sequence.':'.$problemID.          if ($chosen_output->{'every_problem'}) {
                                         ':parts'})) {              $ratio .= ' ';
                 if($cache->{$name.':'.$problemID.':NoVersion'} eq 'true' ||          }
                    $cache->{$name.':'.$problemID.':'.$_.':code'} eq ' ' ||          if ($chosen_output->{'sequence_sum'} && $score ne ' ') {
                    $cache->{$name.':'.$problemID.':'.$_.':code'} eq '') {              $ratio .= sprintf("%3.0f",$score);
                     $Str .= ' ';          } elsif($chosen_output->{'sequence_sum'}) {
                     $characterCount++;              $ratio .= ' 'x3;
                     next;          }
                 }          if ($chosen_output->{'sequence_max'}) {
                 $hasVersion = 'true';              if ($chosen_output->{'sequence_sum'}) {
                 $hasData = 'true';                  $ratio .= '/';
                 if (lc($ENV{'form.displaymode'}) ne 'display without links') {  
                     $Str .= '<a href="/adm/grades?symb=';  
                     $Str .= &Apache::lonnet::escape($problem);  
                     $Str .= '&student='.$username.'&domain='.$domain;  
                     $Str .= '&command=submission">';  
                 }  
                 my $code = $cache->{$name.':'.$problemID.':'.$_.':code'};  
                 my $tries = $cache->{$name.':'.$problemID.':'.$_.':tries'};  
                 if($code eq '*' && $tries < 10 && $tries ne '') {  
                     $code = $tries;  
                 }  
                 $Str .= $code;  
                 if (lc($ENV{'form.displaymode'}) ne 'display without links') {  
                     $Str .= '</a>';  
                 }  
                 $characterCount++;  
             }              }
               $ratio .= sprintf("%3.0f",$seq_max);
         }          }
           #
         # Output the number of correct answers for the current sequence.          if (! $chosen_output->{'every_problem'}) {
         # This part takes up 6 character slots, but is formated right              $performance = '';
         # justified.      $performance_length=0;
         my $spacesNeeded=$cache->{$sequence.':columnWidth'}-$characterCount;          }
         $spacesNeeded -= 3;          $performance .= ' 'x($seq->{'width_total'}-$performance_length-$seq->{'width_sum'}).
         $Str .= (' 'x$spacesNeeded);              $ratio;
           #
 #        my $outputProblemsCorrect = sprintf("%3d", $cache->{$name.':'.$sequence.          $Str .= $performance.$padding;
 #    ':problemsCorrect'});          #
           $studentstats->{$seq->{'symb'}}->{'score'}= $score;
  my $outputProblemsCorrect = sprintf("%2d/%2d", $cache->{$name.':'.$sequence.          $studentstats->{$seq->{'symb'}}->{'max'}  = $seq_max;
                                             ':problemsCorrect'},      }
                                             $characterCount);      #
         if($hasData eq 'true') {      # Total it up and store the statistics info.
             $Str .= '<font color="#007700">'.$outputProblemsCorrect.'</font>';      my ($score,$max);
             $hasFinalData = 'true';      while (my ($symb,$seq_stats) = each (%{$studentstats})) {
         } else {          $Statistics->{$symb}->{'score'} += $seq_stats->{'score'};
             $Str .= '<font color="#007700">     </font>';          if ($Statistics->{$symb}->{'max'} < $seq_stats->{'max'}) {
         }              $Statistics->{$symb}->{'max'} = $seq_stats->{'max'};
         $Str .= $spacing;          }
     }          if ($seq_stats->{'score'} ne ' ') {
               $score += $seq_stats->{'score'};
     # Output the total correct problems over the total number of problems.              $Statistics->{$symb}->{'num_students'}++;
     # I don't like this type of formatting, but it is a solution.  Need          }
     # a way to dynamically determine the space requirements.          $max   += $seq_stats->{'max'};
     my $outputProblemsSolved = sprintf("%4d", $cache->{$name.':problemsSolved'});      }
     my $outputTotalProblems  = sprintf("%4d", $cache->{$name.':totalProblems'});      if (! defined($score)) {
     if($hasFinalData eq 'true') {          $score = ' ' x $total_sum_width;
         $Str .= '<font color="#000088">'.$outputProblemsSolved.  
     ' / '.$outputTotalProblems.'</font>';  
     } else {      } else {
         $Str .= '<font color="#000088">           </font>';          $score = sprintf("%.0f",$score);
     }      }
       $Str .= ' '.' 'x($total_sum_width-length($score)).$score.' / '.$max;
       $Str .= " \n";
       #
       $r->print($Str);
       #
       $r->rflush();
       return;
   }    
   
     if($hasVersion eq 'false') {  sub html_finish {
         $Str = '<b><font color="blue">No course data.</font></b>';      my ($r) = @_;
       #
       # Check for suppressed output and close the progress window if so
       $r->print("</pre>\n"); 
       if ($chosen_output->{'summary_table'}) {
           if ($single_student_mode) {
               $r->print(&SingleStudentTotal());
           } else {
               $r->print(&StudentAverageTotal());
           }
     }      }
       $r->rflush();
     return $Str;      return;
 }  }
   
 #######################################################  
 #######################################################  
   
 #######################################################  
 #######################################################  
 sub StudentAverageTotal {  sub StudentAverageTotal {
     my ($cache, $students, $sequenceKeys)=@_;      my $Str = '<h3>'.&mt('Summary Tables').'</h3>'.$/;
     my $Str = "\n<b>Summary Tables:</b>\n";  
     my %Correct = ();  
     my $ProblemsSolved = 0;  
     my $TotalProblems = 0;  
     my $StudentCount = 0;  
   
     foreach my $name (@$students) {  
         $StudentCount++;  
         foreach my $sequence (@$sequenceKeys) {  
             $Correct{$sequence} +=  
        $cache->{$name.':'.$sequence.':problemsCorrect'};  
         }  
  $ProblemsSolved += $cache->{$name.':problemsSolved'};  
         $TotalProblems += $cache->{$name.':totalProblems'};  
     }  
     if ($StudentCount) {   
         $ProblemsSolved = sprintf( "%.2f",   
                              $ProblemsSolved/$StudentCount);  
         $TotalProblems /= $StudentCount;  
     } else {  
         $ProblemsSolved = 0;  
         $TotalProblems  = 0;  
     }  
   
     $Str .= '<table border=2 cellspacing="1">'."\n";      $Str .= '<table border=2 cellspacing="1">'."\n";
     $Str .= '<tr><td><b>Students Count</b></td><td><b>'.      $Str .= '<tr>'.
             $StudentCount.'</b></td></tr>'."\n";          '<th>'.&mt('Title').'</th>'.
     $Str .= '<tr><td><b>Total Problems</b></td><td><b>'.          '<th>'.&mt('Average').'</th>'.
             $TotalProblems.'</b></td></tr>'."\n";          '<th>'.&mt('Maximum').'</th>'.
     $Str .= '<tr><td><b>Average Correct</b></td><td><b>'.          '</tr>'.$/;
             $ProblemsSolved.'</b></td></tr>'."\n";      foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
     $Str .= '</table>'."\n";          my $ave;
           my $num_students = $Statistics->{$seq->{'symb'}}->{'num_students'};
     $Str .= '<table border=2 cellspacing="1">'."\n";          if ($num_students > 0) {
     $Str .= '<tr><th>Title</th><th>Total Problems</th>'.              $ave = int(100*
             '<th>Average Correct</th></tr>'."\n";                         ($Statistics->{$seq->{'symb'}}->{'score'}/$num_students)
     foreach my $S(@$sequenceKeys) {                         )/100;
         my $title=$cache->{$S.':title'};          } else {
  #$Str .= $cache->{$S.':problems'};              $ave = 0;
  #my @problems=split(':', $cache->{$S.':problems'});          }
  #my $pCount=scalar @problems;          my $max = $Statistics->{$seq->{'symb'}}->{'max'};
  my $pCount=MaxSeqPr($cache,@$students[0],$S);          $ave = sprintf("%.2f",$ave);
         my $crr;          $Str .= '<tr><td>'.$seq->{'title'}.'</td>'.
  if ($StudentCount) {              '<td align="right">'.$ave.'&nbsp;</td>'.
             $crr=sprintf( "%.2f", $Correct{$S}/$StudentCount );              '<td align="right">'.$max.'&nbsp;'.'</td></tr>'."\n";
         } else {  
             $crr="0.00";  
         }  
         $Str .= '<tr><td>'.$title.  
                 '</td><td align=center>'.$pCount.  
                 '</td><td align=center>'.$crr.  
                 '</td></tr>'."\n";  
     }      }
       $Str .= "</table>\n";
     $Str .= '</table>'."\n";  
   
     return $Str;      return $Str;
 }  }
   
 #######################################################  sub SingleStudentTotal {
 #######################################################      my $student = &Apache::lonstatistics::current_student();
       my $Str = '<h3>'.&mt('Summary table for [_1] ([_2]@[_3])',
 #######################################################                           $student->{'fullname'},
 #######################################################                           $student->{'username'},$student->{'domain'}).'</h3>';
 sub MaxSeqPr {      $Str .= $/;
     my ($cache, $name, $sequence)=@_;      $Str .= '<table border=2 cellspacing="1">'."\n";
     my $prCount=0;      $Str .= 
     foreach my $problemID (split(':', $cache->{$sequence.':problems'})) {          '<tr>'.
         my $problem = $cache->{$problemID.':problem'};          '<th>'.&mt('Sequence or Folder').'</th>';
         foreach(split(/\:/,$cache->{$sequence.':'.$problemID.':parts'})) {      if ($chosen_output->{'base'} eq 'tries') {
             if($cache->{$name.':'.$problemID.':NoVersion'} eq 'true' ||          $Str .= '<th>'.&mt('Parts Correct').'</th>';
                $cache->{$name.':'.$problemID.':'.$_.':code'} eq ' ' ||      } else {
                $cache->{$name.':'.$problemID.':'.$_.':code'} eq '') {          $Str .= '<th>'.&mt('Score').'</th>';
                  $prCount++;  
                  next;  
             }  
             $prCount++;  
         }  
     }      }
     return $prCount;      $Str .= '<th>'.&mt('Maximum').'</th>'."</tr>\n";
       my $total = 0;
       my $total_max = 0;
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           my $value = $Statistics->{$seq->{'symb'}}->{'score'};
           my $max = $Statistics->{$seq->{'symb'}}->{'max'};
           $Str .= '<tr><td>'.$seq->{'title'}.'</td>'.
               '<td align="right">'.$value.'</td>'.
                   '<td align="right">'.$max.'</td></tr>'."\n";
           $total += $value;
           $total_max +=$max;
       }
       $Str .= '<tr><td><b>'.&mt('Total').'</b></td>'.
           '<td align="right">'.$total.'</td>'.
           '<td align="right">'.$total_max."</td></tr>\n";
       $Str .= "</table>\n";
       return $Str;
 }  }
   
 #######################################################  
 #######################################################  
   
 =pod  
   
 =item &CreateLegend()  
   
 This function returns a formatted string containing the legend for the  
 chart.  The legend describes the symbols used to represent grades for  
 problems.  
   
 =cut  
   
 #######################################################  
 #######################################################  
 sub CreateLegend {  
     my $Str = "<p><pre>".  
               "   1  correct by student in 1 try\n".  
               "   7  correct by student in 7 tries\n".  
               "   *  correct by student in more than 9 tries\n".  
       "   +  correct by hand grading or override\n".  
               "   -  incorrect by override\n".  
       "   .  incorrect attempted\n".  
       "   #  ungraded attempted\n".  
               "      not attempted (blank field)\n".  
       "   x  excused".  
               "</pre><p>";  
     return $Str;  
 }  }
   
 #######################################################  #######################################################
Line 648  sub CreateLegend { Line 877  sub CreateLegend {
   
 =pod  =pod
   
 =item &CreateColumnSelectionBox()  =head2 EXCEL subroutines
   
 If there are columns not being displayed then this selection box is created  =item &excel_initialize($r)
 with a list of those columns.  When selections are made and the page  
 refreshed, the columns will be removed from this box and the column is  
 put back in the chart.  If there is no columns to select, no row is added  
 to the interface table.  
   
 =over 4  =item &excel_outputstudent($r,$student)
 Input: $CacheData, $headings  
   
 $CacheData: A pointer to a hash tied to the cached data  
   
 $headings:  An array of the names of the columns for the student information.  
 They are used for displaying which columns are missing.  
   
 Output: $notThere  
   
 $notThere: The string contains one row of a table.  The first column has the  =item &excel_finish($r)
 name of the selection box.  The second contains the selection box  
 which has a size of four.  
   
 =back  
   
 =cut  =cut
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub CreateColumnSelectionBox {  {
     my ($doNotShow)=@_;  
   
     my $notThere = '';  my $excel_sheet;
     $notThere .= '<select name="ReselectColumns" size="4" ';  my $excel_workbook;
     $notThere .= 'multiple="true">'."\n";  
   
     for(my $index=0; $index<$doNotShow->{'count'}; $index++) {  my $filename;
         my $name = $doNotShow->{$index.':name'};  my $rows_output;
         $notThere .= '<option value="';  my $cols_output;
         $notThere .= $doNotShow->{$index.':id'}.'">';  
         $notThere .= $name.'</option>'."\n";  my %prog_state; # progress window state
   my $request_aborted;
   
   my $total_formula;
   my $maximum_formula;
   
   sub excel_initialize {
       my ($r) = @_;
       #
       undef ($excel_sheet);
       undef ($excel_workbook);
       undef ($filename);
       undef ($rows_output);
       undef ($cols_output);
       undef (%prog_state);
       undef ($request_aborted);
       undef ($total_formula);
       undef ($maximum_formula);
       #
       my $total_columns = scalar(&get_student_fields_to_show());
       my $num_students = scalar(@Apache::lonstatistics::Students);
       #
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           if ($chosen_output->{'every_problem'}) {
               $total_columns += $seq->{'num_assess_parts'};
           }
           # Add 2 because we need a 'sequence_sum' and 'total' column for each
           $total_columns += 2;
       }
       my $too_many_cols_error_message = 
           '<h2>'.&mt('Unable to Complete Request').'</h2>'.$/.
           '<p>'.&mt('LON-CAPA is unable to produce your Excel spreadsheet because your selections will result in more than 255 columns.  Excel allows only 255 columns in a spreadsheet.').'</p>'.$/.
           '<p>'.&mt('You may consider reducing the number of <b>Sequences or Folders</b> you have selected.').'</p>'.$/.
           '<p>'.&mt('LON-CAPA can produce <b>CSV</b> files of this data or Excel files of the <b>Scores Summary</b> data.').'</p>'.$/;
       if ($chosen_output->{'base'} eq 'tries' && $total_columns > 255) {
           $r->print($too_many_cols_error_message);
           $request_aborted = 1;
       }
       if ($chosen_output->{'base'} eq 'scores' && $total_columns > 255) {
           $r->print($too_many_cols_error_message);
           $request_aborted = 1;
       }
       return if ($request_aborted);
       #
       $filename = '/prtspool/'.
           $ENV{'user.name'}.'_'.$ENV{'user.domain'}.'_'.
               time.'_'.rand(1000000000).'.xls';
       #
       $excel_workbook = undef;
       $excel_sheet = undef;
       #
       $rows_output = 0;
       $cols_output = 0;
       #
       # Determine rows 
       my $header_row = $rows_output++;
       my $description_row = $rows_output++;
       my $notes_row = $rows_output++;
       $rows_output++;        # blank row
       my $summary_header_row;
       if ($chosen_output->{'summary_table'}) {
           $summary_header_row = $rows_output++;
           $rows_output+= scalar(&Apache::lonstatistics::Sequences_with_Assess());
           $rows_output++;
       }
       my $sequence_name_row = $rows_output++;
       my $resource_name_row = $rows_output++;
       my $maximum_data_row = $rows_output++;
       if (! $chosen_output->{'maximum_row'}) {
           $rows_output--;
       }
       my $first_data_row = $rows_output++;
       #
       # Create sheet
       $excel_workbook = Spreadsheet::WriteExcel->new('/home/httpd'.$filename);
       #
       # Check for errors
       if (! defined($excel_workbook)) {
           $r->log_error("Error creating excel spreadsheet $filename: $!");
           $r->print("Problems creating new Excel file.  ".
                     "This error has been logged.  ".
                     "Please alert your LON-CAPA administrator");
           return ;
       }
       #
       # The excel spreadsheet stores temporary data in files, then put them
       # together.  If needed we should be able to disable this (memory only).
       # The temporary directory must be specified before calling 'addworksheet'.
       # File::Temp is used to determine the temporary directory.
       $excel_workbook->set_tempdir($Apache::lonnet::tmpdir);
       #
       my $format = &Apache::loncommon::define_excel_formats($excel_workbook);
       #
       # Add a worksheet
       my $sheetname = $ENV{'course.'.$ENV{'request.course.id'}.'.description'};
       $sheetname = &Apache::loncommon::clean_excel_name($sheetname);
       $excel_sheet = $excel_workbook->addworksheet($sheetname);
       #
       # Put the course description in the header
       $excel_sheet->write($header_row,$cols_output++,
                      $ENV{'course.'.$ENV{'request.course.id'}.'.description'},
                           $format->{'h1'});
       $cols_output += 3;
       #
       # Put a description of the sections listed
       my $sectionstring = '';
       my @Sections = @Apache::lonstatistics::SelectedSections;
       if (scalar(@Sections) > 1) {
           if (scalar(@Sections) > 2) {
               my $last = pop(@Sections);
               $sectionstring = "Sections ".join(', ',@Sections).', and '.$last;
           } else {
               $sectionstring = "Sections ".join(' and ',@Sections);
           }
       } else {
           if ($Sections[0] eq 'all') {
               $sectionstring = "All sections";
           } else {
               $sectionstring = "Section ".$Sections[0];
           }
     }      }
       $excel_sheet->write($header_row,$cols_output++,$sectionstring,
                           $format->{'h3'});
       $cols_output += scalar(@Sections);
       #
       # Put the date in there too
       $excel_sheet->write($header_row,$cols_output++,
                           'Compiled on '.localtime(time),$format->{'h3'});
       #
       $cols_output = 0;
       $excel_sheet->write($description_row,$cols_output++,
                           $chosen_output->{'shortdesc'},
                           $format->{'b'});
       #
       $cols_output = 0;
       $excel_sheet->write($notes_row,$cols_output++,
                           $chosen_output->{'non_html_notes'},
                           $format->{'i'});
       
       ##############################################
       # Output headings for the raw data
       ##############################################
       #
       # Add the student headers
       $cols_output = 0;
       foreach my $field (&get_student_fields_to_show()) {
           $excel_sheet->write($resource_name_row,$cols_output++,$field,
                               $format->{'bold'});
       }
       #
       # Add the remaining column headers
       my $total_formula_string = '=0';
       my $maximum_formula_string = '=0';
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           $excel_sheet->write($sequence_name_row,,
                               $cols_output,$seq->{'title'},$format->{'bold'});
           # Determine starting cell
           $seq->{'Excel:startcell'}=
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output);
           $seq->{'Excel:startcol'}=$cols_output;
           my $count = 0;
           if ($chosen_output->{'every_problem'}) {
               # Put the names of the problems and parts into the sheet
               foreach my $res (@{$seq->{'contents'}}) {
                   if ($res->{'type'} ne 'assessment'  || 
                       ! exists($res->{'parts'})       ||
                       ref($res->{'parts'}) ne 'ARRAY' ||
                       scalar(@{$res->{'parts'}}) < 1) {
                       next;
                   }
                   if (scalar(@{$res->{'parts'}}) > 1) {
                       foreach my $part (@{$res->{'parts'}}) {
                           $excel_sheet->write($resource_name_row,
                                               $cols_output++,
                                               $res->{'title'}.' part '.$part,
                                               $format->{'bold'});
                           $count++;
                       }
                   } else {
                       $excel_sheet->write($resource_name_row,
                                           $cols_output++,
                                           $res->{'title'},$format->{'bold'});
                       $count++;
                   }
               }
           }
           # Determine ending cell
           if ($count <= 1) {
               $seq->{'Excel:endcell'} = $seq->{'Excel:startcell'};
               $seq->{'Excel:endcol'}  = $seq->{'Excel:startcol'};
           } else {
               $seq->{'Excel:endcell'} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output-1);
               $seq->{'Excel:endcol'} = $cols_output-1;
           }
           # Create the formula for summing up this sequence
           if (! exists($seq->{'Excel:endcell'}) ||
               ! defined($seq->{'Excel:endcell'})) {
               $seq->{'Excel:endcell'} = $seq->{'Excel:startcell'};
           }
           $seq->{'Excel:sum'}= $excel_sheet->store_formula
               ('=SUM('.$seq->{'Excel:startcell'}.
                ':'.$seq->{'Excel:endcell'}.')');
           # Determine cell the score is held in
           $seq->{'Excel:scorecell'} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output);
           $seq->{'Excel:scorecol'}=$cols_output;
           if ($chosen_output->{'base'} eq 'parts correct total') {
               $excel_sheet->write($resource_name_row,$cols_output++,
                                   'parts correct',
                                   $format->{'bold'});
           } elsif ($chosen_output->{'sequence_sum'}) {
               if ($chosen_output->{'correct'}) {
                   # Only reporting the number correct, so do not call it score
                   $excel_sheet->write($resource_name_row,$cols_output++,
                                       'sum',
                                       $format->{'bold'});
               } else {
                   $excel_sheet->write($resource_name_row,$cols_output++,
                                       'score',
                                       $format->{'bold'});
               }
           }
           #
           $total_formula_string.='+'.
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($first_data_row,$cols_output-1);
           if ($chosen_output->{'sequence_max'}) {
               $excel_sheet->write($resource_name_row,$cols_output,
                                   'maximum',
                                   $format->{'bold'});
               $seq->{'Excel:maxcell'} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $seq->{'Excel:maxcol'}=$cols_output;
               $maximum_formula_string.='+'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$cols_output);
               $cols_output++;
   
     $notThere .= '</select>';          }
       }
       if ($chosen_output->{'grand_total'}) {
           $excel_sheet->write($resource_name_row,$cols_output++,'Total',
                               $format->{'bold'});
       }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->write($resource_name_row,$cols_output++,'Max. Total',
                               $format->{'bold'});
       }
       $total_formula = $excel_sheet->store_formula($total_formula_string);
       $maximum_formula = $excel_sheet->store_formula($maximum_formula_string);
       ##############################################
       # Output a row for MAX, if appropriate
       ##############################################
       if ($chosen_output->{'maximum_row'}) {
           $cols_output = 0;
           foreach my $field (&get_student_fields_to_show()) {
               if ($field eq 'username' || $field eq 'fullname' || 
                   $field eq 'id') {
                   $excel_sheet->write($maximum_data_row,$cols_output++,'Maximum',
                                       $format->{'bold'});
               } else {
                   $excel_sheet->write($maximum_data_row,$cols_output++,'');
               }
           }
           #
           # Add the maximums for each sequence or assessment
           my %total_cell_translation;
           my %maximum_cell_translation;
           foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
               $cols_output=$seq->{'Excel:startcol'};
               $total_cell_translation{$seq->{'Excel:scorecell'}} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($maximum_data_row,$seq->{'Excel:scorecol'});
               $maximum_cell_translation{$seq->{'Excel:maxcell'}} = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($maximum_data_row,$seq->{'Excel:maxcol'});
               my $weight;
               my $max = 0;
               foreach my $resource (@{$seq->{'contents'}}) {
                   next if ($resource->{'type'} ne 'assessment');
                   foreach my $part (@{$resource->{'parts'}}) {
                       $weight = 1;
                       if ($chosen_output->{'scores'}) {
                           $weight = &Apache::lonnet::EXT
                               ('resource.'.$part.'.weight',$resource->{'symb'},
                                undef,undef,undef);
                           if (!defined($weight) || ($weight eq '')) { 
                               $weight=1;
                           }
                       }
                       if ($chosen_output->{'scores'} &&
                           $chosen_output->{'every_problem'}) {
                           $excel_sheet->write($maximum_data_row,$cols_output++,
                                               $weight);
                       }
                       $max += $weight;
                   }
               } 
               #
               if ($chosen_output->{'sequence_sum'} && 
                   $chosen_output->{'every_problem'}) {
    my %replaceCells=
       ('^'.$seq->{'Excel:startcell'}.':'.
            $seq->{'Excel:endcell'}.'$' =>
        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$seq->{'Excel:startcol'}).':'.
        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($maximum_data_row,$seq->{'Excel:endcol'}));
                   $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                                $seq->{'Excel:sum'},undef,
        %replaceCells);
   
               } elsif ($chosen_output->{'sequence_sum'}) {
                   $excel_sheet->write($maximum_data_row,$cols_output++,$max);
               }
               if ($chosen_output->{'sequence_max'}) {
                   $excel_sheet->write($maximum_data_row,$cols_output++,$max);
               }
               #
           }
           if ($chosen_output->{'grand_total'}) {
               $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                            $total_formula,undef,
                                            %total_cell_translation);
           }
           if ($chosen_output->{'grand_maximum'}) {
               $excel_sheet->repeat_formula($maximum_data_row,$cols_output++,
                                            $maximum_formula,undef,
                                            %maximum_cell_translation);
           }
       } # End of MAXIMUM row output  if ($chosen_output->{'maximum_row'}) {
       $rows_output = $first_data_row;
       ##############################################
       # Output summary table, which actually is above the sequence name row.
       ##############################################
       if ($chosen_output->{'summary_table'}) {
           $cols_output = 0;
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Summary Table',$format->{'bold'});
           if ($chosen_output->{'maximum_row'}) {
               $excel_sheet->write($summary_header_row,$cols_output++,
                                   'Maximum',$format->{'bold'});
           }
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Average',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Median',$format->{'bold'});
           $excel_sheet->write($summary_header_row,$cols_output++,
                               'Std Dev',$format->{'bold'});
           my $row = $summary_header_row+1;
           foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
               $cols_output = 0;
               $excel_sheet->write($row,$cols_output++,
                                   $seq->{'title'},
                                   $format->{'bold'});
               if ($chosen_output->{'maximum_row'}) {
                   $excel_sheet->write
                       ($row,$cols_output++,
                        '='.
                        &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                        ($maximum_data_row,$seq->{'Excel:scorecol'})
                        );
               }
               my $range = 
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row,$seq->{'Excel:scorecol'}).
                   ':'.
                   &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                   ($first_data_row+$num_students-1,$seq->{'Excel:scorecol'});
               $excel_sheet->write($row,$cols_output++,
                                   '=AVERAGE('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=MEDIAN('.$range.')');
               $excel_sheet->write($row,$cols_output++,
                                   '=STDEV('.$range.')');
               $row++;
           }
       }
       ##############################################
       #   Take care of non-excel initialization
       ##############################################
       #
       # Let the user know what we are doing
       my $studentcount = scalar(@Apache::lonstatistics::Students); 
       if ($ENV{'form.SelectedStudent'}) {
           $studentcount = '1';
       }
       if ($studentcount > 1) {
           $r->print('<h1>'.&mt('Compiling Excel spreadsheet for [_1] students',
                                $studentcount)."</h1>\n");
       } else {
           $r->print('<h1>'.
                     &mt('Compiling Excel spreadsheet for 1 student').
                     "</h1>\n");
       }
       $r->rflush();
       #
       # Initialize progress window
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'Excel File Compilation Status',
            'Excel File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       &Apache::lonhtmlcommon::Update_PrgWin($r,\%prog_state,
                                             'Processing first student');
       return;
   }
   
   sub excel_outputstudent {
       my ($r,$student) = @_;
       return if ($request_aborted);
       return if (! defined($excel_sheet));
       $cols_output=0;
       #
       # Write out student data
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsg::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }
           $excel_sheet->write($rows_output,$cols_output++,$value);
       }
       #
       # Get student assessment data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                           $student->{'domain'},
                                                           undef,
                                                      $ENV{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
           %StudentsData = @tmp;
       }
       #
       # Write out sequence scores and totals data
       my %total_cell_translation;
       my %maximum_cell_translation;
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           $cols_output = $seq->{'Excel:startcol'};
           # Keep track of cells to translate in total cell
           $total_cell_translation{$seq->{'Excel:scorecell'}} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
                           ($rows_output,$seq->{'Excel:scorecol'});
           # and maximum cell
           $maximum_cell_translation{$seq->{'Excel:maxcell'}} = 
               &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell
               ($rows_output,$seq->{'Excel:maxcol'});
           #
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
           if ($chosen_output->{'tries'} || $chosen_output->{'correct'}){
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &StudentTriesOnSequence($student,\%StudentsData,
                                           $seq,'no');
           } else {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &StudentPerformanceOnSequence($student,\%StudentsData,
                                                 $seq,'no');
           } 
           if ($chosen_output->{'every_problem'}) {
               if ($chosen_output->{'correct'}) {
                   # only indiciate if each item is correct or not
                   foreach my $value (@$rawdata) {
                       # nonzero means correct
                       $value = 1 if ($value > 0);
                       $excel_sheet->write($rows_output,$cols_output++,$value);
                   }
               } else {
                   foreach my $value (@$rawdata) {
                       if ($score eq ' ' || !defined($value)) {
                           $cols_output++;
                       } else {                        
                           $excel_sheet->write($rows_output,$cols_output++,
                                               $value);
                       }
                   }
               }
           }
           if ($chosen_output->{'sequence_sum'} && 
               $chosen_output->{'every_problem'}) {
               # Write a formula for the sum of this sequence
               my %replaceCells=
    ('^'.$seq->{'Excel:startcell'}.':'.$seq->{'Excel:endcell'}.'$'
    => 
    &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$seq->{'Excel:startcol'}).':'.
    &Spreadsheet::WriteExcel::Utility::xl_rowcol_to_cell($rows_output,$seq->{'Excel:endcol'})
    );
               # The undef is for the format    
       $excel_sheet->repeat_formula($rows_output,$cols_output++,
    $seq->{'Excel:sum'},undef,
    %replaceCells);
           } elsif ($chosen_output->{'sequence_sum'}) {
               if ($score eq ' ') {
                   $cols_output++;
               } else {
                   $excel_sheet->write($rows_output,$cols_output++,$score);
               }
           }
           if ($chosen_output->{'sequence_max'}) {
               $excel_sheet->write($rows_output,$cols_output++,$seq_max);
           }
       }
       #
       if ($chosen_output->{'grand_total'}) {
           $excel_sheet->repeat_formula($rows_output,$cols_output++,
                                        $total_formula,undef,
                                        %total_cell_translation);
       }
       if ($chosen_output->{'grand_maximum'}) {
           $excel_sheet->repeat_formula($rows_output,$cols_output++,
                                        $maximum_formula,undef,
                                        %maximum_cell_translation);
       }
       #
       # Bookkeeping
       $rows_output++; 
       $cols_output=0;
       #
       # Update the progress window
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
       return;
   }
   
     return $notThere;  sub excel_finish {
       my ($r) = @_;
       return if ($request_aborted);
       return if (! defined($excel_sheet));
       #
       # Write the excel file
       $excel_workbook->close();
       my $c = $r->connection();
       #
       return if($c->aborted());
       #
       # Close the progress window
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       #
       # Tell the user where to get their excel file
       $r->print('<br />'.
                 '<a href="'.$filename.'">Your Excel spreadsheet.</a>'."\n");
       $r->rflush();
       return;
 }  }
   
   }
 #######################################################  #######################################################
 #######################################################  #######################################################
   
 =pod  =pod
   
 =item &CreateColumnSelectors()  =head2 CSV output routines
   
 This function generates the checkboxes above the column headings.  The  
 column will be removed if the checkbox is unchecked.  
   
 =over 4  
   
 Input: $CacheData, $headings  
   
 $CacheData: A pointer to a hash tied to the cached data  
   
 $headings:  An array of the names of the columns for the student   =item &csv_initialize($r)
 information.  They are used to know what are the student information columns  
   
 Output: $present  =item &csv_outputstudent($r,$student)
   
 $present: The string contains the first row of a table.  Each column contains  =item &csv_finish($r)
 a checkbox which is left justified.  Currently left justification is used  
 for consistency of location over the column in which it presides.  
   
 =back  
   
 =cut  =cut
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub CreateColumnSelectors {  {
     my ($infoHeadings, $sequenceHeadings, $sequenceKeys)=@_;  
   
     my $present = '';  my $outputfile;
     for(my $index=0; $index<(scalar @$infoHeadings); $index++) {  my $filename;
         $present .= '<td align="left">';  my $request_aborted;
         $present .= '<input type="checkbox" checked="on" ';  my %prog_state; # progress window state
         $present .= 'name="HeadingColumn'.$infoHeadings->[$index].'" />';  
         $present .= '</td>'."\n";  sub csv_initialize{
       my ($r) = @_;
       # 
       # Clean up
       undef($outputfile);
       undef($filename);
       undef($request_aborted);
       undef(%prog_state);
       #
       # Deal with unimplemented requests
       $request_aborted = undef;
       if ($chosen_output->{'base'} =~ /final table/) {
           $r->print(<<END);
   <h2>Unable to Complete Request</h2>
   <p>
   The <b>Summary Table (Scores)</b> option is not available for non-HTML output.
   </p>
   END
          $request_aborted = 1;
       }
       return if ($request_aborted);
       #
       # Initialize progress window
       my $studentcount = scalar(@Apache::lonstatistics::Students);
       %prog_state=&Apache::lonhtmlcommon::Create_PrgWin
           ($r,'CSV File Compilation Status',
            'CSV File Compilation Progress', $studentcount,
            'inline',undef,'Statistics','stats_status');
       #
       # Open a file
       $filename = '/prtspool/'.
           $ENV{'user.name'}.'_'.$ENV{'user.domain'}.'_'.
               time.'_'.rand(1000000000).'.csv';
       unless ($outputfile = Apache::File->new('>/home/httpd'.$filename)) {
           $r->log_error("Couldn't open $filename for output $!");
           $r->print("Problems occured in writing the csv file.  ".
                     "This error has been logged.  ".
                     "Please alert your LON-CAPA administrator.");
           $outputfile = undef;
       }
       #
       # Datestamp
       my $description = $ENV{'course.'.$ENV{'request.course.id'}.'.description'};
       print $outputfile '"'.&Apache::loncommon::csv_translate($description).'",'.
           '"'.&Apache::loncommon::csv_translate(scalar(localtime(time))).'"'.
               "\n";
       foreach my $item ('shortdesc','non_html_notes') {
           next if (! exists($chosen_output->{$item}));
           print $outputfile 
               '"'.&Apache::loncommon::csv_translate($chosen_output->{$item}).'"'.
               "\n";
       }
       #
       # Print out the headings
       my $sequence_row = '';
       my $resource_row = undef;
       foreach my $field (&get_student_fields_to_show()) {
           $sequence_row .='"",';
           $resource_row .= '"'.&Apache::loncommon::csv_translate($field).'",';
       }
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           $sequence_row .= '"'.
               &Apache::loncommon::csv_translate($seq->{'title'}).'",';
           my $count = 0;
           if ($chosen_output->{'every_problem'}) {
               foreach my $res (@{$seq->{'contents'}}) {
                   if ($res->{'type'} ne 'assessment'  || 
                       ! exists($res->{'parts'})       ||
                       ref($res->{'parts'}) ne 'ARRAY' ||
                       scalar(@{$res->{'parts'}}) < 1) {
                       next;
                   }
                   foreach my $part (@{$res->{'parts'}}) {
                       $resource_row .= '"'.
                           &Apache::loncommon::csv_translate($res->{'title'}.
                                                             ', Part '.$part
                                                             ).'",';
                       $count++;
                   }
               }
           }
           $sequence_row.='"",'x$count;
           if ($chosen_output->{'sequence_sum'}) {
               if($chosen_output->{'correct'}) {
                   $resource_row .= '"sum",';
               } else {
                   $resource_row .= '"score",';
               }
           }
           if ($chosen_output->{'sequence_max'}) {
               $sequence_row.= '"",';
               $resource_row .= '"maximum possible",';
           }
     }      }
       if ($chosen_output->{'grand_total'}) {
           $sequence_row.= '"",';
           $resource_row.= '"Total",';
       } 
       if ($chosen_output->{'grand_maximum'}) {
           $sequence_row.= '"",';
           $resource_row.= '"Maximum",';
       } 
       chomp($sequence_row);
       chomp($resource_row);
       print $outputfile $sequence_row."\n";
       print $outputfile $resource_row."\n";
       return;
   }
   
     for(my $index=0; $index<(scalar @$sequenceHeadings); $index++) {  sub csv_outputstudent {
         $present .= '<td align="left">';      my ($r,$student) = @_;
         $present .= '<input type="checkbox" checked="on" ';      return if ($request_aborted);
         $present .= 'name="SequenceColumn'.$sequenceKeys->[$index].'" />';      return if (! defined($outputfile));
         $present .= '</td>'."\n";      my $Str = '';
       #
       # Output student fields
       my @to_show = &get_student_fields_to_show();
       foreach my $field (@to_show) {
           my $value = $student->{$field};
           if ($field eq 'comments') {
               $value = &Apache::lonmsg::retrieve_instructor_comments
                   ($student->{'username'},$student->{'domain'});
           }        
           $Str .= '"'.&Apache::loncommon::csv_translate($value).'",';
       }
       #
       # Get student assessment data
       my %StudentsData;
       my @tmp = &Apache::loncoursedata::get_current_state($student->{'username'},
                                                           $student->{'domain'},
                                                           undef,
                                                      $ENV{'request.course.id'});
       if ((scalar @tmp > 0) && ($tmp[0] !~ /^error:/)) {
           %StudentsData = @tmp;
       }
       #
       # Output performance data
       my $total = 0;
       my $maximum = 0;
       foreach my $seq (&Apache::lonstatistics::Sequences_with_Assess()) {
           my ($performance,$performance_length,$score,$seq_max,$rawdata);
           if ($chosen_output->{'tries'}){
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &StudentTriesOnSequence($student,\%StudentsData,
                                           $seq,'no');
           } else {
               ($performance,$performance_length,$score,$seq_max,$rawdata) =
                   &StudentPerformanceOnSequence($student,\%StudentsData,
                                                 $seq,'no');
           }
           if ($chosen_output->{'every_problem'}) {
               if ($chosen_output->{'correct'}) {
                   $score = 0;
                   # Deal with number of parts correct data
                   $Str .= '"'.join('","',( map { if ($_>0) { 
                                                      $score += 1;
                                                      1; 
                                                  } else { 
                                                      0; 
                                                  }
                                                } @$rawdata)).'",';
               } else {
                   $Str .= '"'.join('","',(@$rawdata)).'",';
               }
           }
           if ($chosen_output->{'sequence_sum'}) {
               $Str .= '"'.$score.'",';
           } 
           if ($chosen_output->{'sequence_max'}) {
               $Str .= '"'.$seq_max.'",';
           }
           $total+=$score;
           $maximum += $seq_max;
       }
       if ($chosen_output->{'grand_total'}) {
           $Str .= '"'.$total.'",';
       }
       if ($chosen_output->{'grand_maximum'}) {
           $Str .= '"'.$maximum.'",';
     }      }
       chop($Str);
       $Str .= "\n";
       print $outputfile $Str;
       #
       # Update the progress window
       &Apache::lonhtmlcommon::Increment_PrgWin($r,\%prog_state,'last student');
       return;
   }
   
   sub csv_finish {
       my ($r) = @_;
       return if ($request_aborted);
       return if (! defined($outputfile));
       close($outputfile);
       #
       my $c = $r->connection();
       return if ($c->aborted());
       #
       # Close the progress window
       &Apache::lonhtmlcommon::Close_PrgWin($r,\%prog_state);
       #
       # Tell the user where to get their csv file
       $r->print('<br />'.
                 '<a href="'.$filename.'">'.&mt('Your csv file.').'</a>'."\n");
       $r->rflush();
       return;
       
   }
   
     return $present;  
 }  }
   
 #######################################################  #######################################################
Line 752  sub CreateColumnSelectors { Line 1686  sub CreateColumnSelectors {
   
 =pod  =pod
   
 =back  =item &StudentTriesOnSequence()
   
 =head1 HELPER FUNCTIONS  Inputs:
   
 =over 4  =over 4
   
 =cut   =item $student
   
 #######################################################  =item $studentdata Hash ref to all student data
 #######################################################  
 sub FindSelectedStudent {  
     my($cache, $selectedName, $students)=@_;  
   
     if($selectedName eq 'All Students' ||  =item $seq Hash ref, the sequence we are working on
        $selectedName eq 'No Student Selected') {  
         return $selectedName;  =item $links if defined we will output links to each resource.
     }  
   
     for(my $index=0; $index<(scalar @$students); $index++) {  =back
         my $fullname = $cache->{$students->[$index].':fullname'};  
         if($fullname eq $selectedName) {  =cut
             if($cache->{'StudentAssessmentMove'} eq 'next') {  
                 if($index == ((scalar @$students) - 1)) {  #######################################################
                     $selectedName = $students->[0];  #######################################################
                     return $selectedName;  sub StudentTriesOnSequence {
       my ($student,$studentdata,$seq,$links) = @_;
       $links = 'no' if (! defined($links));
       my $Str = '';
       my ($sum,$max) = (0,0);
       my $performance_length = 0;
       my @TriesData = ();
       my $tries;
       my $hasdata = 0; # flag - true if the student has any data on the sequence
       foreach my $resource (@{$seq->{'contents'}}) {
           next if ($resource->{'type'} ne 'assessment');
           my $resource_data = $studentdata->{$resource->{'symb'}};
           my $value = '';
           foreach my $partnum (@{$resource->{'parts'}}) {
               $tries = undef;
               $max++;
               $performance_length++;
               my $symbol = ' '; # default to space
               #
               my $awarded = 0;
               if (exists($resource_data->{'resource.'.$partnum.'.awarded'})) {
                   $awarded = $resource_data->{'resource.'.$partnum.'.awarded'};
                   $awarded = 0 if (! $awarded);
               }
               #
               my $status = '';
               if (exists($resource_data->{'resource.'.$partnum.'.solved'})) {
                   $status = $resource_data->{'resource.'.$partnum.'.solved'};
               }
               #
               my $tries = 0;
               if(exists($resource_data->{'resource.'.$partnum.'.tries'})) {
                   $tries = $resource_data->{'resource.'.$partnum.'.tries'};
                   $hasdata =1;
               }
               #
               if ($awarded > 0) {
                   # The student has gotten the problem correct to some degree
                   if ($status eq 'excused') {
                       $symbol = 'x';
                       $max--;
                   } elsif ($status eq 'correct_by_override') {
                       $symbol = '+';
                       $sum++;
                   } elsif ($tries > 0) {
                       if ($tries > 9) {
                           $symbol = '*';
                       } else {
                           $symbol = $tries;
                       }
                       $sum++;
                 } else {                  } else {
                     $selectedName = $students->[$index+1];                      $symbol = '+';
                     return $selectedName;                      $sum++;
                 }                  }
             } elsif($cache->{'StudentAssessmentMove'} eq 'previous') {              } else {
                 if($index == 0) {                  # The student has the problem incorrect or it is ungraded
                     $selectedName = $students->[-1];                  if ($status eq 'excused') {
                     return $selectedName;                      $symbol = 'x';
                       $max--;
                   } elsif ($status eq 'incorrect_by_override') {
                       $symbol = '-';
                   } elsif ($status eq 'ungraded_attempted') {
                       $symbol = '#';
                   } elsif ($status eq 'incorrect_attempted' ||
                            $tries > 0)  {
                       $symbol = '.';
                 } else {                  } else {
                     $selectedName = $students->[$index-1];                      # Problem is wrong and has not been attempted.
                     return $selectedName;                      $symbol=' ';
                 }                  }
               }
               #
               if (! defined($tries)) {
                   $tries = 0;
               }
               if ($status =~ /^(incorrect|ungraded)/) {
                   # Bug 3390: show '-' for tries on incorrect problems 
                   # (csv & excel only)
                   push(@TriesData,-$tries);
             } else {              } else {
                 $selectedName = $students->[$index];                  push (@TriesData,$tries);
                 return $selectedName;  
             }              }
             last;              #
               if ( ($links eq 'yes' && $symbol ne ' ') ||
                    ($links eq 'all')) {
                   if (length($symbol) > 1) {
                       &Apache::lonnet::logthis('length of symbol "'.$symbol.'" > 1');
                   }
                   $symbol = '<a href="/adm/grades'.
                       '?symb='.&Apache::lonnet::escape($resource->{'symb'}).
                           '&student='.$student->{'username'}.
                               '&userdom='.$student->{'domain'}.
                                   '&command=submission">'.$symbol.'</a>';
               }
               $value .= $symbol;
         }          }
           $Str .= $value;
     }      }
       if ($seq->{'randompick'}) {
     return 'No Student Selected';          $max = $seq->{'randompick'};
       }
       if (! $hasdata && $sum == 0) {
           $sum = ' ';
       }
       return ($Str,$performance_length,$sum,$max,\@TriesData);
 }  }
   
 #######################################################  #######################################################
 #######################################################  #######################################################
   
 =pod  =pod
   
 =item &ShouldShowColumn()  =item &StudentPerformanceOnSequence()
   
 Determine if a specified column should be shown on the chart.  Inputs:
   
 =over 4  =over 4
   
 Input: $cache, $test  =item $student
   
 $cache: A pointer to the hash tied to the cached data  =item $studentdata Hash ref to all student data
   
 $test: The form name of the column (heading.$headingIndex) or   =item $seq Hash ref, the sequence we are working on
 (sequence.$sequenceIndex)  
   =item $links if defined we will output links to each resource.
   
 =back  =back
   
Line 823  $test: The form name of the column (head Line 1839  $test: The form name of the column (head
   
 #######################################################  #######################################################
 #######################################################  #######################################################
 sub ShouldShowColumns {  sub StudentPerformanceOnSequence {
     my ($cache,$headings,$cacheKey)=@_;      my ($student,$studentdata,$seq,$links) = @_;
       $links = 'no' if (! defined($links));
     my @infoKeys=();      my $Str = ''; # final result string
     my @infoHeadings=();      my ($score,$max) = (0,0);
       my $performance_length = 0;
       my $symbol;
       my @ScoreData = ();
       my $partscore;
       my $hasdata = 0; # flag, 0 if there were no submissions on the sequence
       foreach my $resource (@{$seq->{'contents'}}) {
           next if ($resource->{'type'} ne 'assessment');
           my $resource_data = $studentdata->{$resource->{'symb'}};
           foreach my $part (@{$resource->{'parts'}}) {
               $partscore = undef;
               my $weight = &Apache::lonnet::EXT('resource.'.$part.'.weight',
                                                 $resource->{'symb'},
                                                 $student->{'domain'},
                                                 $student->{'username'},
                                                 $student->{'section'});
               if (!defined($weight) || ($weight eq '')) { 
                   $weight=1;
               }
               #
               $max += $weight; # see the 'excused' branch below...
               $performance_length++; # one character per part
               $symbol = ' '; # default to space
               #
               my $awarded;
               if (exists($resource_data->{'resource.'.$part.'.awarded'})) {
                   $awarded = $resource_data->{'resource.'.$part.'.awarded'};
                   $awarded = 0 if (! $awarded);
                   $hasdata = 1;
               }
               #
               $partscore = $weight*$awarded;
               if (! defined($awarded)) {
                   $partscore = undef;
               }
               $score += $partscore;
               $symbol = $partscore; 
               if (abs($symbol - sprintf("%.0f",$symbol)) < 0.001) {
                   $symbol = sprintf("%.0f",$symbol);
               }
               if (length($symbol) > 1) {
                   $symbol = '*';
               }
               if (exists($resource_data->{'resource.'.$part.'.solved'})) {
                   my $status = $resource_data->{'resource.'.$part.'.solved'};
                   if ($status eq 'excused') {
                       $symbol = 'x';
                       $max -= $weight; # Do not count 'excused' problems.
                   }
                   $hasdata = 1;
               } else {
                   # Unsolved.  Did they try?
                   if (exists($resource_data->{'resource.'.$part.'.tries'})){
                       $symbol = '.';
                       $hasdata = 1;
                   } else {
                       $symbol = ' ';
                   }
               }
               #
               if (! defined($partscore)) {
                   $partscore = $symbol;
               }
               push (@ScoreData,$partscore);
               #
               if ( ($links eq 'yes' && $symbol ne ' ') || ($links eq 'all')) {
                   $symbol = '<a href="/adm/grades'.
                       '?symb='.&Apache::lonnet::escape($resource->{'symb'}).
                       '&student='.$student->{'username'}.
                       '&userdom='.$student->{'domain'}.
                       '&command=submission">'.$symbol.'</a>';
               }
               $Str .= $symbol;
           }
       }
       if (! $hasdata && $score == 0) {
           $score = ' ';
       }
       return ($Str,$performance_length,$score,$max,\@ScoreData);
   }
   
     my @sequenceKeys=();  #######################################################
     my @sequenceHeadings=();  #######################################################
   
     my %doNotShow;  =pod
   
     my $index;  =item &CreateLegend()
     my $count = 0;  
     my $check = '';  
     for($index=0; $index < scalar @$headings; $index++) {  
         $check = 'HeadingColumn'.$headings->[$index];  
         if($cache->{'HeadingsFound'} =~ /$check/) {  
             push(@infoHeadings, $headings->[$index]);  
             push(@infoKeys, $cacheKey->[$index]);  
         } else {  
             $doNotShow{$count.':name'} = $headings->[$index];  
             $doNotShow{$count.':id'} = 'HeadingColumn'.$headings->[$index];  
             $count++;  
         }  
     }  
   
     foreach my $sequence (split(/\:/,$cache->{'orderedSequences'})) {  This function returns a formatted string containing the legend for the
         $check = 'SequenceColumn'.$sequence;  chart.  The legend describes the symbols used to represent grades for
         if($cache->{'SequencesFound'} eq 'All Sequences' ||  problems.
            $cache->{'SequencesFound'} =~ /$check/) {  
             push(@sequenceHeadings, $cache->{$sequence.':title'});  
             push(@sequenceKeys, $sequence);  
         } else {  
             $doNotShow{$count.':name'} = $cache->{$sequence.':title'};  
             $doNotShow{$count.':id'} = 'SequenceColumn'.$sequence;  
             $count++;  
         }  
     }  
   
     $doNotShow{'count'} = $count;  =cut
   
     return (\@infoHeadings, \@infoKeys, \@sequenceHeadings,  #######################################################
             \@sequenceKeys, \%doNotShow);  #######################################################
   sub CreateLegend {
       my $Str = "<p><pre>".
                 "   1  correct by student in 1 try\n".
                 "   7  correct by student in 7 tries\n".
                 "   *  correct by student in more than 9 tries\n".
         "   +  correct by hand grading or override\n".
                 "   -  incorrect by override\n".
         "   .  incorrect attempted\n".
         "   #  ungraded attempted\n".
                 "      not attempted (blank field)\n".
         "   x  excused".
                 "</pre><p>";
       return $Str;
 }  }
 1;  
   
 #######################################################  #######################################################
 #######################################################  #######################################################
Line 881  sub ShouldShowColumns { Line 1966  sub ShouldShowColumns {
 #######################################################  #######################################################
 #######################################################  #######################################################
   
   1;
   
 __END__  __END__

Removed from v.1.28  
changed lines
  Added in v.1.110


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>