source: trunk/Clp/src/ClpPresolve.cpp @ 1643

Last change on this file since 1643 was 1643, checked in by forrest, 9 years ago

stab at parametrics and sparser matrix multiply

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 66.1 KB
Line 
1/* $Id: ClpPresolve.cpp 1643 2010-12-02 12:14:40Z forrest $ */
2// Copyright (C) 2002, International Business Machines
3// Corporation and others.  All Rights Reserved.
4
5//#define       PRESOLVE_CONSISTENCY    1
6//#define       PRESOLVE_DEBUG  1
7
8#include <stdio.h>
9
10#include <cassert>
11#include <iostream>
12
13#include "CoinHelperFunctions.hpp"
14
15#include "CoinPackedMatrix.hpp"
16#include "ClpPackedMatrix.hpp"
17#include "ClpSimplex.hpp"
18#include "ClpSimplexOther.hpp"
19#ifndef SLIM_CLP
20#include "ClpQuadraticObjective.hpp"
21#endif
22
23#include "ClpPresolve.hpp"
24#include "CoinPresolveMatrix.hpp"
25
26#include "CoinPresolveEmpty.hpp"
27#include "CoinPresolveFixed.hpp"
28#include "CoinPresolvePsdebug.hpp"
29#include "CoinPresolveSingleton.hpp"
30#include "CoinPresolveDoubleton.hpp"
31#include "CoinPresolveTripleton.hpp"
32#include "CoinPresolveZeros.hpp"
33#include "CoinPresolveSubst.hpp"
34#include "CoinPresolveForcing.hpp"
35#include "CoinPresolveDual.hpp"
36#include "CoinPresolveTighten.hpp"
37#include "CoinPresolveUseless.hpp"
38#include "CoinPresolveDupcol.hpp"
39#include "CoinPresolveImpliedFree.hpp"
40#include "CoinPresolveIsolated.hpp"
41#include "CoinMessage.hpp"
42
43
44
45ClpPresolve::ClpPresolve() :
46     originalModel_(NULL),
47     presolvedModel_(NULL),
48     nonLinearValue_(0.0),
49     originalColumn_(NULL),
50     originalRow_(NULL),
51     rowObjective_(NULL),
52     paction_(0),
53     ncols_(0),
54     nrows_(0),
55     nelems_(0),
56     numberPasses_(5),
57     substitution_(3),
58#ifndef CLP_NO_STD
59     saveFile_(""),
60#endif
61     presolveActions_(0)
62{
63}
64
65ClpPresolve::~ClpPresolve()
66{
67     destroyPresolve();
68}
69// Gets rid of presolve actions (e.g.when infeasible)
70void
71ClpPresolve::destroyPresolve()
72{
73     const CoinPresolveAction *paction = paction_;
74     while (paction) {
75          const CoinPresolveAction *next = paction->next;
76          delete paction;
77          paction = next;
78     }
79     delete [] originalColumn_;
80     delete [] originalRow_;
81     paction_ = NULL;
82     originalColumn_ = NULL;
83     originalRow_ = NULL;
84     delete [] rowObjective_;
85     rowObjective_ = NULL;
86}
87
88/* This version of presolve returns a pointer to a new presolved
89   model.  NULL if infeasible
90*/
91ClpSimplex *
92ClpPresolve::presolvedModel(ClpSimplex & si,
93                            double feasibilityTolerance,
94                            bool keepIntegers,
95                            int numberPasses,
96                            bool dropNames,
97                            bool doRowObjective)
98{
99     // Check matrix
100     int checkType = ((si.specialOptions() & 128) != 0) ? 14 : 15;
101     if (!si.clpMatrix()->allElementsInRange(&si, si.getSmallElementValue(),
102                                             1.0e20,checkType))
103          return NULL;
104     else
105          return gutsOfPresolvedModel(&si, feasibilityTolerance, keepIntegers, numberPasses, dropNames,
106                                      doRowObjective);
107}
108#ifndef CLP_NO_STD
109/* This version of presolve updates
110   model and saves original data to file.  Returns non-zero if infeasible
111*/
112int
113ClpPresolve::presolvedModelToFile(ClpSimplex &si, std::string fileName,
114                                  double feasibilityTolerance,
115                                  bool keepIntegers,
116                                  int numberPasses,
117                                  bool dropNames,
118                                  bool doRowObjective)
119{
120     // Check matrix
121     if (!si.clpMatrix()->allElementsInRange(&si, si.getSmallElementValue(),
122                                             1.0e20))
123          return 2;
124     saveFile_ = fileName;
125     si.saveModel(saveFile_.c_str());
126     ClpSimplex * model = gutsOfPresolvedModel(&si, feasibilityTolerance, keepIntegers, numberPasses, dropNames,
127                          doRowObjective);
128     if (model == &si) {
129          return 0;
130     } else {
131          si.restoreModel(saveFile_.c_str());
132          remove(saveFile_.c_str());
133          return 1;
134     }
135}
136#endif
137// Return pointer to presolved model
138ClpSimplex *
139ClpPresolve::model() const
140{
141     return presolvedModel_;
142}
143// Return pointer to original model
144ClpSimplex *
145ClpPresolve::originalModel() const
146{
147     return originalModel_;
148}
149void
150ClpPresolve::postsolve(bool updateStatus)
151{
152     // Return at once if no presolved model
153     if (!presolvedModel_)
154          return;
155     // Messages
156     CoinMessages messages = originalModel_->coinMessages();
157     if (!presolvedModel_->isProvenOptimal()) {
158          presolvedModel_->messageHandler()->message(COIN_PRESOLVE_NONOPTIMAL,
159                    messages)
160                    << CoinMessageEol;
161     }
162
163     // this is the size of the original problem
164     const int ncols0  = ncols_;
165     const int nrows0  = nrows_;
166     const CoinBigIndex nelems0 = nelems_;
167
168     // this is the reduced problem
169     int ncols = presolvedModel_->getNumCols();
170     int nrows = presolvedModel_->getNumRows();
171
172     double * acts = NULL;
173     double * sol = NULL;
174     unsigned char * rowstat = NULL;
175     unsigned char * colstat = NULL;
176#ifndef CLP_NO_STD
177     if (saveFile_ == "") {
178#endif
179          // reality check
180          assert(ncols0 == originalModel_->getNumCols());
181          assert(nrows0 == originalModel_->getNumRows());
182          acts = originalModel_->primalRowSolution();
183          sol  = originalModel_->primalColumnSolution();
184          if (updateStatus) {
185               // postsolve does not know about fixed
186               int i;
187               for (i = 0; i < nrows + ncols; i++) {
188                    if (presolvedModel_->getColumnStatus(i) == ClpSimplex::isFixed)
189                         presolvedModel_->setColumnStatus(i, ClpSimplex::atLowerBound);
190               }
191               unsigned char *status = originalModel_->statusArray();
192               if (!status) {
193                    originalModel_->createStatus();
194                    status = originalModel_->statusArray();
195               }
196               rowstat = status + ncols0;
197               colstat = status;
198               CoinMemcpyN( presolvedModel_->statusArray(), ncols, colstat);
199               CoinMemcpyN( presolvedModel_->statusArray() + ncols, nrows, rowstat);
200          }
201#ifndef CLP_NO_STD
202     } else {
203          // from file
204          acts = new double[nrows0];
205          sol  = new double[ncols0];
206          CoinZeroN(acts, nrows0);
207          CoinZeroN(sol, ncols0);
208          if (updateStatus) {
209               unsigned char *status = new unsigned char [nrows0+ncols0];
210               rowstat = status + ncols0;
211               colstat = status;
212               CoinMemcpyN( presolvedModel_->statusArray(), ncols, colstat);
213               CoinMemcpyN( presolvedModel_->statusArray() + ncols, nrows, rowstat);
214          }
215     }
216#endif
217
218     // CoinPostsolveMatrix object assumes ownership of sol, acts, colstat;
219     // will be deleted by ~CoinPostsolveMatrix. delete[] operations below
220     // cause duplicate free. In case where saveFile == "", as best I can see
221     // arrays are owned by originalModel_. fix is to
222     // clear fields in prob to avoid delete[] in ~CoinPostsolveMatrix.
223     CoinPostsolveMatrix prob(presolvedModel_,
224                              ncols0,
225                              nrows0,
226                              nelems0,
227                              presolvedModel_->getObjSense(),
228                              // end prepost
229
230                              sol, acts,
231                              colstat, rowstat);
232
233     postsolve(prob);
234
235#ifndef CLP_NO_STD
236     if (saveFile_ != "") {
237          // From file
238          assert (originalModel_ == presolvedModel_);
239          originalModel_->restoreModel(saveFile_.c_str());
240          remove(saveFile_.c_str());
241          CoinMemcpyN(acts, nrows0, originalModel_->primalRowSolution());
242          // delete [] acts;
243          CoinMemcpyN(sol, ncols0, originalModel_->primalColumnSolution());
244          // delete [] sol;
245          if (updateStatus) {
246               CoinMemcpyN(colstat, nrows0 + ncols0, originalModel_->statusArray());
247               // delete [] colstat;
248          }
249     } else {
250#endif
251          prob.sol_ = 0 ;
252          prob.acts_ = 0 ;
253          prob.colstat_ = 0 ;
254#ifndef CLP_NO_STD
255     }
256#endif
257     // put back duals
258     CoinMemcpyN(prob.rowduals_,        nrows_, originalModel_->dualRowSolution());
259     double maxmin = originalModel_->getObjSense();
260     if (maxmin < 0.0) {
261          // swap signs
262          int i;
263          double * pi = originalModel_->dualRowSolution();
264          for (i = 0; i < nrows_; i++)
265               pi[i] = -pi[i];
266     }
267     // Now check solution
268     double offset;
269     CoinMemcpyN(originalModel_->objectiveAsObject()->gradient(originalModel_,
270                 originalModel_->primalColumnSolution(), offset, true),
271                 ncols_, originalModel_->dualColumnSolution());
272     originalModel_->transposeTimes(-1.0,
273                                    originalModel_->dualRowSolution(),
274                                    originalModel_->dualColumnSolution());
275     memset(originalModel_->primalRowSolution(), 0, nrows_ * sizeof(double));
276     originalModel_->times(1.0, originalModel_->primalColumnSolution(),
277                           originalModel_->primalRowSolution());
278     originalModel_->checkSolutionInternal();
279     if (originalModel_->sumDualInfeasibilities() > 1.0e-1) {
280          // See if we can fix easily
281          static_cast<ClpSimplexOther *> (originalModel_)->cleanupAfterPostsolve();
282     }
283     // Messages
284     presolvedModel_->messageHandler()->message(COIN_PRESOLVE_POSTSOLVE,
285               messages)
286               << originalModel_->objectiveValue()
287               << originalModel_->sumDualInfeasibilities()
288               << originalModel_->numberDualInfeasibilities()
289               << originalModel_->sumPrimalInfeasibilities()
290               << originalModel_->numberPrimalInfeasibilities()
291               << CoinMessageEol;
292
293     //originalModel_->objectiveValue_=objectiveValue_;
294     originalModel_->setNumberIterations(presolvedModel_->numberIterations());
295     if (!presolvedModel_->status()) {
296          if (!originalModel_->numberDualInfeasibilities() &&
297                    !originalModel_->numberPrimalInfeasibilities()) {
298               originalModel_->setProblemStatus( 0);
299          } else {
300               originalModel_->setProblemStatus( -1);
301               // Say not optimal after presolve
302               originalModel_->setSecondaryStatus(7);
303               presolvedModel_->messageHandler()->message(COIN_PRESOLVE_NEEDS_CLEANING,
304                         messages)
305                         << CoinMessageEol;
306          }
307     } else {
308          originalModel_->setProblemStatus( presolvedModel_->status());
309          // but not if close to feasible
310          if( originalModel_->sumPrimalInfeasibilities()<1.0e-1) {
311               originalModel_->setProblemStatus( -1);
312               // Say not optimal after presolve
313               originalModel_->setSecondaryStatus(7);
314          }
315     }
316#ifndef CLP_NO_STD
317     if (saveFile_ != "")
318          presolvedModel_ = NULL;
319#endif
320}
321
322// return pointer to original columns
323const int *
324ClpPresolve::originalColumns() const
325{
326     return originalColumn_;
327}
328// return pointer to original rows
329const int *
330ClpPresolve::originalRows() const
331{
332     return originalRow_;
333}
334// Set pointer to original model
335void
336ClpPresolve::setOriginalModel(ClpSimplex * model)
337{
338     originalModel_ = model;
339}
340#if 0
341// A lazy way to restrict which transformations are applied
342// during debugging.
343static int ATOI(const char *name)
344{
345     return true;
346#if     PRESOLVE_DEBUG || PRESOLVE_SUMMARY
347     if (getenv(name)) {
348          int val = atoi(getenv(name));
349          printf("%s = %d\n", name, val);
350          return (val);
351     } else {
352          if (strcmp(name, "off"))
353               return (true);
354          else
355               return (false);
356     }
357#else
358     return (true);
359#endif
360}
361#endif
362//#define PRESOLVE_DEBUG 1
363#if PRESOLVE_DEBUG
364void check_sol(CoinPresolveMatrix *prob, double tol)
365{
366     double *colels     = prob->colels_;
367     int *hrow          = prob->hrow_;
368     int *mcstrt                = prob->mcstrt_;
369     int *hincol                = prob->hincol_;
370     int *hinrow                = prob->hinrow_;
371     int ncols          = prob->ncols_;
372
373
374     double * csol = prob->sol_;
375     double * acts = prob->acts_;
376     double * clo = prob->clo_;
377     double * cup = prob->cup_;
378     int nrows = prob->nrows_;
379     double * rlo = prob->rlo_;
380     double * rup = prob->rup_;
381
382     int colx;
383
384     double * rsol = new double[nrows];
385     memset(rsol, 0, nrows * sizeof(double));
386
387     for (colx = 0; colx < ncols; ++colx) {
388          if (1) {
389               CoinBigIndex k = mcstrt[colx];
390               int nx = hincol[colx];
391               double solutionValue = csol[colx];
392               for (int i = 0; i < nx; ++i) {
393                    int row = hrow[k];
394                    double coeff = colels[k];
395                    k++;
396                    rsol[row] += solutionValue * coeff;
397               }
398               if (csol[colx] < clo[colx] - tol) {
399                    printf("low CSOL:  %d  - %g %g %g\n",
400                           colx, clo[colx], csol[colx], cup[colx]);
401               } else if (csol[colx] > cup[colx] + tol) {
402                    printf("high CSOL:  %d  - %g %g %g\n",
403                           colx, clo[colx], csol[colx], cup[colx]);
404               }
405          }
406     }
407     int rowx;
408     for (rowx = 0; rowx < nrows; ++rowx) {
409          if (hinrow[rowx]) {
410               if (fabs(rsol[rowx] - acts[rowx]) > tol)
411                    printf("inacc RSOL:  %d - %g %g (acts_ %g) %g\n",
412                           rowx,  rlo[rowx], rsol[rowx], acts[rowx], rup[rowx]);
413               if (rsol[rowx] < rlo[rowx] - tol) {
414                    printf("low RSOL:  %d - %g %g %g\n",
415                           rowx,  rlo[rowx], rsol[rowx], rup[rowx]);
416               } else if (rsol[rowx] > rup[rowx] + tol ) {
417                    printf("high RSOL:  %d - %g %g %g\n",
418                           rowx,  rlo[rowx], rsol[rowx], rup[rowx]);
419               }
420          }
421     }
422     delete [] rsol;
423}
424#endif
425// This is the presolve loop.
426// It is a separate virtual function so that it can be easily
427// customized by subclassing CoinPresolve.
428const CoinPresolveAction *ClpPresolve::presolve(CoinPresolveMatrix *prob)
429{
430     // Messages
431     CoinMessages messages = CoinMessage(prob->messages().language());
432     paction_ = 0;
433
434     prob->status_ = 0; // say feasible
435     paction_ = make_fixed(prob, paction_);
436     // if integers then switch off dual stuff
437     // later just do individually
438     bool doDualStuff = (presolvedModel_->integerInformation() == NULL);
439     // but allow in some cases
440     if ((presolveActions_ & 512) != 0)
441          doDualStuff = true;
442     if (prob->anyProhibited())
443          doDualStuff = false;
444     if (!doDual())
445          doDualStuff = false;
446#if     PRESOLVE_CONSISTENCY
447//  presolve_links_ok(prob->rlink_, prob->mrstrt_, prob->hinrow_, prob->nrows_);
448     presolve_links_ok(prob, false, true) ;
449#endif
450
451     if (!prob->status_) {
452          bool slackSingleton = doSingletonColumn();
453          slackSingleton = true;
454          const bool slackd = doSingleton();
455          const bool doubleton = doDoubleton();
456          const bool tripleton = doTripleton();
457          //#define NO_FORCING
458#ifndef NO_FORCING
459          const bool forcing = doForcing();
460#endif
461          const bool ifree = doImpliedFree();
462          const bool zerocost = doTighten();
463          const bool dupcol = doDupcol();
464          const bool duprow = doDuprow();
465          const bool dual = doDualStuff;
466
467          // some things are expensive so just do once (normally)
468
469          int i;
470          // say look at all
471          if (!prob->anyProhibited()) {
472               for (i = 0; i < nrows_; i++)
473                    prob->rowsToDo_[i] = i;
474               prob->numberRowsToDo_ = nrows_;
475               for (i = 0; i < ncols_; i++)
476                    prob->colsToDo_[i] = i;
477               prob->numberColsToDo_ = ncols_;
478          } else {
479               // some stuff must be left alone
480               prob->numberRowsToDo_ = 0;
481               for (i = 0; i < nrows_; i++)
482                    if (!prob->rowProhibited(i))
483                         prob->rowsToDo_[prob->numberRowsToDo_++] = i;
484               prob->numberColsToDo_ = 0;
485               for (i = 0; i < ncols_; i++)
486                    if (!prob->colProhibited(i))
487                         prob->colsToDo_[prob->numberColsToDo_++] = i;
488          }
489
490
491          int iLoop;
492#if     PRESOLVE_DEBUG
493          check_sol(prob, 1.0e0);
494#endif
495          if (dupcol) {
496               // maybe allow integer columns to be checked
497               if ((presolveActions_ & 512) != 0)
498                    prob->setPresolveOptions(prob->presolveOptions() | 1);
499               paction_ = dupcol_action::presolve(prob, paction_);
500          }
501          if (duprow) {
502               paction_ = duprow_action::presolve(prob, paction_);
503          }
504          if (doGubrow()) {
505               paction_ = gubrow_action::presolve(prob, paction_);
506          }
507
508          if ((presolveActions_ & 16384) != 0)
509               prob->setPresolveOptions(prob->presolveOptions() | 16384);
510          // Check number rows dropped
511          int lastDropped = 0;
512          prob->pass_ = 0;
513          if (numberPasses_<=5)
514              prob->presolveOptions_ |= 0x10000; // say more lightweight
515          for (iLoop = 0; iLoop < numberPasses_; iLoop++) {
516               // See if we want statistics
517               if ((presolveActions_ & 0x80000000) != 0)
518                    printf("Starting major pass %d after %g seconds\n", iLoop + 1, CoinCpuTime() - prob->startTime_);
519#ifdef PRESOLVE_SUMMARY
520               printf("Starting major pass %d\n", iLoop + 1);
521#endif
522               const CoinPresolveAction * const paction0 = paction_;
523               // look for substitutions with no fill
524               //#define IMPLIED 3
525#ifdef IMPLIED
526               int fill_level = 3;
527#define IMPLIED2 99
528#if IMPLIED!=3
529#if IMPLIED>2&&IMPLIED<11
530               fill_level = IMPLIED;
531               printf("** fill_level == %d !\n", fill_level);
532#endif
533#if IMPLIED>11&&IMPLIED<21
534               fill_level = -(IMPLIED - 10);
535               printf("** fill_level == %d !\n", fill_level);
536#endif
537#endif
538#else
539               int fill_level = 2;
540#endif
541               int whichPass = 0;
542               while (1) {
543                    whichPass++;
544                    prob->pass_++;
545                    const CoinPresolveAction * const paction1 = paction_;
546
547                    if (slackd) {
548                         bool notFinished = true;
549                         while (notFinished)
550                              paction_ = slack_doubleton_action::presolve(prob, paction_,
551                                         notFinished);
552                         if (prob->status_)
553                              break;
554                    }
555                    if (dual && whichPass == 1) {
556                         // this can also make E rows so do one bit here
557                         paction_ = remove_dual_action::presolve(prob, paction_);
558                         if (prob->status_)
559                              break;
560                    }
561
562                    if (doubleton) {
563                         paction_ = doubleton_action::presolve(prob, paction_);
564                         if (prob->status_)
565                              break;
566                    }
567                    if (tripleton) {
568                         paction_ = tripleton_action::presolve(prob, paction_);
569                         if (prob->status_)
570                              break;
571                    }
572
573                    if (zerocost) {
574                         paction_ = do_tighten_action::presolve(prob, paction_);
575                         if (prob->status_)
576                              break;
577                    }
578#ifndef NO_FORCING
579                    if (forcing) {
580                         paction_ = forcing_constraint_action::presolve(prob, paction_);
581                         if (prob->status_)
582                              break;
583                    }
584#endif
585
586                    if (ifree && (whichPass % 5) == 1) {
587                         paction_ = implied_free_action::presolve(prob, paction_, fill_level);
588                         if (prob->status_)
589                              break;
590                    }
591
592#if     PRESOLVE_DEBUG
593                    check_sol(prob, 1.0e0);
594#endif
595
596#if     PRESOLVE_CONSISTENCY
597//      presolve_links_ok(prob->rlink_, prob->mrstrt_, prob->hinrow_,
598//                        prob->nrows_);
599                    presolve_links_ok(prob, false, true) ;
600#endif
601
602//#if   PRESOLVE_DEBUG
603//      presolve_no_zeros(prob->mcstrt_, prob->colels_, prob->hincol_,
604//                        prob->ncols_);
605//#endif
606//#if   PRESOLVE_CONSISTENCY
607//      prob->consistent();
608//#endif
609#if     PRESOLVE_CONSISTENCY
610                    presolve_no_zeros(prob, true, false) ;
611                    presolve_consistent(prob, true) ;
612#endif
613
614
615                    // set up for next pass
616                    // later do faster if many changes i.e. memset and memcpy
617                    prob->numberRowsToDo_ = prob->numberNextRowsToDo_;
618                    //int kcheck;
619                    //bool found=false;
620                    //kcheck=-1;
621                    for (i = 0; i < prob->numberNextRowsToDo_; i++) {
622                         int index = prob->nextRowsToDo_[i];
623                         prob->unsetRowChanged(index);
624                         prob->rowsToDo_[i] = index;
625                         //if (index==kcheck) {
626                         //printf("row %d on list after pass %d\n",kcheck,
627                         //   whichPass);
628                         //found=true;
629                         //}
630                    }
631                    //if (!found&&kcheck>=0)
632                    //prob->rowsToDo_[prob->numberRowsToDo_++]=kcheck;
633                    prob->numberNextRowsToDo_ = 0;
634                    prob->numberColsToDo_ = prob->numberNextColsToDo_;
635                    //kcheck=-1;
636                    //found=false;
637                    for (i = 0; i < prob->numberNextColsToDo_; i++) {
638                         int index = prob->nextColsToDo_[i];
639                         prob->unsetColChanged(index);
640                         prob->colsToDo_[i] = index;
641                         //if (index==kcheck) {
642                         //printf("col %d on list after pass %d\n",kcheck,
643                         //   whichPass);
644                         //found=true;
645                         //}
646                    }
647                    //if (!found&&kcheck>=0)
648                    //prob->colsToDo_[prob->numberColsToDo_++]=kcheck;
649                    prob->numberNextColsToDo_ = 0;
650                    if (paction_ == paction1 && fill_level > 0)
651                         break;
652               }
653               // say look at all
654               int i;
655               if (!prob->anyProhibited()) {
656                    for (i = 0; i < nrows_; i++)
657                         prob->rowsToDo_[i] = i;
658                    prob->numberRowsToDo_ = nrows_;
659                    for (i = 0; i < ncols_; i++)
660                         prob->colsToDo_[i] = i;
661                    prob->numberColsToDo_ = ncols_;
662               } else {
663                    // some stuff must be left alone
664                    prob->numberRowsToDo_ = 0;
665                    for (i = 0; i < nrows_; i++)
666                         if (!prob->rowProhibited(i))
667                              prob->rowsToDo_[prob->numberRowsToDo_++] = i;
668                    prob->numberColsToDo_ = 0;
669                    for (i = 0; i < ncols_; i++)
670                         if (!prob->colProhibited(i))
671                              prob->colsToDo_[prob->numberColsToDo_++] = i;
672               }
673               // now expensive things
674               // this caused world.mps to run into numerical difficulties
675#ifdef PRESOLVE_SUMMARY
676               printf("Starting expensive\n");
677#endif
678
679               if (dual) {
680                    int itry;
681                    for (itry = 0; itry < 5; itry++) {
682                         paction_ = remove_dual_action::presolve(prob, paction_);
683                         if (prob->status_)
684                              break;
685                         const CoinPresolveAction * const paction2 = paction_;
686                         if (ifree) {
687#ifdef IMPLIED
688#if IMPLIED2 ==0
689                              int fill_level = 0; // switches off substitution
690#elif IMPLIED2!=99
691                              int fill_level = IMPLIED2;
692#endif
693#endif
694                              if ((itry & 1) == 0)
695                                   paction_ = implied_free_action::presolve(prob, paction_, fill_level);
696                              if (prob->status_)
697                                   break;
698                         }
699                         if (paction_ == paction2)
700                              break;
701                    }
702               } else if (ifree) {
703                    // just free
704#ifdef IMPLIED
705#if IMPLIED2 ==0
706                    int fill_level = 0; // switches off substitution
707#elif IMPLIED2!=99
708                    int fill_level = IMPLIED2;
709#endif
710#endif
711                    paction_ = implied_free_action::presolve(prob, paction_, fill_level);
712                    if (prob->status_)
713                         break;
714               }
715#if     PRESOLVE_DEBUG
716               check_sol(prob, 1.0e0);
717#endif
718               if (dupcol) {
719                    // maybe allow integer columns to be checked
720                    if ((presolveActions_ & 512) != 0)
721                         prob->setPresolveOptions(prob->presolveOptions() | 1);
722                    paction_ = dupcol_action::presolve(prob, paction_);
723                    if (prob->status_)
724                         break;
725               }
726#if     PRESOLVE_DEBUG
727               check_sol(prob, 1.0e0);
728#endif
729
730               if (duprow) {
731                    paction_ = duprow_action::presolve(prob, paction_);
732                    if (prob->status_)
733                         break;
734               }
735#if     PRESOLVE_DEBUG
736               check_sol(prob, 1.0e0);
737#endif
738               bool stopLoop = false;
739               {
740                    int * hinrow = prob->hinrow_;
741                    int numberDropped = 0;
742                    for (i = 0; i < nrows_; i++)
743                         if (!hinrow[i])
744                              numberDropped++;
745
746                    prob->messageHandler()->message(COIN_PRESOLVE_PASS,
747                                                    messages)
748                              << numberDropped << iLoop + 1
749                              << CoinMessageEol;
750                    //printf("%d rows dropped after pass %d\n",numberDropped,
751                    //     iLoop+1);
752                    if (numberDropped == lastDropped)
753                         stopLoop = true;
754                    else
755                         lastDropped = numberDropped;
756               }
757               // Do this here as not very loopy
758               if (slackSingleton) {
759                    // On most passes do not touch costed slacks
760                    if (paction_ != paction0 && !stopLoop) {
761                         paction_ = slack_singleton_action::presolve(prob, paction_, NULL);
762                    } else {
763                         // do costed if Clp (at end as ruins rest of presolve)
764                         paction_ = slack_singleton_action::presolve(prob, paction_, rowObjective_);
765                         stopLoop = true;
766                    }
767               }
768#if     PRESOLVE_DEBUG
769               check_sol(prob, 1.0e0);
770#endif
771               if (paction_ == paction0 || stopLoop)
772                    break;
773
774          }
775     }
776     prob->presolveOptions_ &= ~0x10000;
777     if (!prob->status_) {
778          paction_ = drop_zero_coefficients(prob, paction_);
779#if     PRESOLVE_DEBUG
780          check_sol(prob, 1.0e0);
781#endif
782
783          paction_ = drop_empty_cols_action::presolve(prob, paction_);
784          paction_ = drop_empty_rows_action::presolve(prob, paction_);
785#if     PRESOLVE_DEBUG
786          check_sol(prob, 1.0e0);
787#endif
788     }
789
790     if (prob->status_) {
791          if (prob->status_ == 1)
792               prob->messageHandler()->message(COIN_PRESOLVE_INFEAS,
793                                               messages)
794                         << prob->feasibilityTolerance_
795                         << CoinMessageEol;
796          else if (prob->status_ == 2)
797               prob->messageHandler()->message(COIN_PRESOLVE_UNBOUND,
798                                               messages)
799                         << CoinMessageEol;
800          else
801               prob->messageHandler()->message(COIN_PRESOLVE_INFEASUNBOUND,
802                                               messages)
803                         << CoinMessageEol;
804          // get rid of data
805          destroyPresolve();
806     }
807     return (paction_);
808}
809
810void check_djs(CoinPostsolveMatrix *prob);
811
812
813// We could have implemented this by having each postsolve routine
814// directly call the next one, but this may make it easier to add debugging checks.
815void ClpPresolve::postsolve(CoinPostsolveMatrix &prob)
816{
817     {
818          // Check activities
819          double *colels        = prob.colels_;
820          int *hrow             = prob.hrow_;
821          CoinBigIndex *mcstrt          = prob.mcstrt_;
822          int *hincol           = prob.hincol_;
823          int *link             = prob.link_;
824          int ncols             = prob.ncols_;
825
826          char *cdone   = prob.cdone_;
827
828          double * csol = prob.sol_;
829          int nrows = prob.nrows_;
830
831          int colx;
832
833          double * rsol = prob.acts_;
834          memset(rsol, 0, nrows * sizeof(double));
835
836          for (colx = 0; colx < ncols; ++colx) {
837               if (cdone[colx]) {
838                    CoinBigIndex k = mcstrt[colx];
839                    int nx = hincol[colx];
840                    double solutionValue = csol[colx];
841                    for (int i = 0; i < nx; ++i) {
842                         int row = hrow[k];
843                         double coeff = colels[k];
844                         k = link[k];
845                         rsol[row] += solutionValue * coeff;
846                    }
847               }
848          }
849     }
850     const CoinPresolveAction *paction = paction_;
851     //#define PRESOLVE_DEBUG 1
852#if     PRESOLVE_DEBUG
853     // Check only works after first one
854     int checkit = -1;
855#endif
856
857     while (paction) {
858#if PRESOLVE_DEBUG
859          printf("POSTSOLVING %s\n", paction->name());
860#endif
861
862          paction->postsolve(&prob);
863
864#if     PRESOLVE_DEBUG
865          {
866               int nr = 0;
867               int i;
868               for (i = 0; i < prob.nrows_; i++) {
869                    if ((prob.rowstat_[i] & 7) == 1) {
870                         nr++;
871                    } else if ((prob.rowstat_[i] & 7) == 2) {
872                         // at ub
873                         assert (prob.acts_[i] > prob.rup_[i] - 1.0e-6);
874                    } else if ((prob.rowstat_[i] & 7) == 3) {
875                         // at lb
876                         assert (prob.acts_[i] < prob.rlo_[i] + 1.0e-6);
877                    }
878               }
879               int nc = 0;
880               for (i = 0; i < prob.ncols_; i++) {
881                    if ((prob.colstat_[i] & 7) == 1)
882                         nc++;
883               }
884               printf("%d rows (%d basic), %d cols (%d basic)\n", prob.nrows_, nr, prob.ncols_, nc);
885          }
886          checkit++;
887          if (prob.colstat_ && checkit > 0) {
888               presolve_check_nbasic(&prob) ;
889               presolve_check_sol(&prob, 2, 2, 1) ;
890          }
891#endif
892          paction = paction->next;
893#if     PRESOLVE_DEBUG
894//  check_djs(&prob);
895          if (checkit > 0)
896               presolve_check_reduced_costs(&prob) ;
897#endif
898     }
899#if     PRESOLVE_DEBUG
900     if (prob.colstat_) {
901          presolve_check_nbasic(&prob) ;
902          presolve_check_sol(&prob, 2, 2, 1) ;
903     }
904#endif
905#undef PRESOLVE_DEBUG
906
907#if     0 && PRESOLVE_DEBUG
908     for (i = 0; i < ncols0; i++) {
909          if (!cdone[i]) {
910               printf("!cdone[%d]\n", i);
911               abort();
912          }
913     }
914
915     for (i = 0; i < nrows0; i++) {
916          if (!rdone[i]) {
917               printf("!rdone[%d]\n", i);
918               abort();
919          }
920     }
921
922
923     for (i = 0; i < ncols0; i++) {
924          if (sol[i] < -1e10 || sol[i] > 1e10)
925               printf("!!!%d %g\n", i, sol[i]);
926
927     }
928
929
930#endif
931
932#if     0 && PRESOLVE_DEBUG
933     // debug check:  make sure we ended up with same original matrix
934     {
935          int identical = 1;
936
937          for (int i = 0; i < ncols0; i++) {
938               PRESOLVEASSERT(hincol[i] == &prob->mcstrt0[i+1] - &prob->mcstrt0[i]);
939               CoinBigIndex kcs0 = &prob->mcstrt0[i];
940               CoinBigIndex kcs = mcstrt[i];
941               int n = hincol[i];
942               for (int k = 0; k < n; k++) {
943                    CoinBigIndex k1 = presolve_find_row1(&prob->hrow0[kcs0+k], kcs, kcs + n, hrow);
944
945                    if (k1 == kcs + n) {
946                         printf("ROW %d NOT IN COL %d\n", &prob->hrow0[kcs0+k], i);
947                         abort();
948                    }
949
950                    if (colels[k1] != &prob->dels0[kcs0+k])
951                         printf("BAD COLEL[%d %d %d]:  %g\n",
952                                k1, i, &prob->hrow0[kcs0+k], colels[k1] - &prob->dels0[kcs0+k]);
953
954                    if (kcs0 + k != k1)
955                         identical = 0;
956               }
957          }
958          printf("identical? %d\n", identical);
959     }
960#endif
961}
962
963
964
965
966
967
968
969
970static inline double getTolerance(const ClpSimplex  *si, ClpDblParam key)
971{
972     double tol;
973     if (! si->getDblParam(key, tol)) {
974          CoinPresolveAction::throwCoinError("getDblParam failed",
975                                             "CoinPrePostsolveMatrix::CoinPrePostsolveMatrix");
976     }
977     return (tol);
978}
979
980
981// Assumptions:
982// 1. nrows>=m.getNumRows()
983// 2. ncols>=m.getNumCols()
984//
985// In presolve, these values are equal.
986// In postsolve, they may be inequal, since the reduced problem
987// may be smaller, but we need room for the large problem.
988// ncols may be larger than si.getNumCols() in postsolve,
989// this at that point si will be the reduced problem,
990// but we need to reserve enough space for the original problem.
991CoinPrePostsolveMatrix::CoinPrePostsolveMatrix(const ClpSimplex * si,
992          int ncols_in,
993          int nrows_in,
994          CoinBigIndex nelems_in,
995          double bulkRatio)
996     : ncols_(si->getNumCols()),
997       nrows_(si->getNumRows()),
998       nelems_(si->getNumElements()),
999       ncols0_(ncols_in),
1000       nrows0_(nrows_in),
1001       bulkRatio_(bulkRatio),
1002       mcstrt_(new CoinBigIndex[ncols_in+1]),
1003       hincol_(new int[ncols_in+1]),
1004       cost_(new double[ncols_in]),
1005       clo_(new double[ncols_in]),
1006       cup_(new double[ncols_in]),
1007       rlo_(new double[nrows_in]),
1008       rup_(new double[nrows_in]),
1009       originalColumn_(new int[ncols_in]),
1010       originalRow_(new int[nrows_in]),
1011       ztolzb_(getTolerance(si, ClpPrimalTolerance)),
1012       ztoldj_(getTolerance(si, ClpDualTolerance)),
1013       maxmin_(si->getObjSense()),
1014       sol_(NULL),
1015       rowduals_(NULL),
1016       acts_(NULL),
1017       rcosts_(NULL),
1018       colstat_(NULL),
1019       rowstat_(NULL),
1020       handler_(NULL),
1021       defaultHandler_(false),
1022       messages_()
1023
1024{
1025     bulk0_ = static_cast<CoinBigIndex> (bulkRatio_ * nelems_in);
1026     hrow_  = new int   [bulk0_];
1027     colels_ = new double[bulk0_];
1028     si->getDblParam(ClpObjOffset, originalOffset_);
1029     int ncols = si->getNumCols();
1030     int nrows = si->getNumRows();
1031
1032     setMessageHandler(si->messageHandler()) ;
1033
1034     ClpDisjointCopyN(si->getColLower(), ncols, clo_);
1035     ClpDisjointCopyN(si->getColUpper(), ncols, cup_);
1036     //ClpDisjointCopyN(si->getObjCoefficients(), ncols, cost_);
1037     double offset;
1038     ClpDisjointCopyN(si->objectiveAsObject()->gradient(si, si->getColSolution(), offset, true), ncols, cost_);
1039     ClpDisjointCopyN(si->getRowLower(), nrows,  rlo_);
1040     ClpDisjointCopyN(si->getRowUpper(), nrows,  rup_);
1041     int i;
1042     for (i = 0; i < ncols_in; i++)
1043          originalColumn_[i] = i;
1044     for (i = 0; i < nrows_in; i++)
1045          originalRow_[i] = i;
1046     sol_ = NULL;
1047     rowduals_ = NULL;
1048     acts_ = NULL;
1049
1050     rcosts_ = NULL;
1051     colstat_ = NULL;
1052     rowstat_ = NULL;
1053}
1054
1055// I am not familiar enough with CoinPackedMatrix to be confident
1056// that I will implement a row-ordered version of toColumnOrderedGapFree
1057// properly.
1058static bool isGapFree(const CoinPackedMatrix& matrix)
1059{
1060     const CoinBigIndex * start = matrix.getVectorStarts();
1061     const int * length = matrix.getVectorLengths();
1062     int i = matrix.getSizeVectorLengths() - 1;
1063     // Quick check
1064     if (matrix.getNumElements() == start[i]) {
1065          return true;
1066     } else {
1067          for (i = matrix.getSizeVectorLengths() - 1; i >= 0; --i) {
1068               if (start[i+1] - start[i] != length[i])
1069                    break;
1070          }
1071          return (! (i >= 0));
1072     }
1073}
1074#if     PRESOLVE_DEBUG
1075static void matrix_bounds_ok(const double *lo, const double *up, int n)
1076{
1077     int i;
1078     for (i = 0; i < n; i++) {
1079          PRESOLVEASSERT(lo[i] <= up[i]);
1080          PRESOLVEASSERT(lo[i] < PRESOLVE_INF);
1081          PRESOLVEASSERT(-PRESOLVE_INF < up[i]);
1082     }
1083}
1084#endif
1085CoinPresolveMatrix::CoinPresolveMatrix(int ncols0_in,
1086                                       double /*maxmin*/,
1087                                       // end prepost members
1088
1089                                       ClpSimplex * si,
1090
1091                                       // rowrep
1092                                       int nrows_in,
1093                                       CoinBigIndex nelems_in,
1094                                       bool doStatus,
1095                                       double nonLinearValue,
1096                                       double bulkRatio) :
1097
1098     CoinPrePostsolveMatrix(si,
1099                            ncols0_in, nrows_in, nelems_in, bulkRatio),
1100     clink_(new presolvehlink[ncols0_in+1]),
1101     rlink_(new presolvehlink[nrows_in+1]),
1102
1103     dobias_(0.0),
1104
1105
1106     // temporary init
1107     integerType_(new unsigned char[ncols0_in]),
1108     tuning_(false),
1109     startTime_(0.0),
1110     feasibilityTolerance_(0.0),
1111     status_(-1),
1112     colsToDo_(new int [ncols0_in]),
1113     numberColsToDo_(0),
1114     nextColsToDo_(new int[ncols0_in]),
1115     numberNextColsToDo_(0),
1116     rowsToDo_(new int [nrows_in]),
1117     numberRowsToDo_(0),
1118     nextRowsToDo_(new int[nrows_in]),
1119     numberNextRowsToDo_(0),
1120     presolveOptions_(0)
1121{
1122     const int bufsize = bulk0_;
1123
1124     nrows_ = si->getNumRows() ;
1125
1126     // Set up change bits etc
1127     rowChanged_ = new unsigned char[nrows_];
1128     memset(rowChanged_, 0, nrows_);
1129     colChanged_ = new unsigned char[ncols_];
1130     memset(colChanged_, 0, ncols_);
1131     CoinPackedMatrix * m = si->matrix();
1132
1133     // The coefficient matrix is a big hunk of stuff.
1134     // Do the copy here to try to avoid running out of memory.
1135
1136     const CoinBigIndex * start = m->getVectorStarts();
1137     const int * row = m->getIndices();
1138     const double * element = m->getElements();
1139     int icol, nel = 0;
1140     mcstrt_[0] = 0;
1141     ClpDisjointCopyN(m->getVectorLengths(), ncols_,  hincol_);
1142     for (icol = 0; icol < ncols_; icol++) {
1143          CoinBigIndex j;
1144          for (j = start[icol]; j < start[icol] + hincol_[icol]; j++) {
1145               hrow_[nel] = row[j];
1146               if (fabs(element[j]) > ZTOLDP)
1147                    colels_[nel++] = element[j];
1148          }
1149          mcstrt_[icol+1] = nel;
1150          hincol_[icol] = nel - mcstrt_[icol];
1151     }
1152
1153     // same thing for row rep
1154     CoinPackedMatrix * mRow = new CoinPackedMatrix();
1155     mRow->setExtraGap(0.0);
1156     mRow->setExtraMajor(0.0);
1157     mRow->reverseOrderedCopyOf(*m);
1158     //mRow->removeGaps();
1159     //mRow->setExtraGap(0.0);
1160
1161     // Now get rid of matrix
1162     si->createEmptyMatrix();
1163
1164     double * el = mRow->getMutableElements();
1165     int * ind = mRow->getMutableIndices();
1166     CoinBigIndex * strt = mRow->getMutableVectorStarts();
1167     int * len = mRow->getMutableVectorLengths();
1168     // Do carefully to save memory
1169     rowels_ = new double[bulk0_];
1170     ClpDisjointCopyN(el,      nelems_, rowels_);
1171     mRow->nullElementArray();
1172     delete [] el;
1173     hcol_ = new int[bulk0_];
1174     ClpDisjointCopyN(ind,       nelems_, hcol_);
1175     mRow->nullIndexArray();
1176     delete [] ind;
1177     mrstrt_ = new CoinBigIndex[nrows_in+1];
1178     ClpDisjointCopyN(strt,  nrows_,  mrstrt_);
1179     mRow->nullStartArray();
1180     mrstrt_[nrows_] = nelems_;
1181     delete [] strt;
1182     hinrow_ = new int[nrows_in+1];
1183     ClpDisjointCopyN(len, nrows_,  hinrow_);
1184     if (nelems_ > nel) {
1185          nelems_ = nel;
1186          // Clean any small elements
1187          int irow;
1188          nel = 0;
1189          CoinBigIndex start = 0;
1190          for (irow = 0; irow < nrows_; irow++) {
1191               CoinBigIndex j;
1192               for (j = start; j < start + hinrow_[irow]; j++) {
1193                    hcol_[nel] = hcol_[j];
1194                    if (fabs(rowels_[j]) > ZTOLDP)
1195                         rowels_[nel++] = rowels_[j];
1196               }
1197               start = mrstrt_[irow+1];
1198               mrstrt_[irow+1] = nel;
1199               hinrow_[irow] = nel - mrstrt_[irow];
1200          }
1201     }
1202
1203     delete mRow;
1204     if (si->integerInformation()) {
1205          CoinMemcpyN(reinterpret_cast<unsigned char *> (si->integerInformation()), ncols_, integerType_);
1206     } else {
1207          ClpFillN<unsigned char>(integerType_, ncols_, static_cast<unsigned char> (0));
1208     }
1209
1210#ifndef SLIM_CLP
1211#ifndef NO_RTTI
1212     ClpQuadraticObjective * quadraticObj = (dynamic_cast< ClpQuadraticObjective*>(si->objectiveAsObject()));
1213#else
1214     ClpQuadraticObjective * quadraticObj = NULL;
1215     if (si->objectiveAsObject()->type() == 2)
1216          quadraticObj = (static_cast< ClpQuadraticObjective*>(si->objectiveAsObject()));
1217#endif
1218#endif
1219     // Set up prohibited bits if needed
1220     if (nonLinearValue) {
1221          anyProhibited_ = true;
1222          for (icol = 0; icol < ncols_; icol++) {
1223               int j;
1224               bool nonLinearColumn = false;
1225               if (cost_[icol] == nonLinearValue)
1226                    nonLinearColumn = true;
1227               for (j = mcstrt_[icol]; j < mcstrt_[icol+1]; j++) {
1228                    if (colels_[j] == nonLinearValue) {
1229                         nonLinearColumn = true;
1230                         setRowProhibited(hrow_[j]);
1231                    }
1232               }
1233               if (nonLinearColumn)
1234                    setColProhibited(icol);
1235          }
1236#ifndef SLIM_CLP
1237     } else if (quadraticObj) {
1238          CoinPackedMatrix * quadratic = quadraticObj->quadraticObjective();
1239          //const int * columnQuadratic = quadratic->getIndices();
1240          //const CoinBigIndex * columnQuadraticStart = quadratic->getVectorStarts();
1241          const int * columnQuadraticLength = quadratic->getVectorLengths();
1242          //double * quadraticElement = quadratic->getMutableElements();
1243          int numberColumns = quadratic->getNumCols();
1244          anyProhibited_ = true;
1245          for (int iColumn = 0; iColumn < numberColumns; iColumn++) {
1246               if (columnQuadraticLength[iColumn]) {
1247                    setColProhibited(iColumn);
1248                    //printf("%d prohib\n",iColumn);
1249               }
1250          }
1251#endif
1252     } else {
1253          anyProhibited_ = false;
1254     }
1255
1256     if (doStatus) {
1257          // allow for status and solution
1258          sol_ = new double[ncols_];
1259          CoinMemcpyN(si->primalColumnSolution(), ncols_, sol_);;
1260          acts_ = new double [nrows_];
1261          CoinMemcpyN(si->primalRowSolution(), nrows_, acts_);
1262          if (!si->statusArray())
1263               si->createStatus();
1264          colstat_ = new unsigned char [nrows_+ncols_];
1265          CoinMemcpyN(si->statusArray(),        (nrows_ + ncols_), colstat_);
1266          rowstat_ = colstat_ + ncols_;
1267     }
1268
1269     // the original model's fields are now unneeded - free them
1270
1271     si->resize(0, 0);
1272
1273#if     PRESOLVE_DEBUG
1274     matrix_bounds_ok(rlo_, rup_, nrows_);
1275     matrix_bounds_ok(clo_, cup_, ncols_);
1276#endif
1277
1278#if 0
1279     for (i = 0; i < nrows; ++i)
1280          printf("NR: %6d\n", hinrow[i]);
1281     for (int i = 0; i < ncols; ++i)
1282          printf("NC: %6d\n", hincol[i]);
1283#endif
1284
1285     presolve_make_memlists(/*mcstrt_,*/ hincol_, clink_, ncols_);
1286     presolve_make_memlists(/*mrstrt_,*/ hinrow_, rlink_, nrows_);
1287
1288     // this allows last col/row to expand up to bufsize-1 (22);
1289     // this must come after the calls to presolve_prefix
1290     mcstrt_[ncols_] = bufsize - 1;
1291     mrstrt_[nrows_] = bufsize - 1;
1292     // Allocate useful arrays
1293     initializeStuff();
1294
1295#if     PRESOLVE_CONSISTENCY
1296//consistent(false);
1297     presolve_consistent(this, false) ;
1298#endif
1299}
1300
1301void CoinPresolveMatrix::update_model(ClpSimplex * si,
1302                                      int /*nrows0*/,
1303                                      int /*ncols0*/,
1304                                      CoinBigIndex /*nelems0*/)
1305{
1306     si->loadProblem(ncols_, nrows_, mcstrt_, hrow_, colels_, hincol_,
1307                     clo_, cup_, cost_, rlo_, rup_);
1308     //delete [] si->integerInformation();
1309     int numberIntegers = 0;
1310     for (int i = 0; i < ncols_; i++) {
1311          if (integerType_[i])
1312               numberIntegers++;
1313     }
1314     if (numberIntegers)
1315          si->copyInIntegerInformation(reinterpret_cast<const char *> (integerType_));
1316     else
1317          si->copyInIntegerInformation(NULL);
1318
1319#if     PRESOLVE_SUMMARY
1320     printf("NEW NCOL/NROW/NELS:  %d(-%d) %d(-%d) %d(-%d)\n",
1321            ncols_, ncols0 - ncols_,
1322            nrows_, nrows0 - nrows_,
1323            si->getNumElements(), nelems0 - si->getNumElements());
1324#endif
1325     si->setDblParam(ClpObjOffset, originalOffset_ - dobias_);
1326
1327}
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339////////////////  POSTSOLVE
1340
1341CoinPostsolveMatrix::CoinPostsolveMatrix(ClpSimplex*  si,
1342          int ncols0_in,
1343          int nrows0_in,
1344          CoinBigIndex nelems0,
1345
1346          double maxmin,
1347          // end prepost members
1348
1349          double *sol_in,
1350          double *acts_in,
1351
1352          unsigned char *colstat_in,
1353          unsigned char *rowstat_in) :
1354     CoinPrePostsolveMatrix(si,
1355                            ncols0_in, nrows0_in, nelems0, 2.0),
1356
1357     free_list_(0),
1358     // link, free_list, maxlink
1359     maxlink_(bulk0_),
1360     link_(new int[/*maxlink*/ bulk0_]),
1361
1362     cdone_(new char[ncols0_]),
1363     rdone_(new char[nrows0_in])
1364
1365{
1366     bulk0_ = maxlink_ ;
1367     nrows_ = si->getNumRows() ;
1368     ncols_ = si->getNumCols() ;
1369
1370     sol_ = sol_in;
1371     rowduals_ = NULL;
1372     acts_ = acts_in;
1373
1374     rcosts_ = NULL;
1375     colstat_ = colstat_in;
1376     rowstat_ = rowstat_in;
1377
1378     // this is the *reduced* model, which is probably smaller
1379     int ncols1 = ncols_ ;
1380     int nrows1 = nrows_ ;
1381
1382     const CoinPackedMatrix * m = si->matrix();
1383
1384     const CoinBigIndex nelemsr = m->getNumElements();
1385     if (m->getNumElements() && !isGapFree(*m)) {
1386          // Odd - gaps
1387          CoinPackedMatrix mm(*m);
1388          mm.removeGaps();
1389          mm.setExtraGap(0.0);
1390
1391          ClpDisjointCopyN(mm.getVectorStarts(), ncols1, mcstrt_);
1392          CoinZeroN(mcstrt_ + ncols1, ncols0_ - ncols1);
1393          mcstrt_[ncols1] = nelems0;    // ??    (should point to end of bulk store   -- lh --)
1394          ClpDisjointCopyN(mm.getVectorLengths(), ncols1,  hincol_);
1395          ClpDisjointCopyN(mm.getIndices(),      nelemsr, hrow_);
1396          ClpDisjointCopyN(mm.getElements(),     nelemsr, colels_);
1397     } else {
1398          // No gaps
1399
1400          ClpDisjointCopyN(m->getVectorStarts(), ncols1, mcstrt_);
1401          CoinZeroN(mcstrt_ + ncols1, ncols0_ - ncols1);
1402          mcstrt_[ncols1] = nelems0;    // ??    (should point to end of bulk store   -- lh --)
1403          ClpDisjointCopyN(m->getVectorLengths(), ncols1,  hincol_);
1404          ClpDisjointCopyN(m->getIndices(),      nelemsr, hrow_);
1405          ClpDisjointCopyN(m->getElements(),     nelemsr, colels_);
1406     }
1407
1408
1409
1410#if     0 && PRESOLVE_DEBUG
1411     presolve_check_costs(model, &colcopy);
1412#endif
1413
1414     // This determines the size of the data structure that contains
1415     // the matrix being postsolved.  Links are taken from the free_list
1416     // to recreate matrix entries that were presolved away,
1417     // and links are added to the free_list when entries created during
1418     // presolve are discarded.  There is never a need to gc this list.
1419     // Naturally, it should contain
1420     // exactly nelems0 entries "in use" when postsolving is done,
1421     // but I don't know whether the matrix could temporarily get
1422     // larger during postsolving.  Substitution into more than two
1423     // rows could do that, in principle.  I am being very conservative
1424     // here by reserving much more than the amount of space I probably need.
1425     // If this guess is wrong, check_free_list may be called.
1426     //  int bufsize = 2*nelems0;
1427
1428     memset(cdone_, -1, ncols0_);
1429     memset(rdone_, -1, nrows0_);
1430
1431     rowduals_ = new double[nrows0_];
1432     ClpDisjointCopyN(si->getRowPrice(), nrows1, rowduals_);
1433
1434     rcosts_ = new double[ncols0_];
1435     ClpDisjointCopyN(si->getReducedCost(), ncols1, rcosts_);
1436     if (maxmin < 0.0) {
1437          // change so will look as if minimize
1438          int i;
1439          for (i = 0; i < nrows1; i++)
1440               rowduals_[i] = - rowduals_[i];
1441          for (i = 0; i < ncols1; i++) {
1442               rcosts_[i] = - rcosts_[i];
1443          }
1444     }
1445
1446     //ClpDisjointCopyN(si->getRowUpper(), nrows1, rup_);
1447     //ClpDisjointCopyN(si->getRowLower(), nrows1, rlo_);
1448
1449     ClpDisjointCopyN(si->getColSolution(), ncols1, sol_);
1450     si->setDblParam(ClpObjOffset, originalOffset_);
1451
1452     for (int j = 0; j < ncols1; j++) {
1453          CoinBigIndex kcs = mcstrt_[j];
1454          CoinBigIndex kce = kcs + hincol_[j];
1455          for (CoinBigIndex k = kcs; k < kce; ++k) {
1456               link_[k] = k + 1;
1457          }
1458          link_[kce-1] = NO_LINK ;
1459     }
1460     {
1461          int ml = maxlink_;
1462          for (CoinBigIndex k = nelemsr; k < ml; ++k)
1463               link_[k] = k + 1;
1464          if (ml)
1465               link_[ml-1] = NO_LINK;
1466     }
1467     free_list_ = nelemsr;
1468# if PRESOLVE_DEBUG || PRESOLVE_CONSISTENCY
1469     /*
1470       These are used to track the action of postsolve transforms during debugging.
1471     */
1472     CoinFillN(cdone_, ncols1, PRESENT_IN_REDUCED) ;
1473     CoinZeroN(cdone_ + ncols1, ncols0_in - ncols1) ;
1474     CoinFillN(rdone_, nrows1, PRESENT_IN_REDUCED) ;
1475     CoinZeroN(rdone_ + nrows1, nrows0_in - nrows1) ;
1476# endif
1477}
1478/* This is main part of Presolve */
1479ClpSimplex *
1480ClpPresolve::gutsOfPresolvedModel(ClpSimplex * originalModel,
1481                                  double feasibilityTolerance,
1482                                  bool keepIntegers,
1483                                  int numberPasses,
1484                                  bool dropNames,
1485                                  bool doRowObjective)
1486{
1487     ncols_ = originalModel->getNumCols();
1488     nrows_ = originalModel->getNumRows();
1489     nelems_ = originalModel->getNumElements();
1490     numberPasses_ = numberPasses;
1491
1492     double maxmin = originalModel->getObjSense();
1493     originalModel_ = originalModel;
1494     delete [] originalColumn_;
1495     originalColumn_ = new int[ncols_];
1496     delete [] originalRow_;
1497     originalRow_ = new int[nrows_];
1498     // and fill in case returns early
1499     int i;
1500     for (i = 0; i < ncols_; i++)
1501          originalColumn_[i] = i;
1502     for (i = 0; i < nrows_; i++)
1503          originalRow_[i] = i;
1504     delete [] rowObjective_;
1505     if (doRowObjective) {
1506          rowObjective_ = new double [nrows_];
1507          memset(rowObjective_, 0, nrows_ * sizeof(double));
1508     } else {
1509          rowObjective_ = NULL;
1510     }
1511
1512     // result is 0 - okay, 1 infeasible, -1 go round again, 2 - original model
1513     int result = -1;
1514
1515     // User may have deleted - its their responsibility
1516     presolvedModel_ = NULL;
1517     // Messages
1518     CoinMessages messages = originalModel->coinMessages();
1519     // Only go round 100 times even if integer preprocessing
1520     int totalPasses = 100;
1521     while (result == -1) {
1522
1523#ifndef CLP_NO_STD
1524          // make new copy
1525          if (saveFile_ == "") {
1526#endif
1527               delete presolvedModel_;
1528#ifndef CLP_NO_STD
1529               // So won't get names
1530               int lengthNames = originalModel->lengthNames();
1531               originalModel->setLengthNames(0);
1532#endif
1533               presolvedModel_ = new ClpSimplex(*originalModel);
1534#ifndef CLP_NO_STD
1535               originalModel->setLengthNames(lengthNames);
1536               presolvedModel_->dropNames();
1537          } else {
1538               presolvedModel_ = originalModel;
1539               if (dropNames)
1540                 presolvedModel_->dropNames();
1541          }
1542#endif
1543
1544          // drop integer information if wanted
1545          if (!keepIntegers)
1546               presolvedModel_->deleteIntegerInformation();
1547          totalPasses--;
1548
1549          double ratio = 2.0;
1550          if (substitution_ > 3)
1551               ratio = substitution_;
1552          else if (substitution_ == 2)
1553               ratio = 1.5;
1554          CoinPresolveMatrix prob(ncols_,
1555                                  maxmin,
1556                                  presolvedModel_,
1557                                  nrows_, nelems_, true, nonLinearValue_, ratio);
1558          prob.setMaximumSubstitutionLevel(substitution_);
1559          if (doRowObjective)
1560               memset(rowObjective_, 0, nrows_ * sizeof(double));
1561          // See if we want statistics
1562          if ((presolveActions_ & 0x80000000) != 0)
1563               prob.statistics();
1564          // make sure row solution correct
1565          {
1566               double *colels   = prob.colels_;
1567               int *hrow                = prob.hrow_;
1568               CoinBigIndex *mcstrt             = prob.mcstrt_;
1569               int *hincol              = prob.hincol_;
1570               int ncols                = prob.ncols_;
1571
1572
1573               double * csol = prob.sol_;
1574               double * acts = prob.acts_;
1575               int nrows = prob.nrows_;
1576
1577               int colx;
1578
1579               memset(acts, 0, nrows * sizeof(double));
1580
1581               for (colx = 0; colx < ncols; ++colx) {
1582                    double solutionValue = csol[colx];
1583                    for (int i = mcstrt[colx]; i < mcstrt[colx] + hincol[colx]; ++i) {
1584                         int row = hrow[i];
1585                         double coeff = colels[i];
1586                         acts[row] += solutionValue * coeff;
1587                    }
1588               }
1589          }
1590
1591          // move across feasibility tolerance
1592          prob.feasibilityTolerance_ = feasibilityTolerance;
1593
1594          // Do presolve
1595          paction_ = presolve(&prob);
1596          // Get rid of useful arrays
1597          prob.deleteStuff();
1598
1599          result = 0;
1600
1601          bool fixInfeasibility = (prob.presolveOptions_&16384)!=0;
1602          bool hasSolution = (prob.presolveOptions_&32768)!=0;
1603          if (prob.status_ == 0 && paction_ && (!hasSolution || !fixInfeasibility)) {
1604               // Looks feasible but double check to see if anything slipped through
1605               int n            = prob.ncols_;
1606               double * lo = prob.clo_;
1607               double * up = prob.cup_;
1608               int i;
1609
1610               for (i = 0; i < n; i++) {
1611                    if (up[i] < lo[i]) {
1612                         if (up[i] < lo[i] - feasibilityTolerance && !fixInfeasibility) {
1613                              // infeasible
1614                              prob.status_ = 1;
1615                         } else {
1616                              up[i] = lo[i];
1617                         }
1618                    }
1619               }
1620
1621               n = prob.nrows_;
1622               lo = prob.rlo_;
1623               up = prob.rup_;
1624
1625               for (i = 0; i < n; i++) {
1626                    if (up[i] < lo[i]) {
1627                         if (up[i] < lo[i] - feasibilityTolerance && !fixInfeasibility) {
1628                              // infeasible
1629                              prob.status_ = 1;
1630                         } else {
1631                              up[i] = lo[i];
1632                         }
1633                    }
1634               }
1635          }
1636          if (prob.status_ == 0 && paction_) {
1637               // feasible
1638
1639               prob.update_model(presolvedModel_, nrows_, ncols_, nelems_);
1640               // copy status and solution
1641               CoinMemcpyN(          prob.sol_, prob.ncols_, presolvedModel_->primalColumnSolution());
1642               CoinMemcpyN(          prob.acts_, prob.nrows_, presolvedModel_->primalRowSolution());
1643               CoinMemcpyN(          prob.colstat_, prob.ncols_, presolvedModel_->statusArray());
1644               CoinMemcpyN(          prob.rowstat_, prob.nrows_, presolvedModel_->statusArray() + prob.ncols_);
1645               if (fixInfeasibility && hasSolution) {
1646                 // Looks feasible but double check to see if anything slipped through
1647                 int n          = prob.ncols_;
1648                 double * lo = prob.clo_;
1649                 double * up = prob.cup_;
1650                 double * rsol = prob.acts_;
1651                 //memset(prob.acts_,0,prob.nrows_*sizeof(double));
1652                 presolvedModel_->matrix()->times(prob.sol_,rsol);
1653                 int i;
1654                 
1655                 for (i = 0; i < n; i++) {
1656                   double gap=up[i]-lo[i];
1657                   if (rsol[i]<lo[i]-feasibilityTolerance&&fabs(rsol[i]-lo[i])<1.0e-3) {
1658                     lo[i]=rsol[i];
1659                     if (gap<1.0e5)
1660                       up[i]=lo[i]+gap;
1661                   } else if (rsol[i]>up[i]+feasibilityTolerance&&fabs(rsol[i]-up[i])<1.0e-3) {
1662                     up[i]=rsol[i];
1663                     if (gap<1.0e5)
1664                       lo[i]=up[i]-gap;
1665                   }
1666                   if (up[i] < lo[i]) {
1667                     up[i] = lo[i];
1668                   }
1669                 }
1670               }
1671
1672               int n = prob.nrows_;
1673               double * lo = prob.rlo_;
1674               double * up = prob.rup_;
1675
1676               for (i = 0; i < n; i++) {
1677                    if (up[i] < lo[i]) {
1678                         if (up[i] < lo[i] - feasibilityTolerance && !fixInfeasibility) {
1679                              // infeasible
1680                              prob.status_ = 1;
1681                         } else {
1682                              up[i] = lo[i];
1683                         }
1684                    }
1685               }
1686               delete [] prob.sol_;
1687               delete [] prob.acts_;
1688               delete [] prob.colstat_;
1689               prob.sol_ = NULL;
1690               prob.acts_ = NULL;
1691               prob.colstat_ = NULL;
1692
1693               int ncolsNow = presolvedModel_->getNumCols();
1694               CoinMemcpyN(prob.originalColumn_, ncolsNow, originalColumn_);
1695#ifndef SLIM_CLP
1696#ifndef NO_RTTI
1697               ClpQuadraticObjective * quadraticObj = (dynamic_cast< ClpQuadraticObjective*>(originalModel->objectiveAsObject()));
1698#else
1699               ClpQuadraticObjective * quadraticObj = NULL;
1700               if (originalModel->objectiveAsObject()->type() == 2)
1701                    quadraticObj = (static_cast< ClpQuadraticObjective*>(originalModel->objectiveAsObject()));
1702#endif
1703               if (quadraticObj) {
1704                    // set up for subset
1705                    char * mark = new char [ncols_];
1706                    memset(mark, 0, ncols_);
1707                    CoinPackedMatrix * quadratic = quadraticObj->quadraticObjective();
1708                    //const int * columnQuadratic = quadratic->getIndices();
1709                    //const CoinBigIndex * columnQuadraticStart = quadratic->getVectorStarts();
1710                    const int * columnQuadraticLength = quadratic->getVectorLengths();
1711                    //double * quadraticElement = quadratic->getMutableElements();
1712                    int numberColumns = quadratic->getNumCols();
1713                    ClpQuadraticObjective * newObj = new ClpQuadraticObjective(*quadraticObj,
1714                              ncolsNow,
1715                              originalColumn_);
1716                    // and modify linear and check
1717                    double * linear = newObj->linearObjective();
1718                    CoinMemcpyN(presolvedModel_->objective(), ncolsNow, linear);
1719                    int iColumn;
1720                    for ( iColumn = 0; iColumn < numberColumns; iColumn++) {
1721                         if (columnQuadraticLength[iColumn])
1722                              mark[iColumn] = 1;
1723                    }
1724                    // and new
1725                    quadratic = newObj->quadraticObjective();
1726                    columnQuadraticLength = quadratic->getVectorLengths();
1727                    int numberColumns2 = quadratic->getNumCols();
1728                    for ( iColumn = 0; iColumn < numberColumns2; iColumn++) {
1729                         if (columnQuadraticLength[iColumn])
1730                              mark[originalColumn_[iColumn]] = 0;
1731                    }
1732                    presolvedModel_->setObjective(newObj);
1733                    delete newObj;
1734                    // final check
1735                    for ( iColumn = 0; iColumn < numberColumns; iColumn++)
1736                         if (mark[iColumn])
1737                              printf("Quadratic column %d modified - may be okay\n", iColumn);
1738                    delete [] mark;
1739               }
1740#endif
1741               delete [] prob.originalColumn_;
1742               prob.originalColumn_ = NULL;
1743               int nrowsNow = presolvedModel_->getNumRows();
1744               CoinMemcpyN(prob.originalRow_, nrowsNow, originalRow_);
1745               delete [] prob.originalRow_;
1746               prob.originalRow_ = NULL;
1747#ifndef CLP_NO_STD
1748               if (!dropNames && originalModel->lengthNames()) {
1749                    // Redo names
1750                    int iRow;
1751                    std::vector<std::string> rowNames;
1752                    rowNames.reserve(nrowsNow);
1753                    for (iRow = 0; iRow < nrowsNow; iRow++) {
1754                         int kRow = originalRow_[iRow];
1755                         rowNames.push_back(originalModel->rowName(kRow));
1756                    }
1757
1758                    int iColumn;
1759                    std::vector<std::string> columnNames;
1760                    columnNames.reserve(ncolsNow);
1761                    for (iColumn = 0; iColumn < ncolsNow; iColumn++) {
1762                         int kColumn = originalColumn_[iColumn];
1763                         columnNames.push_back(originalModel->columnName(kColumn));
1764                    }
1765                    presolvedModel_->copyNames(rowNames, columnNames);
1766               } else {
1767                    presolvedModel_->setLengthNames(0);
1768               }
1769#endif
1770               if (rowObjective_) {
1771                    int iRow;
1772                    int k = -1;
1773                    int nObj = 0;
1774                    for (iRow = 0; iRow < nrowsNow; iRow++) {
1775                         int kRow = originalRow_[iRow];
1776                         assert (kRow > k);
1777                         k = kRow;
1778                         rowObjective_[iRow] = rowObjective_[kRow];
1779                         if (rowObjective_[iRow])
1780                              nObj++;
1781                    }
1782                    if (nObj) {
1783                         printf("%d costed slacks\n", nObj);
1784                         presolvedModel_->setRowObjective(rowObjective_);
1785                    }
1786               }
1787               /* now clean up integer variables.  This can modify original
1788                          Don't do if dupcol added columns together */
1789               int i;
1790               const char * information = presolvedModel_->integerInformation();
1791               if ((prob.presolveOptions_ & 0x80000000) == 0 && information) {
1792                    int numberChanges = 0;
1793                    double * lower0 = originalModel_->columnLower();
1794                    double * upper0 = originalModel_->columnUpper();
1795                    double * lower = presolvedModel_->columnLower();
1796                    double * upper = presolvedModel_->columnUpper();
1797                    for (i = 0; i < ncolsNow; i++) {
1798                         if (!information[i])
1799                              continue;
1800                         int iOriginal = originalColumn_[i];
1801                         double lowerValue0 = lower0[iOriginal];
1802                         double upperValue0 = upper0[iOriginal];
1803                         double lowerValue = ceil(lower[i] - 1.0e-5);
1804                         double upperValue = floor(upper[i] + 1.0e-5);
1805                         lower[i] = lowerValue;
1806                         upper[i] = upperValue;
1807                         if (lowerValue > upperValue) {
1808                              numberChanges++;
1809                              presolvedModel_->messageHandler()->message(COIN_PRESOLVE_COLINFEAS,
1810                                        messages)
1811                                        << iOriginal
1812                                        << lowerValue
1813                                        << upperValue
1814                                        << CoinMessageEol;
1815                              result = 1;
1816                         } else {
1817                              if (lowerValue > lowerValue0 + 1.0e-8) {
1818                                   lower0[iOriginal] = lowerValue;
1819                                   numberChanges++;
1820                              }
1821                              if (upperValue < upperValue0 - 1.0e-8) {
1822                                   upper0[iOriginal] = upperValue;
1823                                   numberChanges++;
1824                              }
1825                         }
1826                    }
1827                    if (numberChanges) {
1828                         presolvedModel_->messageHandler()->message(COIN_PRESOLVE_INTEGERMODS,
1829                                   messages)
1830                                   << numberChanges
1831                                   << CoinMessageEol;
1832                         if (!result && totalPasses > 0) {
1833                              result = -1; // round again
1834                              const CoinPresolveAction *paction = paction_;
1835                              while (paction) {
1836                                   const CoinPresolveAction *next = paction->next;
1837                                   delete paction;
1838                                   paction = next;
1839                              }
1840                              paction_ = NULL;
1841                         }
1842                    }
1843               }
1844          } else if (prob.status_) {
1845               // infeasible or unbounded
1846               result = 1;
1847               originalModel->setProblemStatus(prob.status_);
1848          } else {
1849               // no changes - model needs restoring after Lou's changes
1850#ifndef CLP_NO_STD
1851               if (saveFile_ == "") {
1852#endif
1853                    delete presolvedModel_;
1854                    presolvedModel_ = new ClpSimplex(*originalModel);
1855                    // but we need to remove gaps
1856                    ClpPackedMatrix* clpMatrix =
1857                         dynamic_cast< ClpPackedMatrix*>(presolvedModel_->clpMatrix());
1858                    if (clpMatrix) {
1859                         clpMatrix->getPackedMatrix()->removeGaps();
1860                    }
1861#ifndef CLP_NO_STD
1862               } else {
1863                    presolvedModel_ = originalModel;
1864               }
1865               presolvedModel_->dropNames();
1866#endif
1867
1868               // drop integer information if wanted
1869               if (!keepIntegers)
1870                    presolvedModel_->deleteIntegerInformation();
1871               result = 2;
1872          }
1873     }
1874     if (result == 0 || result == 2) {
1875          int nrowsAfter = presolvedModel_->getNumRows();
1876          int ncolsAfter = presolvedModel_->getNumCols();
1877          CoinBigIndex nelsAfter = presolvedModel_->getNumElements();
1878          presolvedModel_->messageHandler()->message(COIN_PRESOLVE_STATS,
1879                    messages)
1880                    << nrowsAfter << -(nrows_ - nrowsAfter)
1881                    << ncolsAfter << -(ncols_ - ncolsAfter)
1882                    << nelsAfter << -(nelems_ - nelsAfter)
1883                    << CoinMessageEol;
1884     } else {
1885          destroyPresolve();
1886          if (presolvedModel_ != originalModel_)
1887               delete presolvedModel_;
1888          presolvedModel_ = NULL;
1889     }
1890     return presolvedModel_;
1891}
1892
1893
Note: See TracBrowser for help on using the repository browser.