Use sort_template.h for qsort_tuple() and qsort_ssup().
authorThomas Munro <[email protected]>
Wed, 3 Mar 2021 03:57:42 +0000 (16:57 +1300)
committerThomas Munro <[email protected]>
Wed, 3 Mar 2021 04:02:32 +0000 (17:02 +1300)
Replace the Perl code previously used to generate specialized sort
functions with sort_template.h.

Reviewed-by: Daniel Gustafsson <[email protected]>
Discussion: https://postgr.es/m/CA%2BhUKGJ2-eaDqAum5bxhpMNhvuJmRDZxB_Tow0n-gse%2BHG0Yig%40mail.gmail.com

src/backend/Makefile
src/backend/utils/sort/.gitignore [deleted file]
src/backend/utils/sort/Makefile
src/backend/utils/sort/gen_qsort_tuple.pl [deleted file]
src/backend/utils/sort/tuplesort.c
src/tools/msvc/Solution.pm
src/tools/msvc/clean.bat

index 9672e2cb43aa4eda959aa77e888cfc9daab54d9c..0da848b1fd3dafeebf4c9fe0d4ff3e5e2c8c5e22 100644 (file)
@@ -190,7 +190,6 @@ distprep:
    $(MAKE) -C utils    distprep
    $(MAKE) -C utils/adt    jsonpath_gram.c jsonpath_scan.c
    $(MAKE) -C utils/misc   guc-file.c
-   $(MAKE) -C utils/sort   qsort_tuple.c
 
 
 ##########################################################################
@@ -312,8 +311,7 @@ maintainer-clean: distclean
          storage/lmgr/lwlocknames.h \
          utils/adt/jsonpath_gram.c \
          utils/adt/jsonpath_scan.c \
-         utils/misc/guc-file.c \
-         utils/sort/qsort_tuple.c
+         utils/misc/guc-file.c
 
 
 ##########################################################################
diff --git a/src/backend/utils/sort/.gitignore b/src/backend/utils/sort/.gitignore
deleted file mode 100644 (file)
index f295863..0000000
+++ /dev/null
@@ -1 +0,0 @@
-/qsort_tuple.c
index 7ac3659261e33f2f80086676ff65c1f3b1779b07..26f65fcaf7ad78ddf3f12e1db0e9215ef02fd279 100644 (file)
@@ -21,12 +21,4 @@ OBJS = \
    tuplesort.o \
    tuplestore.o
 
-tuplesort.o: qsort_tuple.c
-
-qsort_tuple.c: gen_qsort_tuple.pl
-   $(PERL) $(srcdir)/gen_qsort_tuple.pl $< > $@
-
 include $(top_srcdir)/src/backend/common.mk
-
-maintainer-clean:
-   rm -f qsort_tuple.c
diff --git a/src/backend/utils/sort/gen_qsort_tuple.pl b/src/backend/utils/sort/gen_qsort_tuple.pl
deleted file mode 100644 (file)
index 4c30580..0000000
+++ /dev/null
@@ -1,272 +0,0 @@
-#!/usr/bin/perl
-
-#
-# gen_qsort_tuple.pl
-#
-# This script generates specialized versions of the quicksort algorithm for
-# tuple sorting.  The quicksort code is derived from the NetBSD code.  The
-# code generated by this script runs significantly faster than vanilla qsort
-# when used to sort tuples.  This speedup comes from a number of places.
-# The major effects are (1) inlining simple tuple comparators is much faster
-# than jumping through a function pointer and (2) swap and vecswap operations
-# specialized to the particular data type of interest (in this case, SortTuple)
-# are faster than the generic routines.
-#
-#  Modifications from vanilla NetBSD source:
-#    Add do ... while() macro fix
-#    Remove __inline, _DIAGASSERTs, __P
-#    Remove ill-considered "swap_cnt" switch to insertion sort,
-#    in favor of a simple check for presorted input.
-#    Take care to recurse on the smaller partition, to bound stack usage.
-#
-#     Instead of sorting arbitrary objects, we're always sorting SortTuples.
-#     Add CHECK_FOR_INTERRUPTS().
-#
-# CAUTION: if you change this file, see also qsort.c and qsort_arg.c
-#
-
-use strict;
-use warnings;
-
-my $SUFFIX;
-my $EXTRAARGS;
-my $EXTRAPARAMS;
-my $CMPPARAMS;
-
-emit_qsort_boilerplate();
-
-$SUFFIX      = 'tuple';
-$EXTRAARGS   = ', SortTupleComparator cmp_tuple, Tuplesortstate *state';
-$EXTRAPARAMS = ', cmp_tuple, state';
-$CMPPARAMS   = ', state';
-emit_qsort_implementation();
-
-$SUFFIX      = 'ssup';
-$EXTRAARGS   = ', SortSupport ssup';
-$EXTRAPARAMS = ', ssup';
-$CMPPARAMS   = ', ssup';
-print <<'EOM';
-
-#define cmp_ssup(a, b, ssup) \
-   ApplySortComparator((a)->datum1, (a)->isnull1, \
-                       (b)->datum1, (b)->isnull1, ssup)
-
-EOM
-emit_qsort_implementation();
-
-sub emit_qsort_boilerplate
-{
-   print <<'EOM';
-/*
- * autogenerated by src/backend/utils/sort/gen_qsort_tuple.pl, do not edit!
- *
- * This file is included by tuplesort.c, rather than compiled separately.
- */
-
-/* $NetBSD: qsort.c,v 1.13 2003/08/07 16:43:42 agc Exp $   */
-
-/*-
- * Copyright (c) 1992, 1993
- * The Regents of the University of California.  All rights reserved.
- *
- * Redistribution and use in source and binary forms, with or without
- * modification, are permitted provided that the following conditions
- * are met:
- * 1. Redistributions of source code must retain the above copyright
- *   notice, this list of conditions and the following disclaimer.
- * 2. Redistributions in binary form must reproduce the above copyright
- *   notice, this list of conditions and the following disclaimer in the
- *   documentation and/or other materials provided with the distribution.
- * 3. Neither the name of the University nor the names of its contributors
- *   may be used to endorse or promote products derived from this software
- *   without specific prior written permission.
- *
- * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
- * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
- * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
- * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
- * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
- * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
- * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
- * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
- * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
- * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
- * SUCH DAMAGE.
- */
-
-/*
- * Qsort routine based on J. L. Bentley and M. D. McIlroy,
- * "Engineering a sort function",
- * Software--Practice and Experience 23 (1993) 1249-1265.
- *
- * We have modified their original by adding a check for already-sorted input,
- * which seems to be a win per discussions on pgsql-hackers around 2006-03-21.
- *
- * Also, we recurse on the smaller partition and iterate on the larger one,
- * which ensures we cannot recurse more than log(N) levels (since the
- * partition recursed to is surely no more than half of the input).  Bentley
- * and McIlroy explicitly rejected doing this on the grounds that it's "not
- * worth the effort", but we have seen crashes in the field due to stack
- * overrun, so that judgment seems wrong.
- */
-
-static void
-swapfunc(SortTuple *a, SortTuple *b, size_t n)
-{
-   do
-   {
-       SortTuple   t = *a;
-
-       *a++ = *b;
-       *b++ = t;
-   } while (--n > 0);
-}
-
-#define swap(a, b)                     \
-   do {                                \
-       SortTuple t = *(a);             \
-       *(a) = *(b);                    \
-       *(b) = t;                       \
-   } while (0)
-
-#define vecswap(a, b, n) if ((n) > 0) swapfunc(a, b, n)
-
-EOM
-
-   return;
-}
-
-sub emit_qsort_implementation
-{
-   print <<EOM;
-static SortTuple *
-med3_$SUFFIX(SortTuple *a, SortTuple *b, SortTuple *c$EXTRAARGS)
-{
-   return cmp_$SUFFIX(a, b$CMPPARAMS) < 0 ?
-       (cmp_$SUFFIX(b, c$CMPPARAMS) < 0 ? b :
-        (cmp_$SUFFIX(a, c$CMPPARAMS) < 0 ? c : a))
-       : (cmp_$SUFFIX(b, c$CMPPARAMS) > 0 ? b :
-          (cmp_$SUFFIX(a, c$CMPPARAMS) < 0 ? a : c));
-}
-
-static void
-qsort_$SUFFIX(SortTuple *a, size_t n$EXTRAARGS)
-{
-   SortTuple  *pa,
-              *pb,
-              *pc,
-              *pd,
-              *pl,
-              *pm,
-              *pn;
-   size_t      d1,
-               d2;
-   int         r,
-               presorted;
-
-loop:
-   CHECK_FOR_INTERRUPTS();
-   if (n < 7)
-   {
-       for (pm = a + 1; pm < a + n; pm++)
-           for (pl = pm; pl > a && cmp_$SUFFIX(pl - 1, pl$CMPPARAMS) > 0; pl--)
-               swap(pl, pl - 1);
-       return;
-   }
-   presorted = 1;
-   for (pm = a + 1; pm < a + n; pm++)
-   {
-       CHECK_FOR_INTERRUPTS();
-       if (cmp_$SUFFIX(pm - 1, pm$CMPPARAMS) > 0)
-       {
-           presorted = 0;
-           break;
-       }
-   }
-   if (presorted)
-       return;
-   pm = a + (n / 2);
-   if (n > 7)
-   {
-       pl = a;
-       pn = a + (n - 1);
-       if (n > 40)
-       {
-           size_t      d = (n / 8);
-
-           pl = med3_$SUFFIX(pl, pl + d, pl + 2 * d$EXTRAPARAMS);
-           pm = med3_$SUFFIX(pm - d, pm, pm + d$EXTRAPARAMS);
-           pn = med3_$SUFFIX(pn - 2 * d, pn - d, pn$EXTRAPARAMS);
-       }
-       pm = med3_$SUFFIX(pl, pm, pn$EXTRAPARAMS);
-   }
-   swap(a, pm);
-   pa = pb = a + 1;
-   pc = pd = a + (n - 1);
-   for (;;)
-   {
-       while (pb <= pc && (r = cmp_$SUFFIX(pb, a$CMPPARAMS)) <= 0)
-       {
-           if (r == 0)
-           {
-               swap(pa, pb);
-               pa++;
-           }
-           pb++;
-           CHECK_FOR_INTERRUPTS();
-       }
-       while (pb <= pc && (r = cmp_$SUFFIX(pc, a$CMPPARAMS)) >= 0)
-       {
-           if (r == 0)
-           {
-               swap(pc, pd);
-               pd--;
-           }
-           pc--;
-           CHECK_FOR_INTERRUPTS();
-       }
-       if (pb > pc)
-           break;
-       swap(pb, pc);
-       pb++;
-       pc--;
-   }
-   pn = a + n;
-   d1 = Min(pa - a, pb - pa);
-   vecswap(a, pb - d1, d1);
-   d1 = Min(pd - pc, pn - pd - 1);
-   vecswap(pb, pn - d1, d1);
-   d1 = pb - pa;
-   d2 = pd - pc;
-   if (d1 <= d2)
-   {
-       /* Recurse on left partition, then iterate on right partition */
-       if (d1 > 1)
-           qsort_$SUFFIX(a, d1$EXTRAPARAMS);
-       if (d2 > 1)
-       {
-           /* Iterate rather than recurse to save stack space */
-           /* qsort_$SUFFIX(pn - d2, d2$EXTRAPARAMS); */
-           a = pn - d2;
-           n = d2;
-           goto loop;
-       }
-   }
-   else
-   {
-       /* Recurse on right partition, then iterate on left partition */
-       if (d2 > 1)
-           qsort_$SUFFIX(pn - d2, d2$EXTRAPARAMS);
-       if (d1 > 1)
-       {
-           /* Iterate rather than recurse to save stack space */
-           /* qsort_$SUFFIX(a, d1$EXTRAPARAMS); */
-           n = d1;
-           goto loop;
-       }
-   }
-}
-EOM
-
-   return;
-}
index 7d0f96afb788244102ea7c88a685582f35eb929e..22972071ff0d07ebaf27c59cda57205e904050a6 100644 (file)
@@ -676,8 +676,27 @@ static void tuplesort_updatemax(Tuplesortstate *state);
  * reduces to ApplySortComparator(), that is single-key MinimalTuple sorts
  * and Datum sorts.
  */
-#include "qsort_tuple.c"
 
+#define ST_SORT qsort_tuple
+#define ST_ELEMENT_TYPE SortTuple
+#define ST_COMPARE_RUNTIME_POINTER
+#define ST_COMPARE_ARG_TYPE Tuplesortstate
+#define ST_CHECK_FOR_INTERRUPTS
+#define ST_SCOPE static
+#define ST_DECLARE
+#define ST_DEFINE
+#include "lib/sort_template.h"
+
+#define ST_SORT qsort_ssup
+#define ST_ELEMENT_TYPE SortTuple
+#define ST_COMPARE(a, b, ssup) \
+   ApplySortComparator((a)->datum1, (a)->isnull1, \
+                       (b)->datum1, (b)->isnull1, (ssup))
+#define ST_COMPARE_ARG_TYPE SortSupportData
+#define ST_CHECK_FOR_INTERRUPTS
+#define ST_SCOPE static
+#define ST_DEFINE
+#include "lib/sort_template.h"
 
 /*
  *     tuplesort_begin_xxx
index 2aa062b2c9ecbfe3d614b333542e7c84e19eae2c..69b08591ccd7c407afa4a69f1bf24d47707a9846 100644 (file)
@@ -665,16 +665,6 @@ sub GenerateFiles
        );
    }
 
-   if (IsNewer(
-           'src/backend/utils/sort/qsort_tuple.c',
-           'src/backend/utils/sort/gen_qsort_tuple.pl'))
-   {
-       print "Generating qsort_tuple.c...\n";
-       system(
-           'perl src/backend/utils/sort/gen_qsort_tuple.pl > src/backend/utils/sort/qsort_tuple.c'
-       );
-   }
-
    if (IsNewer('src/bin/psql/sql_help.h', 'src/bin/psql/create_help.pl'))
    {
        print "Generating sql_help.h...\n";
index d0d79a09325737883790ce665d1c8c7e3f6f1845..0cc91e7d6cf99c2e8d8170d5c15e2cb7cc19d62a 100755 (executable)
@@ -62,7 +62,6 @@ if %DIST%==1 if exist src\backend\storage\lmgr\lwlocknames.h del /q src\backend\
 if %DIST%==1 if exist src\pl\plpython\spiexceptions.h del /q src\pl\plpython\spiexceptions.h
 if %DIST%==1 if exist src\pl\plpgsql\src\plerrcodes.h del /q src\pl\plpgsql\src\plerrcodes.h
 if %DIST%==1 if exist src\pl\tcl\pltclerrcodes.h del /q src\pl\tcl\pltclerrcodes.h
-if %DIST%==1 if exist src\backend\utils\sort\qsort_tuple.c del /q src\backend\utils\sort\qsort_tuple.c
 if %DIST%==1 if exist src\bin\psql\sql_help.c del /q src\bin\psql\sql_help.c
 if %DIST%==1 if exist src\bin\psql\sql_help.h del /q src\bin\psql\sql_help.h
 if %DIST%==1 if exist src\common\kwlist_d.h del /q src\common\kwlist_d.h