Improve sweep away of stale recovery procs, tune prune unobservedxids and use some more informative debug messages.

Merge branch 'recoveryinfra' into dev_hot_standby

Conflicts:

src/backend/access/transam/xlog.c
src/backend/postmaster/postmaster.c
src/include/access/xlog.h

Further changes to replace IsRecoveryProcessingMode() with RecoveryInProgress().

Put back a "continue" that went missing in the changes to start background
writer in WAL recovery.

Minor comment update.

Clear FatalError when we start up. Comment enhancements

Revert some accidental DEBUG message changes

comment fixes.

Merge commit 'origin/master' into recoveryinfra

Conflicts:

src/backend/access/transam/xlog.c
src/backend/postmaster/postmaster.c
src/include/storage/pmsignal.h

Add note that inlined SQL functions aren't tracked by track_functions.

Remove PMSIGNAL_RECOVERY_COMPLETED signal, and use 0 exit status to signal
successful completion of recovery instead.

Refactor, so that the system isn't opened for business until startup process
has died.

another small message tweak

Reconnect to the right database when using parallel restore with -C. Fixes bug reported by Olivier Prenant

Simplify overcomplicated (and overly restrictive) test to see whether an
IS NULL condition is rendered redundant by detection of an antijoin.
If we know that a join is an antijoin, then *any* Var coming out of its
righthand side must be NULL, not only the joining column(s).  Also,
it's still gonna be null after being passed up through higher joins,
whether they're outer joins or not.  I was misled by a faulty analogy
to reduce_outer_joins() in the original coding.  But consider

select * from a left join b on a.x = b.y where b.y is null and b.z is null;

The first IS NULL condition justifies deciding that the join is an antijoin
(if the = is strict) and then the second one is just plain redundant.

Improve comments about semijoin implementation strategy, per a question
from Robert Haas.

Fix bogus comment, from the patch to start bgwriter during archive
recovery.

Wordsmithing for PL/Perl messages

Add an implicit rule %.c -> %.i for running the C preprocessor.

I occasionally use this for debugging, and it seems wasteful to have to
reinvent this all the time.

Remove croak and Perl_croak from gettext triggers.  While we could
selectively mark up their arguments for translation, the Perl xsubpp tool
generates a bunch of additional Perl_croak calls that we cannot control,
so we'd be creating a confusing mix of translated and untranslated messages
of a similar kind.  This is something that might deserve a more
comprehensive solution later.

Also remove _ from gettext triggers, because it wasn't used.

Use SPI.c instead of SPI.xs as source file for xgettext, because the .xs
format isn't really supported in xgettext.

Increase NUM_AUXILIARY_PROCS, now that the startup process can co-exist
with other auxiliary processes for a short period. As witnessed by
buildfarm member dungbeetle.

Refactored the latestObservedXid code into procarray, since we had code in two separate places doing roughly the same thing. That had caused an error of omission, so refactoring this makes sense. Add an assert to ensure that the local hash table is always correct.

Some additional debug changes, plus some comments and variable names changes for clarity.

Remove the special cases to prevent minus-zero results in float4 and float8
unary minus operators.  We weren't attempting to prevent minus zero anywhere
else; in view of our gradual trend to make the float datatypes more IEEE
standard compliant, we should allow minus zero here rather than disallow it
elsewhere.

We don't, however, expect that all platforms will produce minus zero, so
we need to adjust the one affected regression test to allow both results.

Per discussion of bug #4660.

(In passing, clean up a couple other minor infelicities in float.c.)

Merge commit 'pgsql/master' into dev_hot_standby

Reimplement some changes from prior to refactoring. The code was undocumented, so I removed it to ensure we didn't have bogus processing in there. It is now back, correct and documented. These related to handling of unobserved xid processing for subtransactions on abort and commit, when those subtransactions were the latest arrived xids. Rarely occurring code, typically 1-2 times per make installcheck.

Also fix problem with redo debug messages not being displayed correctly.

Also replace tests for prepared transactions.

Start background writer during archive recovery. Background writer now performs
its usual buffer cleaning duties during archive recovery, and it's responsible
for performing restartpoints.

This requires some changes in postmaster. When the startup process has done
all the initialization and is ready to start WAL redo, it signals the
postmaster to launch the background writer. The postmaster is signaled again
when the point in recovery is reached where we know that the database is in
consistent state. Postmaster isn't interested in that at the moment, but
that's the point where we could let other backends in to perform read-only
queries. The postmaster is signaled third time when the recovery has ended,
so that postmaster knows that it's safe to start accepting connections.

The startup process now traps SIGTERM, and performs a "clean" shutdown. If
you do a fast shutdown during recovery, a shutdown restartpoint is performed,
like a shutdown checkpoint, and postmaster kills the processes cleanly. You
still have to continue the recovery at next startup, though.

Currently, the background writer is only launched during archive recovery.
We could launch it during crash recovery as well, but it seems better to keep
that codepath as simple as possible, for the sake of robustness. And it
couldn't do any restartpoints during crash recovery anyway, so it wouldn't be
that useful.

log_restartpoints is gone. Use log_checkpoints instead. This is yet to be
documented.

This whole operation is a pre-requisite for Hot Standby, but has some value of
its own whether the hot standby patch makes 8.4 or not.

Simon Riggs, with lots of modifications by me.

Replace two remaining calls of IsRecoveryProcessingMode() with
RecoveryInProgress().

Comment fixes. Don't try to skip AbsorbFsyncRequests in bgwriter when in
recovery. We do it elsewhere anyway, and it's a very inexpensive call.

Re-allow connections and avoid running InitXLogAccess() during backend startup in recovery. Fallout from earlier refactoring...

Move DEBUG2 message inside if section, per Simon's suggestion.

Rename IsRecoveryProcessingMode -> RecoveryInProgress, to avoid confusion
with the actual "processing modes", like BootstrapProcessingMode.

Minor tweaks

Add --freeze option to vacuumdb.

Have pg_dump/pg_dumpall --binary-upgrade restore frozenids for relations
and databases.

Message wordsmithing

Move check if (shutdown_requested) inside recoveryStopsHere() so that it occurs immediately after CHECK_FOR_INTERRUPTS. This also allows startup process to shutdown correctly when recovery is paused.

Prepared transaction support. Plus further bug fix for recovery_starts_paused.

Merge commit 'origin/master' into recoveryinfra

Remove BgWriterRecoveryProcessingMode, in favor of a local variable
just where we decide whether to perform a checkpoint or restartpoint.

Add missing newline.

Bug fix for recovery_starts_paused option

Add pg_recovery_pause_lsn()

Fix XLOG_DEBUG per report by Bernd Helmle

Merge commit 'origin/recoveryinfra' into dev_hot_standby

Removed more debug code

Merge commit 'origin/master' into recoveryinfra

Minor cleanups, remove some debug code

Bug fixes: fix Assert failure from Heikki's latest changes, plus missing call to AbsorbFsyncRequests() which seems to have gone missing during merge edits.

Add pg_dump --binary-upgrade flag to be used by binary upgrade
utilities.

The new code allows transfer of dropped column information to the
upgraded server.

Merge commit 'origin/recoveryinfra' into dev_hot_standby

Conflicts:

src/backend/access/transam/xlog.c
src/backend/postmaster/bgwriter.c
src/backend/postmaster/postmaster.c
src/include/catalog/pg_control.h
src/include/postmaster/bgwriter.h

Possibly some issues with XLogCtl overlaps

Add unobserved xids onto xip array of snapshots, increase size of snapshots while IsRecoveryProcessingMode(). Revert optimization of pg_subtrans updates to be looked at another time.

Add _() calls for the argument of plpgsql_yyerror() so it actually gets
translated somehow.

Add plpgsql_yyerror to gettext triggers

Mark 3rd argument of validate_tupdesc_compat() for translation, instead of
marking up each instance separately.

Redefine _() to dgettext() instead of gettext() so that it uses the plpgsql
text domain, instead of the postgres one (or whatever the default may be).

Remove gettext trigger write_stderr(), which isn't used by PLs.

Wrap some long queries.

Uppercase keywords in pg_dump.c

Teach the planner to treat a partial unique index as proving a variable is
unique for a particular query, if the index predicate is satisfied.  This
requires a bit of reordering of operations so that we check the predicates
before doing any selectivity estimates, but shouldn't really cause any
noticeable slowdown.  Per a comment from Michal Politowski.

Minor wordsmithing.

Loop calling CallNamedPipe() several times in case it fails,
since it can be transient failures, causing kill() to not
properly send signals.

Original patch from Steve Marshall, modified by me.

A couple of marginal performance hacks for the information_schema views:
replace the old recursive-SQL-function implementation of _pg_keysequal()
with use of the built-in array containment operators, and change
table_constraints' UNION to UNION ALL.  Per discussion with Octavio Alvarez.

initdb not forced since this doesn't affect results, but you'd need to
initdb or reload the information_schema to see the new definitions.

Fix UNLISTEN to fall out quickly if the current backend has never executed
any LISTEN command.  This is more important than it used to be because
DISCARD ALL invokes UNLISTEN.  Connection-pooled applications making heavy
use of DISCARD ALL were seeing significant contention for pg_listener,
as reported by Matteo Beccati.  It seems unlikely that clients using LISTEN
would use pooled connections, so this simple tweak seems sufficient,
especially since the pg_listener implementation is slated to go away soon
anyway.

Back-patch to 8.3, where DISCARD ALL was introduced.

do not use unsetenv.c on mingw

The Czech (cs_CZ) and Slovak (sk_SK) locales sort numbers after letters,
instead of vice versa.  Update the regression test expectations to support
that.  In the plpgsql test, adjust the test data so that this isn't an
issue.  In the char and varchar tests, add new expected files.

Unset language-related locale settings in any case, otherwise psql will
speak in tongues and mess up the regression test diffs.

Remove tabs from SGML.

Don't call SetEnvironmentVariable() when removing an environment variable,
as this seems to crash on at least some versions of MingW. Our current usage
of this function does not require it, so it should be ok to ignore.

Reversed out last changes, start again for prepared transactions

further changes for prepared transactions

Change ALTER TABLE SET WITHOUT OIDS to rewrite the whole table to physically
get rid of the OID column.  This eliminates the problem discovered by Heikki
back in November that 8.4's suppression of "unnecessary" junk filtering in
INSERT/SELECT could lead to an Assert failure, or storing of oids into a table
that shouldn't have them if Asserts are off.  While that particular problem
could have been solved in other ways, it seems likely to be just a forerunner
of things to come if we continue to allow tables to contain rows that disagree
with the pg_class.relhasoids setting.  It's better to make this operation slow
than to sacrifice performance or risk bugs in more common code paths.

Also, add ALTER TABLE SET WITH OIDS to rewrite the table to add oids.
This was a bit more controversial, but in view of the very small amount of
extra code needed given the current ALTER TABLE infrastructure, it seems best
to eliminate the asymmetry in features.

Tweak configure to attempt to add -qnoansialias to CFLAGS whenever running
on AIX with a non-gcc compiler.  The previous coding would do this only if
CC was exactly "xlc"; which is a bad idea, as demonstrated by trouble report
from Mihai Criveti.

Improve psql \d+ to show TOAST reloptions too.  Per complaint from
ITAGAKI Takahiro.

Only unset the locale environment when --no-locale is used (the way it was
presumably designed, but didn't act).  This allows running the temp install
tests in a non-C locale, thus exercising users' real environments better.
Document how to change locales for test runs.

Clarify PQinitSSL() documentation to mention what the argument controls.

Support for KOI8U encoding

Remove the encoding *numbers* from the comments.  They are useless, and
make maintenance harder.

Add possibility to generate only some files, by passing command-line
arguments.

Update wording of how to prevent pg_dump from affecting statistics
collection.

Adopt Bob Jenkins' improved hash function for hash_any().  This changes the
contents of hash indexes (again), so bump catversion.

Kenneth Marshall

Update autovacuum to use reloptions instead of a system catalog, for
per-table overrides of parameters.

This removes a whole class of problems related to misusing the catalog,
and perhaps more importantly, gives us pg_dump support for the parameters.

Based on a patch by Euler Taveira de Oliveira, heavily reworked by me.

Comment and error/debug message enhancements

Fix spelling error in docs.

Erik Rijkers

Add IsRecoveryProcessingMode() quick exits to XLogNeedsFlush,
XLogAsyncCommitFlush and XLogBackgroundFlush. Fix restore command
invocation so that fast shutdown requests are not lost. Update
minRecoveryPoint in CreateRestartPoint when we can't create a
restart point.

If a restartpoint is in progress at end of recovery, hurry it.

If bgwriter skips a restartpoint because we haven't seen any new checkpoint
records since last restartpoint, try again in 15 s, instead of
checkpoint_timeout. Plus some comment changes

Ensure that INSERT ... SELECT into a table with OIDs never copies row OIDs
from the source table.  This could never happen anyway before 8.4 because
the executor invariably applied a "junk filter" to rows due to be inserted;
but now that we skip doing that when it's not necessary, the case can occur.
Problem noted 2008-11-27 by KaiGai Kohei, though I misunderstood what he
was on about at the time (the opacity of the patch he proposed didn't help).

Document that LIMIT NULL is the same as no LIMIT clause.

Remove documentation mention that hash indexes perform no better than
btree;  keep mention about missing WAL logging.

Kenneth Marshall

Uppercase CHECK mention in relchecks documentation mention.

ecpg requires libpq;  add Makefile rules to require libpq to be built
first.

Alvaro Herrera

Properly wrap new pg_dump doc text.

Update pg_constraint.conkey documentation description.

Document disabling the statistics collector pg_dump activity, and give a
bit more visibility to the PGOPTIONS environment variable supported by
libpq.

Bryce Nesbitt

Fix to_timestamp() to not require upper/lower case matching for meridian
designations (AM/PM).  Also separate out matching of a meridian with
periods (e.g. A.M.) and with those without.

Do the same for AD/BC.

Brendan Jurd

Fix obsolete comment. Zdenek Kotala

Set column privileges to supported

Fix cost_mergejoin's failure to adjust for rescanning of non-unique merge join
keys when considering a semi or anti join.  This requires estimating the
selectivity of the merge qual as though it were a regular inner join condition.
To allow caching both that and the real outer-join-aware selectivity, split
RestrictInfo.this_selec into two fields.

This fixes one of the problems reported by Kevin Grittner.

Ooops, forgot to update COPY reference page to mention column privileges.

Clean up some loose ends from the column privileges patch: add
has_column_privilege and has_any_column_privilege SQL functions; fix the
information_schema views that are supposed to pay attention to column
privileges; adjust pg_stats to show stats for any column you have select
privilege on; and fix COPY to allow copying a subset of columns if the user
has suitable per-column privileges for all the columns.

To improve efficiency of some of the information_schema views, extend the
has_xxx_privilege functions to allow inquiring about the OR of a set of
privileges in just one call.  This is just exposing capability that already
existed in the underlying aclcheck routines.

In passing, make the information_schema views report the owner's own
privileges as being grantable, since Postgres assumes this even when the grant
option bit is not set in the ACL.  This is a longstanding oversight.

Also, make the new has_xxx_privilege functions for foreign data objects follow
the same coding conventions used by the older ones.

Stephen Frost and Tom Lane