Flush HTTP recording file

HTTP recording saves both requests and responses

Add support for CF data element "id".
Gets translated into pz:metadata[@type="id"].
May be needed for bug #4713, persistent identifiers.
(And will be useful even if we don't do that for EBSCO.)

Avoid work on bad metadata (0 prt ref)

Problem introduced in commit 9d9593.

Record id is leaded "content: " or "position: "

This is to indicate whether a record ID is based of the generated
mergekey (typically title and other) or depending on the result set
position.

Changes

sort: only skip "identical" records from same target

Document pz:sortmap

Honor block=1 for show when re-searching (sort)

Note that the condition for block=1 has changed. It will block if
any client has more records to be fetched. Previously: block if
no records at all have been fetched.

Update test results for sort test

Initial search may perform (relevance) sort

The increasing flag is now taken into consideration. The pz:sortmap
does not include sort spec flags anymore: just strategy:field .
More test results added. It is clear that the block flag is not
honored for show as it should: would like block=1 to wait until
first record comes in - after (re)search with different sort criteria.

More work on sorting

Session only searches once for each sort criteria. Each record is
matched against all records in cluster, to avoid duplicates.

Refactor how total hits are calculated

This is to ensure it doesn't get increased when we extend a search.

Show command may re-search for targets that support it

Rename client_get_url to client_get_id

struct database: rename member url to id

Use client_get_url rather than database->url

client_get_url is safer and more appropriate in client.c.

Remove prototype for undefined load_targets

Minor refactor WRT databases

Remove useless memset for database creation

Add test for chaning pz:url for target within a session

Refactor: host entries no longer part of database

Simplifies code and allows pz:url to be modified within a session for
some target.

Pazpar2 honors pz:url setting

Remove useless headers for database utilities

Remove useless comments

Remove unused setting pz:ip

Remove unused pz:option_recordfilter

Resolve host for database just before search

Postpone resolving of host for database till just befor search so
that we can take care of a setting to set the actual URL for
target rather than use database ID as before.

Simplify ZURL resolving and use regular getaddrinfo

Caching of DNS entries is done better by a local caching DNS or by libc.

Reformat

Minor refactor WRT settings parsing

Shouldn't change functionality.

Remove settings member from conf_service

Was not in use anywhere.

chdir may be defined in unistd.h

Update test_facets results due to different output

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Refactor Pazpar2 HTTP response writing code

Header and footer for successful responses is handled by a
command handler. This makes the formatting slightly different.
It also fixes the termlist response which did not include the
XML header before.

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Check for valid zquery

command=termlist without name parameter returns all termlists

Previously if name parameter was omitted, only "subject" was returned.

Document the OR operation for limit parameter

Depend on YAZ 4.2.17

Because of new function nmem_strsplit_escape2.

Implement limitmap OR. Bug #4675

This requires nmem_strsplit_escape2 from YAZ.

pazpar2 configure: needs YAZ 4.2.16

Version 1.6.3

News

Make termlist sorting stable

Terms with same frequency are now sorted by their display name.
This makes a pretty display and improves our regression test because
qsort is not a stable sort.

solr-pz2.xsl part of dist; used by test_solr

Reference to limitmap; spell fixes

Mention pz:limitmap ; not pz:facetmap

test_solr: update results for other SOLR server

make dist: include test_solr.{cfg,urls}

test_solr.sh: use ocs-test.indexdata.com/solr/

Is a public address.

test_solr.sh uses stable SOLR test server

test: proper header about what sh is using each cfg

local clean removes *.log *.dif

Add target url to missing limitmap warning

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

New special sort parameter value 'position'.

The 'position' sorts merged records by their original position
from the remote target. This is primarily useful for debugging and
may be used for targets that already perform some kind of relevance
ranking. Note that sort by default is decreasing; so to get records
in their original order sort=position:1 must be used.

Move declaration

Refactor code that extracts terms for relevance-ranking

Function pull_terms checks for max number of terms in termlist -
to prevent SEGV/exploit.

Remove dead code: TXML is not a transfer syntax

test facets uses version reported by yaz-client

rather than yaz-config which is only available in the YAZ
development package.

Version 1.6.2

doc: use xref id icuchain instead of icu_chain

The underscore in xref id breaks dblatex. Introducing the xreflabel
helps. See http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=492959

Facility to change working directory for daemon

Option -wdir sets working directory to dir.

tmarc.xsl: all 773$g to journal-subpart

Fix copyright sign

Version 1.6.1

Remove a few log stms

Document metadata attribute 'facetrule'

Rename metadata attribute icu_chain to facetrule

This is have the possiblity to override other than just facet
normalization per metadata field in the future.

Override id in icu_chain for relevance, sort, ..

Ignore the id attribute for the obsolete rules in relevance, sort,
mergekey, facet.

Reformat

Document new setting icu_chain for service/server

Reformat documentation for nxml mode.

Rename some charset functions

The _relevance_-name was relevant when charset system was only used
to normalize relevance terms, but is inappropriate when it's used to
normalize 4 different types of terms.

Preserve order for merged metadata

Fixes issue mentioned by Sven Porst
http://lists.indexdata.dk/pipermail/yazlist/2011-July/003230.html

Log if attribute id for icu_chain is missing

Init member database_hosts of conf_config

tmarc.xsl: set journal-subpart to 773$g only

Installed service/server uses new ICU chain definitions

Allow multiple ICU chains for facets

The charsets ICU interface can keep any number of identified
ICU chains where "relevance", "sort", "mergekey", and "facet" are
just the existing ones. The elements in server/service for
defining ICU chains relevance, sort, mergekey and facet are deprecated
and may be replaced by <icu_chain id="id" >..</icu_chain>.

ICU per metadata element (icu_chain attribute)

Refactor metadata config parsing

Avoid memory leaks and throw diagnostic for unknown metadata attribute.

Remove section with unused declarations

ICU chain "facet" honors YAC ICU element <display/>.

Display term and normalized term is now saved per facet.

Version 1.6.0

Describe pz:limitmap

Add pz:metadata type pages-number

Because this is now generated in tmarc.xsl (773$g).

tmarc.xsl: get components out of 773$g.

The following pz:metadata elements are generated: volume-number,
issue-number, pages-number. Bug #4572.

Remove unused named templates

Trim whitespace and comma for ,-list for field 600

Fixes bug #4594.

pz:limitmap now in use

pz:limitmap[name] is used as query translation when applying
limit parameter for search. Previously, pz:facetmap was used.
pz:limitmap[name] can have one of two forms (types). The leading
type is followed immedately by colon then by form specific name.
For type "ccl:" the value is an existing cclmap.  Example:
limitmap[author]="ccl:au", which could work for many existing Z39.50
targets. For type "rpn:" the value is PQF verbatim. Example:
limitmap[author]="rpn:@attr 1=1003 @attr 6=3" (author, complete field).

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Fix deadlock on wrongly parsed limit parameter

Attaches item id to loan period

Move to mk2-config-dbc

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Mention limit parameter

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2