Partially fixes bug #2273: Searching edu targets does not work.
[pazpar2-moved-to-github.git] / src / connection.c
1 /* This file is part of Pazpar2.
2    Copyright (C) 2006-2008 Index Data
3
4 Pazpar2 is free software; you can redistribute it and/or modify it under
5 the terms of the GNU General Public License as published by the Free
6 Software Foundation; either version 2, or (at your option) any later
7 version.
8
9 Pazpar2 is distributed in the hope that it will be useful, but WITHOUT ANY
10 WARRANTY; without even the implied warranty of MERCHANTABILITY or
11 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
12 for more details.
13
14 You should have received a copy of the GNU General Public License
15 along with this program; if not, write to the Free Software
16 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17
18 */
19
20 /** \file connection.c
21     \brief Z39.50 connection (low-level client)
22 */
23
24 #if HAVE_CONFIG_H
25 #include <config.h>
26 #endif
27
28 #include <stdlib.h>
29 #include <stdio.h>
30 #include <string.h>
31 #if HAVE_SYS_TIME_H
32 #include <sys/time.h>
33 #endif
34 #if HAVE_UNISTD_H
35 #include <unistd.h>
36 #endif
37 #if HAVE_SYS_SOCKET_H
38 #include <sys/socket.h>
39 #endif
40 #ifdef WIN32
41 #include <winsock.h>
42 typedef int socklen_t;
43 #endif
44 #if HAVE_NETDB_H
45 #include <netdb.h>
46 #endif
47
48 #include <signal.h>
49 #include <ctype.h>
50 #include <assert.h>
51
52 #include <yaz/log.h>
53 #include <yaz/comstack.h>
54 #include <yaz/tcpip.h>
55 #include "connection.h"
56 #include "eventl.h"
57 #include "pazpar2.h"
58 #include "host.h"
59 #include "client.h"
60 #include "settings.h"
61 #include "parameters.h"
62
63
64 /** \brief Represents a physical, reusable  connection to a remote Z39.50 host
65  */
66 struct connection {
67     IOCHAN iochan;
68     ZOOM_connection link;
69     ZOOM_resultset resultset;
70     struct host *host;
71     struct client *client;
72     char *ibuf;
73     int ibufsize;
74     char *zproxy;
75     enum {
76         Conn_Resolving,
77         Conn_Connecting,
78         Conn_Open
79     } state;
80     struct connection *next; // next for same host or next in free list
81 };
82
83 static struct connection *connection_freelist = 0;
84
85 static int connection_connect(struct connection *con);
86
87 static int connection_is_idle(struct connection *co)
88 {
89     ZOOM_connection link = co->link;
90     int event;
91
92     if (co->state != Conn_Open || !link)
93         return 0;
94
95     event = ZOOM_connection_peek_event(link);
96     if (event == ZOOM_EVENT_NONE ||
97                 event == ZOOM_EVENT_END)
98         return 1;
99     else
100         return 0;
101 }
102
103 ZOOM_connection connection_get_link(struct connection *co)
104 {
105     return co->link;
106 }
107
108 ZOOM_resultset connection_get_resultset(struct connection *co)
109 {
110     return co->resultset;
111 }
112
113 void connection_set_resultset(struct connection *co, ZOOM_resultset rs)
114 {
115     if (co->resultset)
116         ZOOM_resultset_destroy(co->resultset);
117     co->resultset = rs;
118 }
119
120 static void remove_connection_from_host(struct connection *con)
121 {
122     struct connection **conp = &con->host->connections;
123     assert(con);
124     while (*conp)
125     {
126         if (*conp == con)
127         {
128             *conp = (*conp)->next;
129             return;
130         }
131         conp = &(*conp)->next;
132     }
133     assert(*conp == 0);
134 }
135
136 void connection_continue(struct connection *co)
137 {
138     yaz_log(YLOG_LOG, "connection_continue");
139     iochan_setevent(co->iochan, EVENT_OUTPUT);
140 }
141
142 // Close connection and recycle structure
143 void connection_destroy(struct connection *co)
144 {
145     if (co->link)
146     {
147         ZOOM_connection_destroy(co->link);
148         iochan_destroy(co->iochan);
149     }
150     if (co->resultset)
151         ZOOM_resultset_destroy(co->resultset);
152
153     yaz_log(YLOG_DEBUG, "Connection destroy %s", co->host->hostport);
154
155     remove_connection_from_host(co);
156     if (co->client)
157     {
158         client_disconnect(co->client);
159     }
160     xfree(co->zproxy);
161     co->zproxy = 0;
162     co->next = connection_freelist;
163     connection_freelist = co;
164 }
165
166 // Creates a new connection for client, associated with the host of 
167 // client's database
168 static struct connection *connection_create(struct client *cl)
169 {
170     struct connection *new;
171     struct host *host = client_get_host(cl);
172
173     if ((new = connection_freelist))
174         connection_freelist = new->next;
175     else
176     {
177         new = xmalloc(sizeof (struct connection));
178         new->ibuf = 0;
179         new->ibufsize = 0;
180     }
181     new->host = host;
182     new->next = new->host->connections;
183     new->host->connections = new;
184     new->client = cl;
185     new->zproxy = 0;
186     client_set_connection(cl, new);
187     new->link = 0;
188     new->resultset = 0;
189     new->state = Conn_Resolving;
190     if (host->ipport)
191         connection_connect(new);
192     return new;
193 }
194
195 static void non_block_events(struct connection *co, IOCHAN iochan)
196 {
197     struct client *cl = co->client;
198     ZOOM_connection link = co->link;
199     while (1)
200     {
201         int ev;
202         int r = ZOOM_event_nonblock(1, &link);
203         if (!r)
204             break;
205         ev = ZOOM_connection_last_event(link);
206         switch (ev) 
207         {
208         case ZOOM_EVENT_END:
209             client_set_state(co->client, Client_Idle);
210             break;
211         case ZOOM_EVENT_SEND_DATA:
212             break;
213         case ZOOM_EVENT_RECV_DATA:
214             break;
215         case ZOOM_EVENT_UNKNOWN:
216             break;
217         case ZOOM_EVENT_SEND_APDU:
218             client_set_state(co->client, Client_Working);
219             break;
220         case ZOOM_EVENT_RECV_APDU:
221             break;
222         case ZOOM_EVENT_CONNECT:
223             yaz_log(YLOG_LOG, "Connected to %s", client_get_url(cl));
224             co->state = Conn_Open;
225             client_set_state(co->client, Client_Connected);
226             iochan_settimeout(iochan, global_parameters.z3950_session_timeout);
227             break;
228         case ZOOM_EVENT_RECV_SEARCH:
229             yaz_log(YLOG_LOG, "Search response from %s", client_get_url(cl));
230             client_search_response(cl);
231             break;
232         case ZOOM_EVENT_RECV_RECORD:
233             yaz_log(YLOG_LOG, "Record from %s", client_get_url(cl));
234             client_record_response(cl);
235             break;
236         default:
237             yaz_log(YLOG_LOG, "Unhandled event (%d) from %s",
238                     ev, client_get_url(cl));
239         }
240     }
241 }
242
243 static void connection_handler(IOCHAN iochan, int event)
244 {
245     struct connection *co = iochan_getdata(iochan);
246     struct client *cl = co->client;
247     struct session *se = 0;
248
249     if (cl)
250         se = client_get_session(cl);
251     else
252     {
253         connection_destroy(co);
254         return;
255     }
256
257     if (event & EVENT_TIMEOUT)
258     {
259         if (co->state == Conn_Connecting)
260         {
261             yaz_log(YLOG_WARN,  "connect timeout %s", client_get_url(cl));
262             client_fatal(cl);
263         }
264         else
265         {
266             yaz_log(YLOG_LOG,  "idle timeout %s", client_get_url(cl));
267             connection_destroy(co);
268         }
269     }
270     else
271     {
272         non_block_events(co, iochan);
273
274         ZOOM_connection_fire_event_socket(co->link, event);
275         
276         non_block_events(co, iochan);
277     }
278 }
279
280
281 // Disassociate connection from client
282 void connection_release(struct connection *co)
283 {
284     struct client *cl = co->client;
285
286     yaz_log(YLOG_DEBUG, "Connection release %s", co->host->hostport);
287     if (!cl)
288         return;
289     client_set_connection(cl, 0);
290     co->client = 0;
291 }
292
293 void connect_resolver_host(struct host *host)
294 {
295     struct connection *con = host->connections;
296     while (con)
297     {
298         if (con->state == Conn_Resolving)
299         {
300             if (!host->ipport) /* unresolved */
301             {
302                 connection_destroy(con);
303                 /* start all over .. at some point it will be NULL */
304                 con = host->connections;
305                 continue;
306             }
307             else if (!con->client)
308             {
309                 connection_destroy(con);
310                 /* start all over .. at some point it will be NULL */
311                 con = host->connections;
312                 continue;
313             }
314             else
315             {
316                 connection_connect(con);
317                 client_start_search(con->client);
318             }
319         }
320         else
321         {
322             yaz_log(YLOG_LOG, "connect_resolver_host: state=%d", con->state);
323         }
324         con = con->next;
325     }
326 }
327
328 static struct host *connection_get_host(struct connection *con)
329 {
330     return con->host;
331 }
332
333 // Callback for use by event loop
334 // We do this because ZOOM connections don't always have (the same) sockets
335 static int socketfun(IOCHAN c)
336 {
337     struct connection *co = iochan_getdata(c);
338     if (!co->link)
339         return -1;
340     return ZOOM_connection_get_socket(co->link);
341 }
342
343 // Because ZOOM always knows what events it is interested in; we may not
344 static int maskfun(IOCHAN c)
345 {
346     struct connection *co = iochan_getdata(c);
347     if (!co->link)
348         return 0;
349
350     // This is cheating a little, and assuming that eventl mask IDs are always
351     // the same as ZOOM-C's.
352     return ZOOM_connection_get_mask(co->link);
353 }
354
355 static int connection_connect(struct connection *con)
356 {
357     ZOOM_connection link = 0;
358     struct host *host = connection_get_host(con);
359     ZOOM_options zoptions = ZOOM_options_create();
360     const char *auth;
361     const char *sru;
362     const char *sru_version = 0;
363     char ipport[512] = "";
364
365     struct session_database *sdb = client_get_database(con->client);
366     const char *zproxy = session_setting_oneval(sdb, PZ_ZPROXY);
367     const char *apdulog = session_setting_oneval(sdb, PZ_APDULOG);
368
369     assert(host->ipport);
370     assert(con);
371
372     ZOOM_options_set(zoptions, "async", "1");
373     ZOOM_options_set(zoptions, "implementationName",
374             global_parameters.implementationName);
375     ZOOM_options_set(zoptions, "implementationVersion",
376             global_parameters.implementationVersion);
377     if (zproxy && *zproxy)
378     {
379         con->zproxy = xstrdup(zproxy);
380         ZOOM_options_set(zoptions, "proxy", zproxy);
381     }
382     if (apdulog && *apdulog)
383         ZOOM_options_set(zoptions, "apdulog", apdulog);
384
385     if ((auth = session_setting_oneval(sdb, PZ_AUTHENTICATION)))
386         ZOOM_options_set(zoptions, "user", auth);
387     if ((sru = session_setting_oneval(sdb, PZ_SRU)) && *sru)
388         ZOOM_options_set(zoptions, "sru", sru);
389     if ((sru_version = session_setting_oneval(sdb, PZ_SRU_VERSION)) 
390         && *sru_version)
391         ZOOM_options_set(zoptions, "sru_version", sru_version);
392
393     if (!(link = ZOOM_connection_create(zoptions)))
394     {
395         yaz_log(YLOG_FATAL|YLOG_ERRNO, "Failed to create ZOOM Connection");
396         ZOOM_options_destroy(zoptions);
397         return -1;
398     }
399
400     if (sru && *sru)
401         strcpy(ipport, "http://");
402     strcat(ipport, host->ipport);
403     /* deal with SRU path here because databaseName option is not read in
404        ZOOM in SRU mode */
405     if (sru && *sru)
406     {
407         if (*sdb->database->databases[0])
408         {
409             strcat(ipport, "/");
410             strcat(ipport, sdb->database->databases[0]);
411         }
412     }
413     ZOOM_connection_connect(link, ipport, 0);
414     
415     con->link = link;
416     con->iochan = iochan_create(0, connection_handler, 0);
417     con->state = Conn_Connecting;
418     iochan_settimeout(con->iochan, global_parameters.z3950_connect_timeout);
419     iochan_setdata(con->iochan, con);
420     iochan_setsocketfun(con->iochan, socketfun);
421     iochan_setmaskfun(con->iochan, maskfun);
422     pazpar2_add_channel(con->iochan);
423
424     /* this fragment is bad DRY: from client_prep_connection */
425     client_set_state(con->client, Client_Connecting);
426     ZOOM_options_destroy(zoptions);
427     // This creates the connection
428     ZOOM_connection_process(link);
429     return 0;
430 }
431
432 const char *connection_get_url(struct connection *co)
433 {
434     return client_get_url(co->client);
435 }
436
437 // Ensure that client has a connection associated
438 int client_prep_connection(struct client *cl)
439 {
440     struct connection *co;
441     struct session *se = client_get_session(cl);
442     struct host *host = client_get_host(cl);
443     struct session_database *sdb = client_get_database(cl);
444     const char *zproxy = session_setting_oneval(sdb, PZ_ZPROXY);
445
446     if (zproxy && zproxy[0] == '\0')
447         zproxy = 0;
448
449     co = client_get_connection(cl);
450
451     yaz_log(YLOG_DEBUG, "Client prep %s", client_get_url(cl));
452
453     if (!co)
454     {
455         // See if someone else has an idle connection
456         // We should look at timestamps here to select the longest-idle connection
457         for (co = host->connections; co; co = co->next)
458             if (connection_is_idle(co) &&
459                 (!co->client || client_get_session(co->client) != se) &&
460                 !strcmp(ZOOM_connection_option_get(co->link, "user"),
461                         session_setting_oneval(client_get_database(cl),
462                                                PZ_AUTHENTICATION)))
463             {
464                 if (zproxy == 0 && co->zproxy == 0)
465                     break;
466                 if (zproxy && co->zproxy && !strcmp(zproxy, co->zproxy))
467                     break;
468             }
469         if (co)
470         {
471             connection_release(co);
472             client_set_connection(cl, co);
473             co->client = cl;
474         }
475         else
476             co = connection_create(cl);
477     }
478
479     if (co && co->link)
480         return 1;
481     else
482         return 0;
483 }
484
485 /*
486  * Local variables:
487  * c-basic-offset: 4
488  * indent-tabs-mode: nil
489  * End:
490  * vim: shiftwidth=4 tabstop=8 expandtab
491  */