Use general UTF-8 conversion in libutf8 for to_internal.
[gedcom-parse.git] / gedcom / multilex.c
1 /* The lexer multiplexer for Gedcom.
2    Copyright (C) 2001,2002 The Genes Development Team
3    This file is part of the Gedcom parser library.
4    Contributed by Peter Verthez <Peter.Verthez@advalvas.be>, 2001.
5
6    The Gedcom parser library is free software; you can redistribute it
7    and/or modify it under the terms of the GNU Lesser General Public
8    License as published by the Free Software Foundation; either
9    version 2.1 of the License, or (at your option) any later version.
10
11    The Gedcom parser library is distributed in the hope that it will be
12    useful, but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14    Lesser General Public License for more details.
15
16    You should have received a copy of the GNU Lesser General Public
17    License along with the Gedcom parser library; if not, write to the
18    Free Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
19    02111-1307 USA.  */
20
21 /* $Id$ */
22 /* $Name$ */
23
24 #include "gedcom_internal.h"
25 #include "multilex.h"
26 #include "encoding.h"
27 #include "xref.h"
28
29 int line_no = 0;
30
31 typedef int (*lex_func)(void);
32 lex_func lf;
33
34 #define NEW_MODEL_FILE "new.ged"
35
36 int lexer_init(ENCODING enc, FILE* f)
37 {
38   if (enc == ONE_BYTE) {
39     lf  = &gedcom_1byte_lex;
40     gedcom_1byte_myinit(f);
41     set_encoding_width(enc);
42     return open_conv_to_internal("ASCII");
43   }
44   else if (enc == TWO_BYTE_HILO) {
45     lf  = &gedcom_hilo_lex;
46     gedcom_hilo_myinit(f);
47     set_encoding_width(enc);
48     return open_conv_to_internal("UNICODE");
49   }
50   else if (enc == TWO_BYTE_LOHI) {
51     lf  = &gedcom_lohi_lex;
52     gedcom_lohi_myinit(f);
53     set_encoding_width(enc);
54     return open_conv_to_internal("UNICODE");
55   }
56   else {
57     return 0;
58   }
59 }
60
61 void lexer_close()
62 {
63   close_conv_to_internal();
64 }
65
66 int gedcom_lex()
67 {
68   return (*lf)();
69 }
70
71 int determine_encoding(FILE* f)
72 {
73   char first[2];
74   int read;
75
76   read = fread(first, 1, 2, f);
77   if (read != 2) {
78     gedcom_warning(_("Error reading from input file: %s"), strerror(errno));
79     return ONE_BYTE;
80   }
81   else if ((first[0] == '0') && (first[1] == ' ')) {
82     gedcom_debug_print(_("One-byte encoding"));
83     if (fseek(f, 0, 0) != 0)
84       gedcom_warning(_("Error positioning input file: %s"), strerror(errno));
85     return ONE_BYTE;
86   }
87   else if ((first[0] == '\0') && (first[1] == '0'))
88   {
89     gedcom_debug_print(_("Two-byte encoding, high-low"));
90     if (fseek(f, 0, 0) != 0)
91       gedcom_warning(_("Error positioning input file: %s"), strerror(errno));
92     return TWO_BYTE_HILO;
93   }
94   else if ((first[0] == '\xFE') && (first[1] == '\xFF'))
95   {
96     gedcom_debug_print(_("Two-byte encoding, high-low, with BOM"));
97     return TWO_BYTE_HILO;
98   }
99   else if ((first[0] == '0') && (first[1] == '\0'))
100   {
101     gedcom_debug_print(_("Two-byte encoding, low-high"));
102     if (fseek(f, 0, 0) != 0)
103       gedcom_warning(_("Error positioning input file: %s"), strerror(errno));
104     return TWO_BYTE_LOHI;
105   }
106   else if ((first[0] == '\xFF') && (first[1] == '\xFE'))
107   {
108     gedcom_debug_print(_("Two-byte encoding, low-high, with BOM"));
109     return TWO_BYTE_LOHI;
110   }
111   else {
112     gedcom_warning(_("Unknown encoding, falling back to one-byte"));
113     if (fseek(f, 0, 0) != 0)
114       gedcom_warning(_("Error positioning input file: %s"), strerror(errno));
115     return ONE_BYTE;
116   }
117 }
118
119 int init_called = 0;
120
121 int gedcom_init()
122 {
123   init_called = 1;
124   update_gconv_search_path();
125   if (!setlocale(LC_ALL, "")
126       || ! bindtextdomain(PACKAGE, LOCALEDIR)
127       || ! bind_textdomain_codeset(PACKAGE, INTERNAL_ENCODING))
128     return 1;
129   else
130     return 0;
131 }
132
133 int gedcom_parse_file(const char* file_name)
134 {
135   ENCODING enc;
136   int result = 1;
137   FILE* file;
138
139   if (!init_called) {
140     gedcom_error(_("Internal error: GEDCOM parser not initialized"));
141   }
142   else {
143     file = fopen(file_name, "r");
144     if (!file) {
145       gedcom_error(_("Could not open file '%s': %s"),
146                    file_name, strerror(errno));
147     }
148     else {
149       init_encodings();
150       enc = determine_encoding(file);
151       
152       if (lexer_init(enc, file)) {
153         line_no = 0;
154         make_xref_table();
155         result = gedcom_parse();
156         line_no = 0;
157         if (result == 0)
158           result = check_xref_table();
159       }
160       lexer_close();
161       fclose(file);
162     }
163   }
164
165   return result;
166 }
167
168 int gedcom_new_model()
169 {
170   int result = 1;
171   FILE* file;
172
173   file = fopen(NEW_MODEL_FILE, "r");
174   if (file) {
175     fclose(file);
176     result = gedcom_parse_file(NEW_MODEL_FILE);
177   }
178   else {
179     char* filename = (char*) malloc(strlen(PKGDATADIR) + strlen(NEW_MODEL_FILE)
180                                     + 2);
181     if (!filename)
182       MEMORY_ERROR;
183     else {
184       sprintf(filename, "%s/%s", PKGDATADIR, NEW_MODEL_FILE);
185       result = gedcom_parse_file(filename);
186       free(filename);
187     }
188   }
189   return result;
190 }
191
192 int gedcom_check_version(int major, int minor, int patch)
193 {
194   if (major < GEDCOM_PARSE_VERSION_MAJOR)
195     return 1;
196   else if (major > GEDCOM_PARSE_VERSION_MAJOR)
197     return 0;
198   else if (minor < GEDCOM_PARSE_VERSION_MINOR)
199     return 1;
200   else if (minor > GEDCOM_PARSE_VERSION_MINOR)
201     return 0;
202   else if (patch <= GEDCOM_PARSE_VERSION_PATCH)
203     return 1;
204   else
205     return 0;
206 }