Replace journals CSV with lobid-resources query (#611)

.gitignore

@@ -25,4 +25,3 @@ conf/qid-query.csv
 conf/700n-import.jsonl
 conf/700n-import.zip
 conf/700n-import*.txt
-conf/nwbib-journals-new.csv

app/controllers/nwbib/Application.java

@@ -4,7 +4,6 @@
 
 import java.io.File;
 import java.io.IOException;
-import java.io.InputStream;
 import java.io.UnsupportedEncodingException;
 import java.net.URL;
 import java.net.URLEncoder;
@@ -29,9 +28,7 @@
 import java.util.stream.StreamSupport;
 
 import org.apache.commons.lang3.tuple.Pair;
-import org.elasticsearch.common.base.Charsets;
 import org.elasticsearch.common.geo.GeoPoint;
-import org.elasticsearch.common.io.Streams;
 
 import com.fasterxml.jackson.databind.JsonNode;
 import com.fasterxml.jackson.databind.ObjectMapper;
@@ -40,7 +37,6 @@
 
 import controllers.nwbib.Classification.Type;
 import play.Logger;
-import play.Play;
 import play.cache.Cache;
 import play.cache.Cached;
 import play.data.Form;
@@ -320,26 +316,54 @@ public static Result register(final String t) {
 
 	/**
 	 * @return A list of nwbib journals
-	 * @throws IOException If reading the journals list data fails
 	 */
 	@Cached(key = "journals", duration = ONE_DAY)
-	public static Result journals() throws IOException {
-		try (InputStream stream = Play.application().classloader()
-				.getResourceAsStream("nwbib-journals.csv")) {
-			String csv = new String(Streams.copyToByteArray(stream), Charsets.UTF_8);
-			List<String> lines = Arrays.asList(csv.split("\n"));
-			List<HashMap<String, String>> maps = lines.stream()
-					.filter(line -> line.split("\",\"").length == 2).map(line -> {
-						HashMap<String, String> map = new HashMap<>();
-						String[] strings = line.split("\",\"");
-						map.put("label", strings[0].replace("\"\"", "'").replace("\"", ""));
-						map.put("value", strings[1].replace("\"", ""));
-						return map;
-					}).collect(Collectors.toList());
-			String journals = Json.toJson(maps).toString();
-			return ok(browse_register.render(journals, "Zeitschriften",
-					"Zeitschriftenliste filtern"));
-		}
+	public static Promise<Result> journals() {
+		WSRequest requestHolder = WS.url(Application.CONFIG.getString("nwbib.api"))
+				.setHeader("Accept", "application/json")
+				.setQueryParameter("size", "1000")//
+				.setQueryParameter("filter",
+						"inCollection.id:\"https://nwbib.de/journals\"");
+		return requestHolder.get().map((WSResponse response) -> {
+			if (response.getStatus() == Http.Status.OK) {
+				final String label = "label";
+				List<Map<String, String>> journals = StreamSupport
+						.stream(Spliterators.spliteratorUnknownSize(
+								response.asJson().get("member").elements(), 0), false)
+						.map((JsonNode doc) -> {
+							HashMap<String, String> journal = new HashMap<>();
+							journal.put(label, journalLabelFor(doc));
+							journal.put("value", Lobid.shortId(doc.get("id").asText()));
+							return journal;
+						}).collect(Collectors.toList());
+				Collections.sort(journals, (map1, map2) -> {
+					return Collator.getInstance(Locale.GERMANY).compare(//
+							sortValue(map1, label), sortValue(map2, label));
+				});
+				return ok(browse_register.render(Json.toJson(journals).toString(),
+						"Zeitschriften", "Zeitschriftenliste filtern"));
+			}
+			Logger.warn("{}: {} ({}, {})", response.getStatus(),
+					response.getStatusText(), requestHolder.getUrl(),
+					requestHolder.getQueryParameters());
+			return internalServerError("Could not load journals");
+		});
+	}
+
+	private static String sortValue(Map<String, String> map, final String key) {
+		String value = map.get(key).replaceAll("^(Der|Die|Das|De|Dä)\\s", "");
+		return Arrays.asList(value.split("\\s")).toString();
+	}
+
+	private static String journalLabelFor(JsonNode doc) {
+		String other = "otherTitleInformation";
+		String responsibility = "responsibilityStatement";
+		String label = doc.get("title").asText();
+		if (doc.has(other))
+			label += ": " + doc.get(other).elements().next().asText();
+		if (doc.has(responsibility))
+			label += " / " + doc.get(responsibility).elements().next().asText();
+		return label.replaceAll("^\\.{3}\\s*", "");
 	}
 
 	/**

app/views/tags/browse_list.scala.html

@@ -89,7 +89,7 @@
                     case _ => value
                  }}">@hits</a>)
                  }
-                 <span @if(t!="Wikidata"){class='copy-link'}><a data-toggle="tooltip" data-placement="right" title="Identifikator und Bezeichnung in die Zwischenablage kopieren" href="#" onclick="copyToClipboard('@textToCopy', $(this));return false;"><span class="octicon octicon-clippy"></span></a></span>
+                 @if(t!="Zeitschriften"){<span @if(t!="Wikidata"){class='copy-link'}><a data-toggle="tooltip" data-placement="right" title="Identifikator und Bezeichnung in die Zwischenablage kopieren" href="#" onclick="copyToClipboard('@textToCopy', $(this));return false;"><span class="octicon octicon-clippy"></span></a></span>}
                 <div style="display: none">@normalized</div>
               }
               @if(t=="Wikidata"){

conf/nwbib-journals-missing-in-query.tsv

@@ -0,0 +1,105 @@
+title	nwbib	lobid
+ABU-Info	https://nwbib.de/99370698631806441	https://lobid.org/resources/99370698631806441
+Acta Universitatis Carolinae, Studia territorialia	https://nwbib.de/990117495520206441	https://lobid.org/resources/990117495520206441
+Annalen des Historischen Vereins für den Niederrhein, insbesondere das Alte Erzbistum Köln	https://nwbib.de/99370676441806441	https://lobid.org/resources/99370676441806441
+Archäologie in Westfalen-Lippe	https://nwbib.de/99370690644406441	https://lobid.org/resources/99370690644406441
+Archäologische informationen	https://nwbib.de/99370691726306441	https://lobid.org/resources/99370691726306441
+Archivar	https://nwbib.de/990054090220206441	https://lobid.org/resources/990054090220206441
+Archiv für Familiengeschichtsforschung	https://nwbib.de/990056380980206441	https://lobid.org/resources/990056380980206441
+Archiv für Sozialgeschichte	https://nwbib.de/99370699220906441	https://lobid.org/resources/99370699220906441
+Archivmitteilungen / Evangelische Kirche von Westfalen, Landeskirchliches Archiv	https://nwbib.de/990107734770206441	https://lobid.org/resources/990107734770206441
+ATT	https://nwbib.de/990206386260206441	https://lobid.org/resources/990206386260206441
+Ausgrabungen und Funde in Westfalen-Lippe	https://nwbib.de/990054351560206441	https://lobid.org/resources/990054351560206441
+Baurecht	https://nwbib.de/990054467200206441	https://lobid.org/resources/990054467200206441
+Bembix	https://nwbib.de/990056195060206441	https://lobid.org/resources/990056195060206441
+Blätter für deutsche Landesgeschichte	https://nwbib.de/99370686829206441	https://lobid.org/resources/99370686829206441
+Cicero	https://nwbib.de/99370676097506441	https://lobid.org/resources/99370676097506441
+Das Krankenhaus	https://nwbib.de/991005934569706485	https://lobid.org/resources/991005934569706485
+Denkmalpflege im Rheinland	https://nwbib.de/990054887310206441	https://lobid.org/resources/990054887310206441
+Der Anschnitt	https://nwbib.de/991000037949706469	https://lobid.org/resources/991000037949706469
+Der Gießerjunge	https://nwbib.de/990056188890206441	https://lobid.org/resources/990056188890206441
+Der Holter	https://nwbib.de/990177585570206441	https://lobid.org/resources/990177585570206441
+Der Limes	https://nwbib.de/990159617580206441	https://lobid.org/resources/990159617580206441
+Der Oberhof	https://nwbib.de/990055488070206441	https://lobid.org/resources/990055488070206441
+Der Schwammklöpper	https://nwbib.de/990055974800206441	https://lobid.org/resources/990055974800206441
+Der Städtetag	https://nwbib.de/990054090310206441	https://lobid.org/resources/990054090310206441
+˜Derœ Weweraner	https://nwbib.de/99370698767006441	https://lobid.org/resources/99370698767006441
+Deutsche Jugend	https://nwbib.de/990053992790206441	https://lobid.org/resources/990053992790206441
+Deutsches Verwaltungsblatt	https://nwbib.de/990053981780206441	https://lobid.org/resources/990053981780206441
+Die beste Zeit	https://nwbib.de/990177681160206441	https://lobid.org/resources/990177681160206441
+Duisburger Jahrbuch	https://nwbib.de/990054453850206441	https://lobid.org/resources/990054453850206441
+Einfach Bergisch	https://nwbib.de/990228695220206441	https://lobid.org/resources/990228695220206441
+Eitorfer Heimatblätter	https://nwbib.de/990056355370206441	https://lobid.org/resources/990056355370206441
+Ennepetaler Forschungen	https://nwbib.de/990056707480206441	https://lobid.org/resources/990056707480206441
+Geologie und Paläontologie in Westfalen	https://nwbib.de/990052947850206441	https://lobid.org/resources/990052947850206441
+Gerrikuss	https://nwbib.de/990223568580206441	https://lobid.org/resources/990223568580206441
+Geschichte im Bistum Aachen	https://nwbib.de/990049189040206441	https://lobid.org/resources/990049189040206441
+Geschichte und Gesellschaft	https://nwbib.de/990054073200206441	https://lobid.org/resources/990054073200206441
+Geschichtsbrief Bedburg-Hau	https://nwbib.de/990154002140206441	https://lobid.org/resources/990154002140206441
+Grabbe-Jahrbuch ...	https://nwbib.de/99370693389606441	https://lobid.org/resources/99370693389606441
+Grevener Geschichtsblätter ...	https://nwbib.de/990214814330206441	https://lobid.org/resources/990214814330206441
+Gutenberg-Jahrbuch	https://nwbib.de/990000155420306443	https://lobid.org/resources/990000155420306443
+Halterner Jahrbuch ...	https://nwbib.de/990056035310206441	https://lobid.org/resources/990056035310206441
+Heimatblätter des Rhein-Sieg-Kreises	https://nwbib.de/990055215580206441	https://lobid.org/resources/990055215580206441
+Heimat- und Rathausspiegel	https://nwbib.de/990055484420206441	https://lobid.org/resources/990055484420206441
+Heine-Jahrbuch	https://nwbib.de/990000155480306443	https://lobid.org/resources/990000155480306443
+Hessische Blätter für Volksbildung	https://nwbib.de/990000162820306443	https://lobid.org/resources/990000162820306443
+Heven, einst und jetzt	https://nwbib.de/990054636290206441	https://lobid.org/resources/990054636290206441
+Hildener Jahrbuch	https://nwbib.de/990054091150206441	https://lobid.org/resources/990054091150206441
+Historia	https://nwbib.de/990054098920206441	https://lobid.org/resources/990054098920206441
+Historisches Jahrbuch Petershagen	https://nwbib.de/990119391070206441	https://lobid.org/resources/990119391070206441
+Hortus exoticus	https://nwbib.de/990155778540206441	https://lobid.org/resources/990155778540206441
+Informationen zur Raumentwicklung	https://nwbib.de/99370684399706441	https://lobid.org/resources/99370684399706441
+Jahrbuch des Bochumer Botanischen Vereins	https://nwbib.de/99370682807006441	https://lobid.org/resources/99370682807006441
+Jahrbuch des Römisch-Germanischen Zentralmuseums Mainz	https://nwbib.de/990054083140206441	https://lobid.org/resources/990054083140206441
+Jahrbuch des Zentrums für Niederlande-Studien	https://nwbib.de/990055959860206441	https://lobid.org/resources/990055959860206441
+Jahresband zum Rathauspark ...	https://nwbib.de/990366132290206441	https://lobid.org/resources/990366132290206441
+Jahresberichte der Biologischen Station Westliches Ruhrgebiet	https://nwbib.de/990136350640206441	https://lobid.org/resources/990136350640206441
+Jahreshefte des NABU Bielefeld	https://nwbib.de/99371671272106441	https://lobid.org/resources/99371671272106441
+Jan Wellem	https://nwbib.de/990055221340206441	https://lobid.org/resources/990055221340206441
+Jugendhilfe aktuell	https://nwbib.de/99370694184106441	https://lobid.org/resources/99370694184106441
+Lärmbekämpfung	https://nwbib.de/990154409990206441	https://lobid.org/resources/990154409990206441
+Maß und Gewicht	https://nwbib.de/990055863950206441	https://lobid.org/resources/990055863950206441
+Mattenbach-Echo	https://nwbib.de/990366755240206441	https://lobid.org/resources/990366755240206441
+Militärgeschichtliche Zeitschrift	https://nwbib.de/990112889290206441	https://lobid.org/resources/990112889290206441
+Militär und Gesellschaft in der frühen Neuzeit	https://nwbib.de/99370682246506441	https://lobid.org/resources/99370682246506441
+Mitteilungen der Historischen Vereinigung Wesel e.V	https://nwbib.de/990053935090206441	https://lobid.org/resources/990053935090206441
+Mitteilungen	https://nwbib.de/99370688186306441	https://lobid.org/resources/99370688186306441
+Mitteilungen / Naturwissenschaftlicher Verein Paderborn e. V	https://nwbib.de/99370693112306441	https://lobid.org/resources/99370693112306441
+Münster urban	https://nwbib.de/990209321080206441	https://lobid.org/resources/990209321080206441
+Museumskunde	https://nwbib.de/99372012821006441	https://lobid.org/resources/99372012821006441
+Natur und Heimat	https://nwbib.de/99370691868006441	https://lobid.org/resources/99370691868006441
+Natur und Recht	https://nwbib.de/990054526810206441	https://lobid.org/resources/990054526810206441
+Natur und Umwelt in Siegen Wittgenstein	https://nwbib.de/99371383819906441	https://lobid.org/resources/99371383819906441
+Naturzeit im Münsterland!	https://nwbib.de/99370690527706441	https://lobid.org/resources/99370690527706441
+Niederdeutsches Wort	https://nwbib.de/990000162410306443	https://lobid.org/resources/990000162410306443
+Odenkirchen gestern und heute	https://nwbib.de/990188172880206441	https://lobid.org/resources/990188172880206441
+ProLibris	https://nwbib.de/990000284090306443	https://lobid.org/resources/990000284090306443
+Rosenland	https://nwbib.de/99370693426606441	https://lobid.org/resources/99370693426606441
+Schiffahrt, Hafen, Bahn und Technik	https://nwbib.de/990134392230206441	https://lobid.org/resources/990134392230206441
+Schlänger Bote	https://nwbib.de/990055212880206441	https://lobid.org/resources/990055212880206441
+Schola Paulina	https://nwbib.de/990055492370206441	https://lobid.org/resources/990055492370206441
+Schönes Westfalen	https://nwbib.de/990365081900206441	https://lobid.org/resources/990365081900206441
+SchuleDigital in NRW	https://nwbib.de/990367820130206441	https://lobid.org/resources/990367820130206441
+Siedlungsforschung	https://nwbib.de/99370696419406441	https://lobid.org/resources/99370696419406441
+Sozialer Fortschritt	https://nwbib.de/990054053660206441	https://lobid.org/resources/990054053660206441
+Speläologisches Jahrbuch	https://nwbib.de/990056682570206441	https://lobid.org/resources/990056682570206441
+Stahl und Eisen	https://nwbib.de/991000038669706469	https://lobid.org/resources/991000038669706469
+Statistische Analysen und Studien Nordrhein-Westfalen	https://nwbib.de/990110168640206441	https://lobid.org/resources/990110168640206441
+Steinfurter Schätze	https://nwbib.de/990219387830206441	https://lobid.org/resources/990219387830206441
+Steinhagen	https://nwbib.de/990055569520206441	https://lobid.org/resources/990055569520206441
+Theologie und Glaube	https://nwbib.de/99370777677606441	https://lobid.org/resources/99370777677606441
+Turn- und Sportgeschichte in Westfalen und Lippe	https://nwbib.de/990056421190206441	https://lobid.org/resources/990056421190206441
+UrbanLab Magazin	https://nwbib.de/99370684274406441	https://lobid.org/resources/99370684274406441
+Wimbern	https://nwbib.de/990227558270206441	https://lobid.org/resources/990227558270206441
+Wirtschaft im Revier	https://nwbib.de/990193675270206441	https://lobid.org/resources/990193675270206441
+Wirtschaft: Magazin für die Unternehmen in der Region Hellweg-Sauerland	https://nwbib.de/99371904318906441	https://lobid.org/resources/99371904318906441
+Zeichen der Zeit	https://nwbib.de/990166383820206441	https://lobid.org/resources/990166383820206441
+Zeithistorische Forschungen	https://nwbib.de/99370692989106441	https://lobid.org/resources/99370692989106441
+Zeitschrift der Deutschen Gesellschaft für Geowissenschaften	https://nwbib.de/991000360949706469	https://lobid.org/resources/991000360949706469
+Zeitschrift des Vereins für Hessische Geschichte und Landeskunde	https://nwbib.de/99370691458706441	https://lobid.org/resources/99370691458706441
+Zeitschrift für Geschichtswissenschaft	https://nwbib.de/990054191350206441	https://lobid.org/resources/990054191350206441
+Zeitschrift für Kommunalfinanzen	https://nwbib.de/99370676744106441	https://lobid.org/resources/99370676744106441
+Zeitschrift für öffentliche und gemeinwirtschaftliche Unternehmen	https://nwbib.de/990054191680206441	https://lobid.org/resources/990054191680206441
+Zeitschrift für Parlamentsfragen	https://nwbib.de/990054191740206441	https://lobid.org/resources/990054191740206441
+Zeitschrift für Verkehrswissenschaft	https://nwbib.de/990054033670206441	https://lobid.org/resources/990054033670206441