|
0
|
1 # -*- coding: utf-8 -*-
|
|
|
2
|
|
|
3 #Verbindet Zope mit solr. Vorraussetzung ist das Paket sunburnt, @see http://opensource.timetric.com/sunburnt/
|
|
|
4
|
|
|
5
|
|
|
6 from OFS.SimpleItem import SimpleItem
|
|
|
7 from Products.PageTemplates.PageTemplateFile import PageTemplateFile
|
|
|
8 import os.path
|
|
|
9 import sunburnt
|
|
|
10 from Globals import package_home
|
|
|
11 import httplib2
|
|
4
|
12 import urlparse
|
|
0
|
13 import urllib
|
|
|
14 import re
|
|
|
15 import xml.etree.ElementTree as ET
|
|
|
16 import json
|
|
6
|
17 import random
|
|
0
|
18
|
|
|
19 #Worte die nicht in der Termliste angezeigt werden sollen #TODO: make this configurable
|
|
|
20
|
|
|
21 STOPLIST={'main_content':['forward','drucken','history','science','part','publications','projects',
|
|
|
22 'project','new','geschichte','institute','related','boltzmannstraße','14195'],
|
|
|
23
|
|
|
24 'title':['bd','10','11','12','18','19','20','abt','ad','di','history','geschichte','science']
|
|
|
25 }
|
|
|
26
|
|
|
27
|
|
4
|
28 PURLSERVER="http://md.mpiwg-berlin.mpg.de/purls/"
|
|
|
29
|
|
|
30 #TODO: only needed for getTermsAsJSON, solle irgendwie aus dem sunburnt kommen
|
|
|
31 SOLRSERVER="/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"
|
|
0
|
32
|
|
|
33 def zptFile(self, path, orphaned=False):
|
|
|
34 """returns a page template file from the product"""
|
|
|
35 if orphaned:
|
|
|
36 # unusual case
|
|
|
37 pt=PageTemplateFile(os.path.join(package_home(globals()), path))
|
|
|
38 else:
|
|
|
39
|
|
|
40 pt=PageTemplateFile(os.path.join(package_home(globals()), path)).__of__(self)
|
|
|
41 return pt
|
|
|
42
|
|
|
43
|
|
|
44
|
|
|
45 class ZopeSolr(SimpleItem):
|
|
6
|
46
|
|
0
|
47
|
|
|
48 meta_type="ZopeSolr"
|
|
|
49
|
|
|
50 manage_options= ({'label':'Main Config','action': 'changeMain'},) + SimpleItem.manage_options
|
|
|
51
|
|
|
52 def __init__(self,id,title,solrURL):
|
|
|
53 self.id=id
|
|
|
54 self.title=title
|
|
|
55 self.solrURL=solrURL #URL einer solr instance bzw. einer collection, falls nicht die default collection benutzt werden soll
|
|
|
56
|
|
|
57
|
|
|
58 #Verbinde mit der solt Instance
|
|
|
59
|
|
|
60 def connect(self):
|
|
|
61 self._v_solr=sunburnt.SolrInterface(url=self.solrURL)
|
|
4
|
62
|
|
|
63
|
|
6
|
64 def getRandom(self,number=3,field="title_s"):
|
|
|
65
|
|
|
66 """hole zufaellige eintraege"""
|
|
|
67
|
|
|
68
|
|
|
69 if not getattr(self,'_v_solr_',None):
|
|
|
70 self.connect()
|
|
|
71
|
|
|
72 #http://localhost:8983/solr/mpiwgSources/select/?q=*:*&sort=random_12xs34%20desc&rows=1&facet=false
|
|
|
73
|
|
|
74
|
|
|
75 random.seed()
|
|
|
76 rand = random.randrange(300000)
|
|
|
77
|
|
|
78 results = self._v_solr.query("*.*").sort_by("-random_%s"%rand).paginate(start=0, rows=number).execute()
|
|
|
79
|
|
|
80 return results
|
|
|
81
|
|
4
|
82 #erzeuge den link auf die fulltext display version des bildviewers
|
|
|
83 def createFullTextLink(self,page,facetSerch,search):
|
|
|
84
|
|
|
85 fqs=[]
|
|
|
86 for key in facetSerch.keys():
|
|
|
87 values = self.getList(facetSerch.get(key))
|
|
|
88 for value in values:
|
|
|
89 if value!="*":
|
|
|
90 fqs.append("%s=%s"%(key,urllib.quote(value)));
|
|
|
91
|
|
|
92 ret="pf=%s"%page
|
|
|
93 ret+="&query=("
|
|
|
94
|
|
|
95
|
|
|
96
|
|
|
97 ret+=" OR ".join(fqs)
|
|
|
98 #if len(fqs)>0 and len(qs)>0 and qs[0]!="":
|
|
|
99 if len(fqs)>0 and len(search)>0: #TODO das muss noch geandert werden, wenn das der normale suchstring nach feldern müssen alle "AND" in "OR" getauscht werden
|
|
|
100 #da ja in der volltext-line die Zeile gedunfen werden soll wenn eines der Worte drin ist, vorher wurd eventuell und über die ganee seite gesucht
|
|
|
101 #die worte müssen aber nicht in einer zeile sein und werden jetzt nicht gefunden
|
|
|
102 ret+=" OR "
|
|
|
103
|
|
|
104
|
|
|
105
|
|
|
106 ret+="("+search+")"
|
|
|
107
|
|
|
108 ret+=")&viewLayer=search"
|
|
|
109
|
|
|
110 return ret
|
|
|
111
|
|
0
|
112 #erzeuge einen Link, insbesonder für faceted suche
|
|
|
113 #@param search: ist suchparameter, wird einfach als search=%s weitergereicht
|
|
|
114 #@param facetSearch: bekommt einen hash (feldname, liste der suchworte)
|
|
|
115
|
|
4
|
116 def generateLink(self,search,facetSearch={},ranges={},dateranges={},args={}):
|
|
0
|
117 ret="?search=%s"%search
|
|
|
118
|
|
|
119 for facet in facetSearch.keys():
|
|
|
120
|
|
|
121 searchTerms = facetSearch[facet]
|
|
|
122
|
|
|
123 if isinstance(searchTerms, basestring):
|
|
|
124 searchTerms=[searchTerms]
|
|
|
125
|
|
|
126 for searchTerm in searchTerms:
|
|
|
127 try:
|
|
|
128 ret+="&%s_fc=%s"%(facet,searchTerm.encode('utf-8'))
|
|
|
129 except:
|
|
|
130 ret+="&%s_fc=%s"%(facet,searchTerm)
|
|
|
131
|
|
|
132 for key,values in ranges.items():
|
|
|
133
|
|
|
134 if isinstance(values, basestring):
|
|
|
135 values=[values]
|
|
|
136
|
|
|
137 for value in values:
|
|
|
138 ret+="&%s_rg=%s"%(key,value)
|
|
|
139
|
|
4
|
140 for key,values in dateranges.items():
|
|
|
141
|
|
|
142 if isinstance(values, basestring):
|
|
|
143 values=[values]
|
|
|
144
|
|
|
145 for value in values:
|
|
|
146 ret+="&%s_drg=%s"%(key,value)
|
|
|
147
|
|
0
|
148
|
|
1
|
149 for key,value in args.items():
|
|
|
150
|
|
|
151 if isinstance(value, basestring):
|
|
|
152 value=[value]
|
|
|
153
|
|
|
154 for val in value:
|
|
|
155 ret+="&%s=%s"%(key,val)
|
|
0
|
156 return ret
|
|
|
157
|
|
|
158 #hilfsmethode erzeuget immer eine liste von einträgen
|
|
|
159 def getList(self,param):
|
|
|
160 if isinstance(param, basestring):
|
|
|
161 param=[param]
|
|
|
162
|
|
|
163 return param
|
|
|
164
|
|
|
165 #erzeugt analog zu den Ranges in Velocity für ein numerisches Feld die Suche in ranges
|
|
|
166 #@param field:ist der name des Feldes in dem in Ranges gesucht werden soll
|
|
|
167 #@param begin anfang der ranges
|
|
|
168 #@param end ende der Raanges
|
|
|
169 #@param increment größe eines ranges
|
|
4
|
170 #@param date wenn wahr, dann ist field ein Datumsfeld, begin, end,increment sind trotzdem zur Zeit, dan Integer für Jahre !!, d.h. zur Zeit sind nur JAhre als Schritte möglich
|
|
0
|
171 # für alle andere paramter @see prepareSearch
|
|
|
172 #@return gibt ein hash: mit range -> anzahl der Treffer in dem Ranage. e.g 1921-1950 -> 21
|
|
4
|
173
|
|
|
174 def ranges(self,field,begin,end,increment,solrQuery="",facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,date=False,storeFields=False):
|
|
0
|
175
|
|
|
176 q=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets)
|
|
|
177
|
|
4
|
178 res={} #speiceher abzahl
|
|
|
179
|
|
|
180 fls={} #speichere felder
|
|
|
181
|
|
|
182 #for fl in storeFields: #initialisiere den hash
|
|
|
183 # fls[fl]={}
|
|
|
184
|
|
0
|
185 if not getattr(self,'_v_solr_',None):
|
|
|
186 self.connect()
|
|
|
187
|
|
|
188
|
|
|
189
|
|
|
190 for x in range(begin,end,increment):
|
|
|
191 query={}
|
|
|
192 #query["%s__gt"%field]=x
|
|
|
193 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
4
|
194
|
|
|
195 if not date:
|
|
|
196 query["%s__gte"%field]=int(x)+1
|
|
|
197
|
|
|
198 query["%s__lte"%field]=x+increment
|
|
|
199
|
|
|
200 key="%s-%s"%(x,x+increment)
|
|
0
|
201
|
|
4
|
202 else:
|
|
|
203 year="%s-01-01T00:00:00Z"
|
|
|
204 query["%s__gte"%field]=year%(int(x))
|
|
|
205
|
|
|
206 query["%s__lte"%field]=year%(x+increment)
|
|
|
207
|
|
|
208 key="%s@%s"%(year%(int(x)),year%(x+increment))
|
|
|
209
|
|
|
210 result = q.query(**query).highlight("text_german").execute()
|
|
0
|
211
|
|
4
|
212 res[key]=result.result.numFound
|
|
|
213
|
|
|
214 if storeFields:
|
|
|
215 fls[key] = result.highlighting;
|
|
|
216
|
|
0
|
217
|
|
4
|
218
|
|
|
219 if storeFields:
|
|
|
220 return res,fls
|
|
|
221
|
|
|
222 else:
|
|
|
223 return res
|
|
0
|
224
|
|
|
225
|
|
|
226 #prepareSearch erzeugt die Suchabfrage
|
|
|
227
|
|
|
228 #solrQuery sucht im in schema.xml bzw. solrconfig.xml festgelegt generischen Feld, hierbei werden mit blanks getrennte eintrage in "AND" zerlegt.
|
|
|
229 #TODO: erlaube auch suche nach phrasen mit ""
|
|
|
230 #facetFields:Liste der Felder, nach denen facitiert werden sollen, wirdn in facet_by in solrburn uebersetzt.
|
|
|
231 #start: Erste Eintrag für paginierung, anzahl der Treffer
|
|
|
232 #rows: anzahl der Treffer
|
|
|
233 #facetSearch: Hash mit Feldnamen: suchwort oder Feldname: liste von Suchworten, hast wird direkt an query von solrburnt weitergegeben,
|
|
|
234 #sortfacets: if true, dann werden die Ergebnisse der facetierten suche alphabetisch sortiert, ACHTUNG: das ist nicht gleich der Funktion in solr die Liste
|
|
|
235 #direkt sortiert zurückzubekommen, hier werden die haufigsten Werte genommen (einstellt in solrconfig.xml) und dann nur diese sortiert!
|
|
|
236 #ausserdem werden beim sortieren, die stopworte gefiltert!
|
|
|
237 #
|
|
|
238 #neben den direkten parameter koennen auch parameter fuer die facetierte Suche über FORM im REQUEST übergeben werden, diese Felder müssen dann
|
|
|
239 #mit "_fc" enden.
|
|
|
240 # gibt als ergebnis den folgenden Hash, so wie in http://opensource.timetric.com/sunburnt/queryingsolr.html#executing-queries-and-interpreting-the-response,
|
|
|
241 # http://opensource.timetric.com/sunburnt/queryingsolr.html#highlighting
|
|
|
242 # und http://opensource.timetric.com/sunburnt/queryingsolr.html#faceting
|
|
|
243 #dokumentiert. Highlighting selbst wird in sorlconfig.xml konfiguriert.
|
|
|
244 #return ein Queryobjet, zur eigentlichen Suche muss darauf noch execute ausgeführt werden.
|
|
|
245
|
|
10
|
246 def prepareSearch(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None,sorting=None):
|
|
0
|
247 "search solr"
|
|
|
248
|
|
|
249
|
|
|
250 ranges={}
|
|
|
251 ## deal with a form
|
|
|
252 if self.REQUEST:
|
|
|
253 constr = self.REQUEST.form
|
|
3
|
254
|
|
0
|
255 for field in constr.keys():
|
|
|
256
|
|
|
257 #facetes
|
|
|
258 if field.endswith("_fc"):
|
|
|
259 if facetSearch is None:
|
|
|
260 facetSearch={}
|
|
|
261
|
|
|
262 vals = constr[field]
|
|
|
263 if not isinstance(vals,basestring):
|
|
|
264
|
|
|
265 vals=[x.decode('utf-8') for x in vals]
|
|
|
266 else:
|
|
|
267 vals=vals.decode('utf-8')
|
|
1
|
268
|
|
|
269
|
|
0
|
270 facetSearch[field.replace("_fc",'')]=vals
|
|
|
271 #ranges form a-b
|
|
|
272
|
|
1
|
273
|
|
|
274 if field.endswith("_or"):
|
|
|
275 if orSearch is None:
|
|
|
276 orSearch={}
|
|
|
277
|
|
|
278 vals = constr[field]
|
|
|
279 if not isinstance(vals,basestring):
|
|
|
280
|
|
|
281 vals=[x.decode('utf-8') for x in vals]
|
|
|
282 else:
|
|
|
283 vals=vals.decode('utf-8')
|
|
|
284
|
|
|
285
|
|
|
286 orSearch[field.replace("_or",'')]=vals
|
|
|
287 #ranges form a-b
|
|
|
288
|
|
|
289
|
|
0
|
290
|
|
|
291 if field.endswith("_rg"):
|
|
|
292
|
|
|
293
|
|
|
294 splitted = "_".split(field)
|
|
|
295 if len(splitted)==2:
|
|
|
296 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
297 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
298 ranges[field.replace("_rg","__gte")]=int(splitted[0])+1
|
|
|
299 ranges[field.replace("_rg","__lte")]=splitted[1]
|
|
4
|
300
|
|
|
301 elif field.endswith("_drg"):
|
|
|
302 splitted = "@".split(field)
|
|
|
303 if len(splitted)==2:
|
|
|
304 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
305 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
306 ranges[field.replace("_drg","__gte")]=splitted[0]
|
|
|
307 ranges[field.replace("_drg","__lte")]=splitted[1]
|
|
0
|
308
|
|
|
309
|
|
|
310 #teste verbindung zu solr
|
|
|
311 if not getattr(self,'_v_solr_',None):
|
|
|
312 self.connect()
|
|
|
313
|
|
|
314
|
|
|
315
|
|
|
316 solrQuery = solrQuery.decode('utf-8')
|
|
|
317
|
|
|
318 #teile die suche nach " " daraus wird dann eine AND suche
|
|
|
319 #TODO: sollte flexibler sein. insbesondere phrasen
|
|
|
320 splitted= solrQuery.split(" ")
|
|
|
321
|
|
|
322 res = self._v_solr
|
|
|
323
|
|
|
324
|
|
|
325
|
|
|
326
|
|
|
327 res=res.query(splitted)
|
|
4
|
328
|
|
0
|
329 if len(ranges.keys())>0:
|
|
4
|
330
|
|
|
331
|
|
0
|
332 res=res.query(ranges)
|
|
|
333
|
|
4
|
334
|
|
0
|
335 #ubergebe alle weiteren feld an die suche.
|
|
|
336 if facetSearch:
|
|
|
337 for key,vals in facetSearch.items():
|
|
|
338
|
|
4
|
339 if key.endswith("_rg"): #range
|
|
0
|
340
|
|
|
341 if not isinstance(vals,basestring):
|
|
|
342
|
|
|
343 vals=[x.decode('utf-8') for x in vals]
|
|
|
344 else:
|
|
|
345 vals=[vals.decode('utf-8')]
|
|
|
346
|
|
|
347 for val in vals:
|
|
|
348
|
|
|
349 splitted = val.split("-")
|
|
3
|
350
|
|
0
|
351 if len(splitted)==2:
|
|
|
352 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
353 facetSearch[key.replace("_rg","__gte")]=int(splitted[0])+1
|
|
4
|
354 facetSearch[key.replace("_rg","__lte")]=int(splitted[1])
|
|
3
|
355
|
|
0
|
356 del facetSearch[key] # loesche das urspuerngliche feld
|
|
4
|
357
|
|
|
358 elif key.endswith("_drg"): #daterange
|
|
|
359
|
|
|
360 if not isinstance(vals,basestring):
|
|
|
361
|
|
|
362 vals=[x.decode('utf-8') for x in vals]
|
|
|
363 else:
|
|
|
364 vals=[vals.decode('utf-8')]
|
|
|
365
|
|
|
366 for val in vals:
|
|
|
367
|
|
|
368 splitted = val.split("@")
|
|
|
369
|
|
|
370 if len(splitted)==2:
|
|
|
371 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
372 facetSearch[key.replace("_drg","__gte")]=splitted[0]
|
|
|
373 facetSearch[key.replace("_drg","__lte")]=splitted[1]
|
|
|
374
|
|
|
375 del facetSearch[key] # loesche das urspuerngliche feld
|
|
|
376
|
|
0
|
377
|
|
|
378 else:
|
|
1
|
379 if not isinstance(vals, basestring):
|
|
|
380 val = [x for x in vals if x!="*"] #siehe oben
|
|
|
381 else:
|
|
|
382 val = [vals]
|
|
0
|
383 facetSearch[key]=val
|
|
|
384
|
|
4
|
385
|
|
0
|
386 res=res.query(**facetSearch)
|
|
1
|
387
|
|
|
388
|
|
|
389 #felder mit ODER-Suche
|
|
|
390 if orSearch:
|
|
|
391
|
|
|
392 for key,vals in orSearch.items():
|
|
|
393 qr = None
|
|
|
394 if not "*" in vals: #dann ohne einschränkung (key:*) sucht nur nach eintragen in denen etwas im feld steht, wir wollen aber alle
|
|
|
395 if isinstance(vals, basestring):
|
|
|
396 vals = [vals]
|
|
|
397
|
|
|
398
|
|
|
399 for val in vals:
|
|
|
400 if not qr:
|
|
|
401 qr=self._v_solr.Q(**{key:val})
|
|
|
402
|
|
|
403 else:
|
|
|
404 qr=qr|self._v_solr.Q(**{key:val})
|
|
|
405
|
|
|
406
|
|
|
407 res=res.query(qr)
|
|
|
408
|
|
|
409
|
|
0
|
410
|
|
|
411 #wenn facetField existieren dann rufe facetierung auf
|
|
|
412 if len(facetFields)>0:
|
|
|
413 #for facet in facetFields:
|
|
|
414
|
|
|
415 # res = res.facet_by(facet)
|
|
5
|
416
|
|
7
|
417
|
|
|
418 res = res.facet_by(facetFields)
|
|
0
|
419
|
|
|
420 #res=res.paginate(start=start, rows=rows).highlight("main_content")
|
|
|
421
|
|
|
422 res=res.paginate(start=start, rows=rows)
|
|
|
423
|
|
|
424
|
|
4
|
425 #only highlighting if not searhc for only "*" - avoid max clause error
|
|
2
|
426 if solrQuery=="*":
|
|
3
|
427
|
|
4
|
428
|
|
2
|
429 res=res.paginate(start=start, rows=rows)
|
|
|
430 else:
|
|
4
|
431
|
|
2
|
432 res=res.paginate(start=start, rows=rows).highlight(usePhraseHighlighter=True)
|
|
0
|
433
|
|
10
|
434
|
|
|
435 if sorting is not None:
|
|
|
436 for sort in sorting:
|
|
|
437 res=res.sort_by(sort);
|
|
0
|
438 return res
|
|
|
439
|
|
|
440
|
|
4
|
441 def replaceParameter(self,paramsNeu,queryString,ignore=[]):
|
|
|
442 params=urlparse.parse_qs(queryString);
|
|
|
443
|
|
|
444 for key in paramsNeu.keys():
|
|
|
445
|
|
|
446 params[key]=paramsNeu[key]
|
|
|
447
|
|
|
448 for key in ignore:
|
|
|
449 del params[key]
|
|
|
450
|
|
|
451 retArray = []
|
|
|
452 for x in params.keys():
|
|
|
453 for y in self.getList(params[x]):
|
|
|
454 retArray.append("%s=%s"%(x,urllib.quote(y)))
|
|
|
455
|
|
|
456 print retArray
|
|
|
457 return "&".join(retArray);
|
|
0
|
458 #für die parameter @see prepareSearch
|
|
|
459 #erzeugt eine Suchabfrage und führt diese aus.
|
|
|
460 #return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
461
|
|
10
|
462 def search(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None,facetFields_limit=None,trunc=False,sorting=None):
|
|
8
|
463
|
|
|
464
|
|
|
465 print trunc
|
|
|
466 if trunc:
|
|
|
467 if not solrQuery.endswith("*"):
|
|
|
468 solrQuery+="*"
|
|
0
|
469
|
|
10
|
470 res=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets,orSearch=orSearch,sorting=sorting)
|
|
7
|
471 #response= res.execute()
|
|
|
472
|
|
|
473 opt = res.options();
|
|
|
474
|
|
|
475
|
|
|
476
|
|
|
477 if facetFields_limit:
|
|
|
478
|
|
|
479
|
|
|
480 for field,limit in facetFields_limit.items():
|
|
|
481 opt["f.%s.facet.limit"%field]=limit
|
|
|
482
|
|
|
483
|
|
|
484 response= self._v_solr.search( **opt)
|
|
|
485
|
|
0
|
486 #speichere faceted fields
|
|
|
487 if len(facetFields)>0:
|
|
|
488 facetedFields=response.facet_counts.facet_fields
|
|
|
489
|
|
|
490 if sortFacets:
|
|
|
491 facetedFields=self.sortFacetedFields(facetedFields)
|
|
|
492
|
|
|
493 else:
|
|
|
494 facetedFields={}
|
|
|
495
|
|
|
496
|
|
|
497
|
|
|
498
|
|
|
499 return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
500
|
|
|
501
|
|
|
502
|
|
10
|
503 #hilfsmethode zum <eren über der ranges
|
|
0
|
504 def sortRanges(self,ranges):
|
|
|
505 x=list(ranges)
|
|
|
506 x.sort()
|
|
|
507 return x
|
|
|
508
|
|
|
509 #sortiert die Werte der FacetedFields
|
|
|
510 #(facetedFields ist ein hast mit feldname -> liste der (wert für das feld, anzahl der treffer für den wert)
|
|
|
511 #ausserdem werden die werte gemäß des angegebenen Filter gefiltert.
|
|
|
512
|
|
|
513 def sortFacetedFields(self, facetedFields,filter=STOPLIST):
|
|
|
514 ret={}
|
|
|
515
|
|
|
516 def cmpTuple(x,y):
|
|
|
517 return cmp(x[0],y[0])
|
|
|
518
|
|
|
519
|
|
|
520 for key in facetedFields.keys():
|
|
|
521 ls = facetedFields[key]
|
|
|
522 ls.sort(cmpTuple)
|
|
|
523 ret[key]=ls
|
|
|
524
|
|
|
525 if filter.get(key,None):
|
|
|
526 ls2=[]
|
|
|
527 for x in ls:
|
|
|
528 if x[0].encode('utf-8') not in filter[key]:
|
|
|
529 ls2.append(x)
|
|
|
530 ret[key]=ls2
|
|
|
531
|
|
|
532
|
|
|
533 ret[key]=[x for x in ret[key] if x[1]!=0]
|
|
|
534 return ret
|
|
|
535
|
|
|
536 def changeMain(self,solrURL=None,title=None,REQUEST=None,RESPONSE=None):
|
|
|
537 """change main settings"""
|
|
|
538 if solrURL:
|
|
|
539 self.solrURL=solrURL
|
|
|
540 self.title=title
|
|
|
541 self._v_solr=sunburnt.SolrInterface(url=solrURL)
|
|
|
542
|
|
|
543 if RESPONSE is not None:
|
|
|
544 RESPONSE.redirect('manage_main')
|
|
|
545
|
|
|
546
|
|
|
547 else:
|
|
|
548 pt=zptFile(self, 'zpt/ChangeZopeSolr.zpt')
|
|
|
549 return pt()
|
|
|
550
|
|
|
551 #sucht die je nach einsteillung in solrconfig.xml Werte mit den häufigsten Treffern oder alphabetisch sortiert zu einem
|
|
|
552 #bestimmten eintrag aus solr
|
|
|
553 #gedacht ist die methoden für die Anwendung nach dem Harvesten einer Website, es wird daher davon ausgegangen, dass sie hinter der
|
|
|
554 #idfield eine url steht. Wir es z.b. bei Nutch passiert. index.htm/index_html als Teil der url wird dabei unterdrückt (analog zu den harbest einstellunge für
|
|
|
555 # nutch für zope webseiten.
|
|
|
556 #@param @idfield is hierbei der Name des Feldes, das in solrschema als id defniert wurde
|
|
|
557 #field der Feldname von dem die Treffer gesurcht wernde sollen
|
|
|
558 #url die url des textes
|
|
|
559
|
|
|
560 def getTermsAsJSON(self,idfield,field,url):
|
|
|
561 """getTerms"""
|
|
|
562
|
|
|
563 ret=[]
|
|
|
564 h = httplib2.Http()
|
|
|
565 url = url.replace("/index.html","").replace("/index_html","")
|
|
|
566 if url[-1]=="/":
|
|
|
567 url=url[0:-1]
|
|
|
568
|
|
|
569 urlq=url.replace(":","\:")
|
|
|
570 urlq=urlq.replace("/","\/")
|
|
|
571
|
|
4
|
572 #q ="http://localhost:8983/solr/mpiwgweb/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"%(idfield,urlq,field)
|
|
|
573 q =self.solrURL+SOLRSERVER%(idfield,urlq,field)
|
|
0
|
574
|
|
|
575 resp, content = h.request(q)
|
|
|
576
|
|
|
577 root = ET.fromstring(content)
|
|
|
578 #uri = "http://127.0.0.1:18080/www_neu/de/aktuelles/features/feature28"
|
|
|
579
|
|
|
580 xpstr = ".//lst[@name='termVectors']/lst[@name='%s']/lst[@name='%s']/lst"%(url,field)
|
|
|
581
|
|
|
582
|
|
|
583 tvs = root.findall(xpstr)
|
|
|
584
|
|
|
585 for tv in tvs:
|
|
|
586 wd = tv.attrib['name']
|
|
|
587 for f in tv.findall("./int[@name='tf']"):
|
|
|
588 fre = f.text
|
|
|
589
|
|
|
590
|
|
|
591 if int(fre)>2:
|
|
|
592
|
|
|
593 ret.append('{"text":"%s","size":%s}'%(wd,fre))
|
|
|
594
|
|
|
595 retStr="["+",".join(ret)+"]"
|
|
|
596
|
|
|
597 return retStr
|
|
|
598
|
|
|
599 #tauscht im request die in neewparams angegeben parameter aus.
|
|
|
600 def replaceParam(self, newparams):
|
|
|
601 x = self.REQUEST.form.copy()
|
|
|
602
|
|
|
603 for key,value in newparams.items():
|
|
|
604 x[key]=value
|
|
|
605
|
|
|
606
|
|
|
607 retls=[]
|
|
|
608 for k,v in x.items():
|
|
|
609 if not isinstance(v,basestring):
|
|
|
610 for y in v:
|
|
|
611 retls.append((k,y))
|
|
|
612 else:
|
|
|
613 retls.append((k,v))
|
|
|
614
|
|
|
615 return "?"+"&".join(["%s=%s"%(k,urllib.quote_plus(v,'/')) for (k, v) in retls])
|
|
|
616
|
|
|
617
|
|
|
618
|
|
|
619
|
|
|
620 #ruft @set ranges aus, gibt das ergebnis als json zurück
|
|
|
621 def getRangesAsJSON(self,field,begin,end,increment):
|
|
|
622 """ getRangesAsJSON"""
|
|
|
623 res = self.ranges(field, int(begin), int(end), int(increment))
|
|
|
624 return json.dumps(res)
|
|
|
625
|
|
|
626
|
|
|
627 #return only the values of resultList whicht start with startLetter or if starLetterNonAscii all values which
|
|
|
628 #start with an non ascii character
|
|
|
629 def filter (self,resultList,startLetter=None,startLetterNonAscii=0):
|
|
1
|
630 ls=[]
|
|
0
|
631 if startLetter:
|
|
4
|
632 startLetter=startLetter.lower()
|
|
0
|
633
|
|
|
634 matchStr = "[\[\]'\"]*"+startLetter
|
|
4
|
635 ls = [x for x in resultList if re.match(matchStr,x[0].lower())]
|
|
0
|
636
|
|
|
637 if startLetterNonAscii ==1:
|
|
|
638
|
|
|
639 ls = [x for x in resultList if not re.match("[\[\]'\"a-zA-Z].*",x[0])]
|
|
|
640 return ls
|
|
|
641
|
|
4
|
642
|
|
|
643
|
|
0
|
644 def manage_addZopeSolrForm(self):
|
|
|
645 """Form for external Links"""
|
|
|
646 pt=zptFile(self, 'zpt/AddZopeSolr.zpt')
|
|
|
647 return pt()
|
|
|
648
|
|
|
649
|
|
|
650 def manage_addZopeSolr(self,id,title,solrURL,RESPONSE=None):
|
|
|
651 """Add an external Link"""
|
|
|
652
|
|
|
653 newObj=ZopeSolr(id,title,solrURL)
|
|
|
654
|
|
|
655 self._setObject(id,newObj)
|
|
|
656
|
|
|
657
|
|
|
658 if RESPONSE is not None:
|
|
|
659 RESPONSE.redirect('manage_main')
|
|
4
|
660 |
