|
0
|
1 # -*- coding: utf-8 -*-
|
|
|
2
|
|
|
3 #Verbindet Zope mit solr. Vorraussetzung ist das Paket sunburnt, @see http://opensource.timetric.com/sunburnt/
|
|
|
4
|
|
|
5
|
|
|
6 from OFS.SimpleItem import SimpleItem
|
|
|
7 from Products.PageTemplates.PageTemplateFile import PageTemplateFile
|
|
|
8 import os.path
|
|
|
9 import sunburnt
|
|
|
10 from Globals import package_home
|
|
|
11 import httplib2
|
|
4
|
12 import urlparse
|
|
0
|
13 import urllib
|
|
|
14 import re
|
|
|
15 import xml.etree.ElementTree as ET
|
|
|
16 import json
|
|
6
|
17 import random
|
|
9
|
18 import logging
|
|
0
|
19
|
|
|
20 #Worte die nicht in der Termliste angezeigt werden sollen #TODO: make this configurable
|
|
|
21
|
|
|
22 STOPLIST={'main_content':['forward','drucken','history','science','part','publications','projects',
|
|
|
23 'project','new','geschichte','institute','related','boltzmannstraße','14195'],
|
|
|
24
|
|
|
25 'title':['bd','10','11','12','18','19','20','abt','ad','di','history','geschichte','science']
|
|
|
26 }
|
|
|
27
|
|
|
28
|
|
4
|
29 PURLSERVER="http://md.mpiwg-berlin.mpg.de/purls/"
|
|
|
30
|
|
|
31 #TODO: only needed for getTermsAsJSON, solle irgendwie aus dem sunburnt kommen
|
|
|
32 SOLRSERVER="/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"
|
|
0
|
33
|
|
|
34 def zptFile(self, path, orphaned=False):
|
|
|
35 """returns a page template file from the product"""
|
|
|
36 if orphaned:
|
|
|
37 # unusual case
|
|
|
38 pt=PageTemplateFile(os.path.join(package_home(globals()), path))
|
|
|
39 else:
|
|
|
40
|
|
|
41 pt=PageTemplateFile(os.path.join(package_home(globals()), path)).__of__(self)
|
|
|
42 return pt
|
|
|
43
|
|
|
44
|
|
|
45
|
|
|
46 class ZopeSolr(SimpleItem):
|
|
6
|
47
|
|
0
|
48
|
|
|
49 meta_type="ZopeSolr"
|
|
|
50
|
|
|
51 manage_options= ({'label':'Main Config','action': 'changeMain'},) + SimpleItem.manage_options
|
|
|
52
|
|
|
53 def __init__(self,id,title,solrURL):
|
|
|
54 self.id=id
|
|
|
55 self.title=title
|
|
|
56 self.solrURL=solrURL #URL einer solr instance bzw. einer collection, falls nicht die default collection benutzt werden soll
|
|
|
57
|
|
|
58
|
|
|
59 #Verbinde mit der solt Instance
|
|
|
60
|
|
|
61 def connect(self):
|
|
|
62 self._v_solr=sunburnt.SolrInterface(url=self.solrURL)
|
|
4
|
63
|
|
|
64
|
|
6
|
65 def getRandom(self,number=3,field="title_s"):
|
|
|
66
|
|
|
67 """hole zufaellige eintraege"""
|
|
|
68
|
|
|
69
|
|
|
70 if not getattr(self,'_v_solr_',None):
|
|
9
|
71 try:
|
|
|
72 self.connect()
|
|
|
73 except Exception, e:
|
|
|
74 logging.error("Error connecting to Solr: %s"%e)
|
|
|
75 return []
|
|
6
|
76
|
|
|
77 #http://localhost:8983/solr/mpiwgSources/select/?q=*:*&sort=random_12xs34%20desc&rows=1&facet=false
|
|
|
78
|
|
|
79
|
|
|
80 random.seed()
|
|
|
81 rand = random.randrange(300000)
|
|
|
82
|
|
|
83 results = self._v_solr.query("*.*").sort_by("-random_%s"%rand).paginate(start=0, rows=number).execute()
|
|
|
84
|
|
|
85 return results
|
|
|
86
|
|
4
|
87 #erzeuge den link auf die fulltext display version des bildviewers
|
|
|
88 def createFullTextLink(self,page,facetSerch,search):
|
|
|
89
|
|
|
90 fqs=[]
|
|
|
91 for key in facetSerch.keys():
|
|
|
92 values = self.getList(facetSerch.get(key))
|
|
|
93 for value in values:
|
|
|
94 if value!="*":
|
|
|
95 fqs.append("%s=%s"%(key,urllib.quote(value)));
|
|
|
96
|
|
|
97 ret="pf=%s"%page
|
|
|
98 ret+="&query=("
|
|
|
99
|
|
|
100
|
|
|
101
|
|
|
102 ret+=" OR ".join(fqs)
|
|
|
103 #if len(fqs)>0 and len(qs)>0 and qs[0]!="":
|
|
|
104 if len(fqs)>0 and len(search)>0: #TODO das muss noch geandert werden, wenn das der normale suchstring nach feldern müssen alle "AND" in "OR" getauscht werden
|
|
|
105 #da ja in der volltext-line die Zeile gedunfen werden soll wenn eines der Worte drin ist, vorher wurd eventuell und über die ganee seite gesucht
|
|
|
106 #die worte müssen aber nicht in einer zeile sein und werden jetzt nicht gefunden
|
|
|
107 ret+=" OR "
|
|
|
108
|
|
|
109
|
|
|
110
|
|
|
111 ret+="("+search+")"
|
|
|
112
|
|
|
113 ret+=")&viewLayer=search"
|
|
|
114
|
|
|
115 return ret
|
|
|
116
|
|
0
|
117 #erzeuge einen Link, insbesonder für faceted suche
|
|
|
118 #@param search: ist suchparameter, wird einfach als search=%s weitergereicht
|
|
|
119 #@param facetSearch: bekommt einen hash (feldname, liste der suchworte)
|
|
|
120
|
|
4
|
121 def generateLink(self,search,facetSearch={},ranges={},dateranges={},args={}):
|
|
0
|
122 ret="?search=%s"%search
|
|
|
123
|
|
|
124 for facet in facetSearch.keys():
|
|
|
125
|
|
|
126 searchTerms = facetSearch[facet]
|
|
|
127
|
|
|
128 if isinstance(searchTerms, basestring):
|
|
|
129 searchTerms=[searchTerms]
|
|
|
130
|
|
|
131 for searchTerm in searchTerms:
|
|
|
132 try:
|
|
|
133 ret+="&%s_fc=%s"%(facet,searchTerm.encode('utf-8'))
|
|
|
134 except:
|
|
|
135 ret+="&%s_fc=%s"%(facet,searchTerm)
|
|
|
136
|
|
|
137 for key,values in ranges.items():
|
|
|
138
|
|
|
139 if isinstance(values, basestring):
|
|
|
140 values=[values]
|
|
|
141
|
|
|
142 for value in values:
|
|
|
143 ret+="&%s_rg=%s"%(key,value)
|
|
|
144
|
|
4
|
145 for key,values in dateranges.items():
|
|
|
146
|
|
|
147 if isinstance(values, basestring):
|
|
|
148 values=[values]
|
|
|
149
|
|
|
150 for value in values:
|
|
|
151 ret+="&%s_drg=%s"%(key,value)
|
|
|
152
|
|
0
|
153
|
|
1
|
154 for key,value in args.items():
|
|
|
155
|
|
|
156 if isinstance(value, basestring):
|
|
|
157 value=[value]
|
|
|
158
|
|
|
159 for val in value:
|
|
|
160 ret+="&%s=%s"%(key,val)
|
|
0
|
161 return ret
|
|
|
162
|
|
|
163 #hilfsmethode erzeuget immer eine liste von einträgen
|
|
|
164 def getList(self,param):
|
|
|
165 if isinstance(param, basestring):
|
|
|
166 param=[param]
|
|
|
167
|
|
|
168 return param
|
|
|
169
|
|
|
170 #erzeugt analog zu den Ranges in Velocity für ein numerisches Feld die Suche in ranges
|
|
|
171 #@param field:ist der name des Feldes in dem in Ranges gesucht werden soll
|
|
|
172 #@param begin anfang der ranges
|
|
|
173 #@param end ende der Raanges
|
|
|
174 #@param increment größe eines ranges
|
|
4
|
175 #@param date wenn wahr, dann ist field ein Datumsfeld, begin, end,increment sind trotzdem zur Zeit, dan Integer für Jahre !!, d.h. zur Zeit sind nur JAhre als Schritte möglich
|
|
0
|
176 # für alle andere paramter @see prepareSearch
|
|
|
177 #@return gibt ein hash: mit range -> anzahl der Treffer in dem Ranage. e.g 1921-1950 -> 21
|
|
4
|
178
|
|
|
179 def ranges(self,field,begin,end,increment,solrQuery="",facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,date=False,storeFields=False):
|
|
0
|
180
|
|
|
181 q=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets)
|
|
|
182
|
|
4
|
183 res={} #speiceher abzahl
|
|
|
184
|
|
|
185 fls={} #speichere felder
|
|
|
186
|
|
|
187 #for fl in storeFields: #initialisiere den hash
|
|
|
188 # fls[fl]={}
|
|
|
189
|
|
0
|
190 if not getattr(self,'_v_solr_',None):
|
|
9
|
191 try:
|
|
|
192 self.connect()
|
|
|
193 except Exception, e:
|
|
|
194 logging.error("Error connecting to Solr: %s"%e)
|
|
|
195 return res
|
|
0
|
196
|
|
|
197 for x in range(begin,end,increment):
|
|
|
198 query={}
|
|
|
199 #query["%s__gt"%field]=x
|
|
|
200 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
4
|
201
|
|
|
202 if not date:
|
|
|
203 query["%s__gte"%field]=int(x)+1
|
|
|
204
|
|
|
205 query["%s__lte"%field]=x+increment
|
|
|
206
|
|
|
207 key="%s-%s"%(x,x+increment)
|
|
0
|
208
|
|
4
|
209 else:
|
|
|
210 year="%s-01-01T00:00:00Z"
|
|
|
211 query["%s__gte"%field]=year%(int(x))
|
|
|
212
|
|
|
213 query["%s__lte"%field]=year%(x+increment)
|
|
|
214
|
|
|
215 key="%s@%s"%(year%(int(x)),year%(x+increment))
|
|
|
216
|
|
|
217 result = q.query(**query).highlight("text_german").execute()
|
|
0
|
218
|
|
4
|
219 res[key]=result.result.numFound
|
|
|
220
|
|
|
221 if storeFields:
|
|
|
222 fls[key] = result.highlighting;
|
|
|
223
|
|
0
|
224
|
|
4
|
225
|
|
|
226 if storeFields:
|
|
|
227 return res,fls
|
|
|
228
|
|
|
229 else:
|
|
|
230 return res
|
|
0
|
231
|
|
|
232
|
|
|
233 #prepareSearch erzeugt die Suchabfrage
|
|
|
234
|
|
|
235 #solrQuery sucht im in schema.xml bzw. solrconfig.xml festgelegt generischen Feld, hierbei werden mit blanks getrennte eintrage in "AND" zerlegt.
|
|
|
236 #TODO: erlaube auch suche nach phrasen mit ""
|
|
|
237 #facetFields:Liste der Felder, nach denen facitiert werden sollen, wirdn in facet_by in solrburn uebersetzt.
|
|
|
238 #start: Erste Eintrag für paginierung, anzahl der Treffer
|
|
|
239 #rows: anzahl der Treffer
|
|
|
240 #facetSearch: Hash mit Feldnamen: suchwort oder Feldname: liste von Suchworten, hast wird direkt an query von solrburnt weitergegeben,
|
|
|
241 #sortfacets: if true, dann werden die Ergebnisse der facetierten suche alphabetisch sortiert, ACHTUNG: das ist nicht gleich der Funktion in solr die Liste
|
|
|
242 #direkt sortiert zurückzubekommen, hier werden die haufigsten Werte genommen (einstellt in solrconfig.xml) und dann nur diese sortiert!
|
|
|
243 #ausserdem werden beim sortieren, die stopworte gefiltert!
|
|
|
244 #
|
|
|
245 #neben den direkten parameter koennen auch parameter fuer die facetierte Suche über FORM im REQUEST übergeben werden, diese Felder müssen dann
|
|
|
246 #mit "_fc" enden.
|
|
|
247 # gibt als ergebnis den folgenden Hash, so wie in http://opensource.timetric.com/sunburnt/queryingsolr.html#executing-queries-and-interpreting-the-response,
|
|
|
248 # http://opensource.timetric.com/sunburnt/queryingsolr.html#highlighting
|
|
|
249 # und http://opensource.timetric.com/sunburnt/queryingsolr.html#faceting
|
|
|
250 #dokumentiert. Highlighting selbst wird in sorlconfig.xml konfiguriert.
|
|
|
251 #return ein Queryobjet, zur eigentlichen Suche muss darauf noch execute ausgeführt werden.
|
|
|
252
|
|
7
|
253 def prepareSearch(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None):
|
|
0
|
254 "search solr"
|
|
|
255
|
|
|
256
|
|
|
257 ranges={}
|
|
|
258 ## deal with a form
|
|
|
259 if self.REQUEST:
|
|
|
260 constr = self.REQUEST.form
|
|
3
|
261
|
|
0
|
262 for field in constr.keys():
|
|
|
263
|
|
|
264 #facetes
|
|
|
265 if field.endswith("_fc"):
|
|
|
266 if facetSearch is None:
|
|
|
267 facetSearch={}
|
|
|
268
|
|
|
269 vals = constr[field]
|
|
|
270 if not isinstance(vals,basestring):
|
|
|
271
|
|
|
272 vals=[x.decode('utf-8') for x in vals]
|
|
|
273 else:
|
|
|
274 vals=vals.decode('utf-8')
|
|
1
|
275
|
|
|
276
|
|
0
|
277 facetSearch[field.replace("_fc",'')]=vals
|
|
|
278 #ranges form a-b
|
|
|
279
|
|
1
|
280
|
|
|
281 if field.endswith("_or"):
|
|
|
282 if orSearch is None:
|
|
|
283 orSearch={}
|
|
|
284
|
|
|
285 vals = constr[field]
|
|
|
286 if not isinstance(vals,basestring):
|
|
|
287
|
|
|
288 vals=[x.decode('utf-8') for x in vals]
|
|
|
289 else:
|
|
|
290 vals=vals.decode('utf-8')
|
|
|
291
|
|
|
292
|
|
|
293 orSearch[field.replace("_or",'')]=vals
|
|
|
294 #ranges form a-b
|
|
|
295
|
|
|
296
|
|
0
|
297
|
|
|
298 if field.endswith("_rg"):
|
|
|
299
|
|
|
300
|
|
|
301 splitted = "_".split(field)
|
|
|
302 if len(splitted)==2:
|
|
|
303 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
304 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
305 ranges[field.replace("_rg","__gte")]=int(splitted[0])+1
|
|
|
306 ranges[field.replace("_rg","__lte")]=splitted[1]
|
|
4
|
307
|
|
|
308 elif field.endswith("_drg"):
|
|
|
309 splitted = "@".split(field)
|
|
|
310 if len(splitted)==2:
|
|
|
311 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
312 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
313 ranges[field.replace("_drg","__gte")]=splitted[0]
|
|
|
314 ranges[field.replace("_drg","__lte")]=splitted[1]
|
|
0
|
315
|
|
|
316
|
|
|
317 #teste verbindung zu solr
|
|
|
318 if not getattr(self,'_v_solr_',None):
|
|
9
|
319 try:
|
|
|
320 self.connect()
|
|
|
321 except Exception, e:
|
|
|
322 logging.error("Error connecting to Solr: %s"%e)
|
|
|
323 return []
|
|
0
|
324
|
|
|
325 solrQuery = solrQuery.decode('utf-8')
|
|
|
326
|
|
|
327 #teile die suche nach " " daraus wird dann eine AND suche
|
|
|
328 #TODO: sollte flexibler sein. insbesondere phrasen
|
|
|
329 splitted= solrQuery.split(" ")
|
|
|
330
|
|
|
331 res = self._v_solr
|
|
|
332
|
|
|
333
|
|
|
334
|
|
|
335
|
|
|
336 res=res.query(splitted)
|
|
4
|
337
|
|
0
|
338 if len(ranges.keys())>0:
|
|
4
|
339
|
|
|
340
|
|
0
|
341 res=res.query(ranges)
|
|
|
342
|
|
4
|
343
|
|
0
|
344 #ubergebe alle weiteren feld an die suche.
|
|
|
345 if facetSearch:
|
|
|
346 for key,vals in facetSearch.items():
|
|
|
347
|
|
4
|
348 if key.endswith("_rg"): #range
|
|
0
|
349
|
|
|
350 if not isinstance(vals,basestring):
|
|
|
351
|
|
|
352 vals=[x.decode('utf-8') for x in vals]
|
|
|
353 else:
|
|
|
354 vals=[vals.decode('utf-8')]
|
|
|
355
|
|
|
356 for val in vals:
|
|
|
357
|
|
|
358 splitted = val.split("-")
|
|
3
|
359
|
|
0
|
360 if len(splitted)==2:
|
|
|
361 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
362 facetSearch[key.replace("_rg","__gte")]=int(splitted[0])+1
|
|
4
|
363 facetSearch[key.replace("_rg","__lte")]=int(splitted[1])
|
|
3
|
364
|
|
0
|
365 del facetSearch[key] # loesche das urspuerngliche feld
|
|
4
|
366
|
|
|
367 elif key.endswith("_drg"): #daterange
|
|
|
368
|
|
|
369 if not isinstance(vals,basestring):
|
|
|
370
|
|
|
371 vals=[x.decode('utf-8') for x in vals]
|
|
|
372 else:
|
|
|
373 vals=[vals.decode('utf-8')]
|
|
|
374
|
|
|
375 for val in vals:
|
|
|
376
|
|
|
377 splitted = val.split("@")
|
|
|
378
|
|
|
379 if len(splitted)==2:
|
|
|
380 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
381 facetSearch[key.replace("_drg","__gte")]=splitted[0]
|
|
|
382 facetSearch[key.replace("_drg","__lte")]=splitted[1]
|
|
|
383
|
|
|
384 del facetSearch[key] # loesche das urspuerngliche feld
|
|
|
385
|
|
0
|
386
|
|
|
387 else:
|
|
1
|
388 if not isinstance(vals, basestring):
|
|
|
389 val = [x for x in vals if x!="*"] #siehe oben
|
|
|
390 else:
|
|
|
391 val = [vals]
|
|
0
|
392 facetSearch[key]=val
|
|
|
393
|
|
4
|
394
|
|
0
|
395 res=res.query(**facetSearch)
|
|
1
|
396
|
|
|
397
|
|
|
398 #felder mit ODER-Suche
|
|
|
399 if orSearch:
|
|
|
400
|
|
|
401 for key,vals in orSearch.items():
|
|
|
402 qr = None
|
|
|
403 if not "*" in vals: #dann ohne einschränkung (key:*) sucht nur nach eintragen in denen etwas im feld steht, wir wollen aber alle
|
|
|
404 if isinstance(vals, basestring):
|
|
|
405 vals = [vals]
|
|
|
406
|
|
|
407
|
|
|
408 for val in vals:
|
|
|
409 if not qr:
|
|
|
410 qr=self._v_solr.Q(**{key:val})
|
|
|
411
|
|
|
412 else:
|
|
|
413 qr=qr|self._v_solr.Q(**{key:val})
|
|
|
414
|
|
|
415
|
|
|
416 res=res.query(qr)
|
|
|
417
|
|
|
418
|
|
0
|
419
|
|
|
420 #wenn facetField existieren dann rufe facetierung auf
|
|
|
421 if len(facetFields)>0:
|
|
|
422 #for facet in facetFields:
|
|
|
423
|
|
|
424 # res = res.facet_by(facet)
|
|
5
|
425
|
|
7
|
426
|
|
|
427 res = res.facet_by(facetFields)
|
|
0
|
428
|
|
|
429 #res=res.paginate(start=start, rows=rows).highlight("main_content")
|
|
|
430
|
|
|
431 res=res.paginate(start=start, rows=rows)
|
|
|
432
|
|
|
433
|
|
4
|
434 #only highlighting if not searhc for only "*" - avoid max clause error
|
|
2
|
435 if solrQuery=="*":
|
|
3
|
436
|
|
4
|
437
|
|
2
|
438 res=res.paginate(start=start, rows=rows)
|
|
|
439 else:
|
|
4
|
440
|
|
2
|
441 res=res.paginate(start=start, rows=rows).highlight(usePhraseHighlighter=True)
|
|
0
|
442
|
|
|
443 return res
|
|
|
444
|
|
|
445
|
|
4
|
446 def replaceParameter(self,paramsNeu,queryString,ignore=[]):
|
|
|
447 params=urlparse.parse_qs(queryString);
|
|
|
448
|
|
|
449 for key in paramsNeu.keys():
|
|
|
450
|
|
|
451 params[key]=paramsNeu[key]
|
|
|
452
|
|
|
453 for key in ignore:
|
|
|
454 del params[key]
|
|
|
455
|
|
|
456 retArray = []
|
|
|
457 for x in params.keys():
|
|
|
458 for y in self.getList(params[x]):
|
|
|
459 retArray.append("%s=%s"%(x,urllib.quote(y)))
|
|
|
460
|
|
|
461 print retArray
|
|
|
462 return "&".join(retArray);
|
|
0
|
463 #für die parameter @see prepareSearch
|
|
|
464 #erzeugt eine Suchabfrage und führt diese aus.
|
|
|
465 #return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
466
|
|
8
|
467 def search(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None,facetFields_limit=None,trunc=False):
|
|
|
468
|
|
|
469
|
|
|
470 print trunc
|
|
|
471 if trunc:
|
|
|
472 if not solrQuery.endswith("*"):
|
|
|
473 solrQuery+="*"
|
|
0
|
474
|
|
7
|
475 res=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets,orSearch=orSearch)
|
|
|
476 #response= res.execute()
|
|
|
477
|
|
|
478 opt = res.options();
|
|
|
479
|
|
|
480
|
|
|
481
|
|
|
482 if facetFields_limit:
|
|
|
483
|
|
|
484
|
|
|
485 for field,limit in facetFields_limit.items():
|
|
|
486 opt["f.%s.facet.limit"%field]=limit
|
|
|
487
|
|
|
488
|
|
|
489 response= self._v_solr.search( **opt)
|
|
|
490
|
|
0
|
491 #speichere faceted fields
|
|
|
492 if len(facetFields)>0:
|
|
|
493 facetedFields=response.facet_counts.facet_fields
|
|
|
494
|
|
|
495 if sortFacets:
|
|
|
496 facetedFields=self.sortFacetedFields(facetedFields)
|
|
|
497
|
|
|
498 else:
|
|
|
499 facetedFields={}
|
|
|
500
|
|
|
501
|
|
|
502
|
|
|
503
|
|
|
504 return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
505
|
|
|
506
|
|
|
507
|
|
|
508 #hilfsmethode zum sortieren über der ranges
|
|
|
509 def sortRanges(self,ranges):
|
|
|
510 x=list(ranges)
|
|
|
511 x.sort()
|
|
|
512 return x
|
|
|
513
|
|
|
514 #sortiert die Werte der FacetedFields
|
|
|
515 #(facetedFields ist ein hast mit feldname -> liste der (wert für das feld, anzahl der treffer für den wert)
|
|
|
516 #ausserdem werden die werte gemäß des angegebenen Filter gefiltert.
|
|
|
517
|
|
|
518 def sortFacetedFields(self, facetedFields,filter=STOPLIST):
|
|
|
519 ret={}
|
|
|
520
|
|
|
521 def cmpTuple(x,y):
|
|
|
522 return cmp(x[0],y[0])
|
|
|
523
|
|
|
524
|
|
|
525 for key in facetedFields.keys():
|
|
|
526 ls = facetedFields[key]
|
|
|
527 ls.sort(cmpTuple)
|
|
|
528 ret[key]=ls
|
|
|
529
|
|
|
530 if filter.get(key,None):
|
|
|
531 ls2=[]
|
|
|
532 for x in ls:
|
|
|
533 if x[0].encode('utf-8') not in filter[key]:
|
|
|
534 ls2.append(x)
|
|
|
535 ret[key]=ls2
|
|
|
536
|
|
|
537
|
|
|
538 ret[key]=[x for x in ret[key] if x[1]!=0]
|
|
|
539 return ret
|
|
|
540
|
|
|
541 def changeMain(self,solrURL=None,title=None,REQUEST=None,RESPONSE=None):
|
|
|
542 """change main settings"""
|
|
|
543 if solrURL:
|
|
|
544 self.solrURL=solrURL
|
|
|
545 self.title=title
|
|
|
546 self._v_solr=sunburnt.SolrInterface(url=solrURL)
|
|
|
547
|
|
|
548 if RESPONSE is not None:
|
|
|
549 RESPONSE.redirect('manage_main')
|
|
|
550
|
|
|
551
|
|
|
552 else:
|
|
|
553 pt=zptFile(self, 'zpt/ChangeZopeSolr.zpt')
|
|
|
554 return pt()
|
|
|
555
|
|
|
556 #sucht die je nach einsteillung in solrconfig.xml Werte mit den häufigsten Treffern oder alphabetisch sortiert zu einem
|
|
|
557 #bestimmten eintrag aus solr
|
|
|
558 #gedacht ist die methoden für die Anwendung nach dem Harvesten einer Website, es wird daher davon ausgegangen, dass sie hinter der
|
|
|
559 #idfield eine url steht. Wir es z.b. bei Nutch passiert. index.htm/index_html als Teil der url wird dabei unterdrückt (analog zu den harbest einstellunge für
|
|
|
560 # nutch für zope webseiten.
|
|
|
561 #@param @idfield is hierbei der Name des Feldes, das in solrschema als id defniert wurde
|
|
|
562 #field der Feldname von dem die Treffer gesurcht wernde sollen
|
|
|
563 #url die url des textes
|
|
|
564
|
|
|
565 def getTermsAsJSON(self,idfield,field,url):
|
|
|
566 """getTerms"""
|
|
|
567
|
|
|
568 ret=[]
|
|
|
569 h = httplib2.Http()
|
|
|
570 url = url.replace("/index.html","").replace("/index_html","")
|
|
|
571 if url[-1]=="/":
|
|
|
572 url=url[0:-1]
|
|
|
573
|
|
|
574 urlq=url.replace(":","\:")
|
|
|
575 urlq=urlq.replace("/","\/")
|
|
|
576
|
|
4
|
577 #q ="http://localhost:8983/solr/mpiwgweb/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"%(idfield,urlq,field)
|
|
|
578 q =self.solrURL+SOLRSERVER%(idfield,urlq,field)
|
|
0
|
579
|
|
|
580 resp, content = h.request(q)
|
|
|
581
|
|
|
582 root = ET.fromstring(content)
|
|
|
583 #uri = "http://127.0.0.1:18080/www_neu/de/aktuelles/features/feature28"
|
|
|
584
|
|
|
585 xpstr = ".//lst[@name='termVectors']/lst[@name='%s']/lst[@name='%s']/lst"%(url,field)
|
|
|
586
|
|
|
587
|
|
|
588 tvs = root.findall(xpstr)
|
|
|
589
|
|
|
590 for tv in tvs:
|
|
|
591 wd = tv.attrib['name']
|
|
|
592 for f in tv.findall("./int[@name='tf']"):
|
|
|
593 fre = f.text
|
|
|
594
|
|
|
595
|
|
|
596 if int(fre)>2:
|
|
|
597
|
|
|
598 ret.append('{"text":"%s","size":%s}'%(wd,fre))
|
|
|
599
|
|
|
600 retStr="["+",".join(ret)+"]"
|
|
|
601
|
|
|
602 return retStr
|
|
|
603
|
|
|
604 #tauscht im request die in neewparams angegeben parameter aus.
|
|
|
605 def replaceParam(self, newparams):
|
|
|
606 x = self.REQUEST.form.copy()
|
|
|
607
|
|
|
608 for key,value in newparams.items():
|
|
|
609 x[key]=value
|
|
|
610
|
|
|
611
|
|
|
612 retls=[]
|
|
|
613 for k,v in x.items():
|
|
|
614 if not isinstance(v,basestring):
|
|
|
615 for y in v:
|
|
|
616 retls.append((k,y))
|
|
|
617 else:
|
|
|
618 retls.append((k,v))
|
|
|
619
|
|
|
620 return "?"+"&".join(["%s=%s"%(k,urllib.quote_plus(v,'/')) for (k, v) in retls])
|
|
|
621
|
|
|
622
|
|
|
623
|
|
|
624
|
|
|
625 #ruft @set ranges aus, gibt das ergebnis als json zurück
|
|
|
626 def getRangesAsJSON(self,field,begin,end,increment):
|
|
|
627 """ getRangesAsJSON"""
|
|
|
628 res = self.ranges(field, int(begin), int(end), int(increment))
|
|
|
629 return json.dumps(res)
|
|
|
630
|
|
|
631
|
|
|
632 #return only the values of resultList whicht start with startLetter or if starLetterNonAscii all values which
|
|
|
633 #start with an non ascii character
|
|
|
634 def filter (self,resultList,startLetter=None,startLetterNonAscii=0):
|
|
1
|
635 ls=[]
|
|
0
|
636 if startLetter:
|
|
4
|
637 startLetter=startLetter.lower()
|
|
0
|
638
|
|
|
639 matchStr = "[\[\]'\"]*"+startLetter
|
|
4
|
640 ls = [x for x in resultList if re.match(matchStr,x[0].lower())]
|
|
0
|
641
|
|
|
642 if startLetterNonAscii ==1:
|
|
|
643
|
|
|
644 ls = [x for x in resultList if not re.match("[\[\]'\"a-zA-Z].*",x[0])]
|
|
|
645 return ls
|
|
|
646
|
|
4
|
647
|
|
|
648
|
|
0
|
649 def manage_addZopeSolrForm(self):
|
|
|
650 """Form for external Links"""
|
|
|
651 pt=zptFile(self, 'zpt/AddZopeSolr.zpt')
|
|
|
652 return pt()
|
|
|
653
|
|
|
654
|
|
|
655 def manage_addZopeSolr(self,id,title,solrURL,RESPONSE=None):
|
|
|
656 """Add an external Link"""
|
|
|
657
|
|
|
658 newObj=ZopeSolr(id,title,solrURL)
|
|
|
659
|
|
|
660 self._setObject(id,newObj)
|
|
|
661
|
|
|
662
|
|
|
663 if RESPONSE is not None:
|
|
|
664 RESPONSE.redirect('manage_main')
|
|
4
|
665 |
