|
0
|
1 # -*- coding: utf-8 -*-
|
|
|
2
|
|
|
3 #Verbindet Zope mit solr. Vorraussetzung ist das Paket sunburnt, @see http://opensource.timetric.com/sunburnt/
|
|
|
4
|
|
|
5
|
|
|
6 from OFS.SimpleItem import SimpleItem
|
|
|
7 from Products.PageTemplates.PageTemplateFile import PageTemplateFile
|
|
|
8 import os.path
|
|
|
9 import sunburnt
|
|
|
10 from Globals import package_home
|
|
|
11 import httplib2
|
|
4
|
12 import urlparse
|
|
0
|
13 import urllib
|
|
|
14 import re
|
|
|
15 import xml.etree.ElementTree as ET
|
|
|
16 import json
|
|
|
17
|
|
|
18 #Worte die nicht in der Termliste angezeigt werden sollen #TODO: make this configurable
|
|
|
19
|
|
|
20 STOPLIST={'main_content':['forward','drucken','history','science','part','publications','projects',
|
|
|
21 'project','new','geschichte','institute','related','boltzmannstraße','14195'],
|
|
|
22
|
|
|
23 'title':['bd','10','11','12','18','19','20','abt','ad','di','history','geschichte','science']
|
|
|
24 }
|
|
|
25
|
|
|
26
|
|
4
|
27 PURLSERVER="http://md.mpiwg-berlin.mpg.de/purls/"
|
|
|
28
|
|
|
29 #TODO: only needed for getTermsAsJSON, solle irgendwie aus dem sunburnt kommen
|
|
|
30 SOLRSERVER="/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"
|
|
0
|
31
|
|
|
32 def zptFile(self, path, orphaned=False):
|
|
|
33 """returns a page template file from the product"""
|
|
|
34 if orphaned:
|
|
|
35 # unusual case
|
|
|
36 pt=PageTemplateFile(os.path.join(package_home(globals()), path))
|
|
|
37 else:
|
|
|
38
|
|
|
39 pt=PageTemplateFile(os.path.join(package_home(globals()), path)).__of__(self)
|
|
|
40 return pt
|
|
|
41
|
|
|
42
|
|
|
43
|
|
|
44 class ZopeSolr(SimpleItem):
|
|
|
45
|
|
|
46
|
|
|
47 meta_type="ZopeSolr"
|
|
|
48
|
|
|
49 manage_options= ({'label':'Main Config','action': 'changeMain'},) + SimpleItem.manage_options
|
|
|
50
|
|
|
51 def __init__(self,id,title,solrURL):
|
|
|
52 self.id=id
|
|
|
53 self.title=title
|
|
|
54 self.solrURL=solrURL #URL einer solr instance bzw. einer collection, falls nicht die default collection benutzt werden soll
|
|
|
55
|
|
|
56
|
|
|
57 #Verbinde mit der solt Instance
|
|
|
58
|
|
|
59 def connect(self):
|
|
|
60 self._v_solr=sunburnt.SolrInterface(url=self.solrURL)
|
|
4
|
61
|
|
|
62
|
|
|
63 #erzeuge den link auf die fulltext display version des bildviewers
|
|
|
64 def createFullTextLink(self,page,facetSerch,search):
|
|
|
65
|
|
|
66 fqs=[]
|
|
|
67 for key in facetSerch.keys():
|
|
|
68 values = self.getList(facetSerch.get(key))
|
|
|
69 for value in values:
|
|
|
70 if value!="*":
|
|
|
71 fqs.append("%s=%s"%(key,urllib.quote(value)));
|
|
|
72
|
|
|
73 ret="pf=%s"%page
|
|
|
74 ret+="&query=("
|
|
|
75
|
|
|
76
|
|
|
77
|
|
|
78 ret+=" OR ".join(fqs)
|
|
|
79 #if len(fqs)>0 and len(qs)>0 and qs[0]!="":
|
|
|
80 if len(fqs)>0 and len(search)>0: #TODO das muss noch geandert werden, wenn das der normale suchstring nach feldern müssen alle "AND" in "OR" getauscht werden
|
|
|
81 #da ja in der volltext-line die Zeile gedunfen werden soll wenn eines der Worte drin ist, vorher wurd eventuell und über die ganee seite gesucht
|
|
|
82 #die worte müssen aber nicht in einer zeile sein und werden jetzt nicht gefunden
|
|
|
83 ret+=" OR "
|
|
|
84
|
|
|
85
|
|
|
86
|
|
|
87 ret+="("+search+")"
|
|
|
88
|
|
|
89 ret+=")&viewLayer=search"
|
|
|
90
|
|
|
91 return ret
|
|
|
92
|
|
0
|
93 #erzeuge einen Link, insbesonder für faceted suche
|
|
|
94 #@param search: ist suchparameter, wird einfach als search=%s weitergereicht
|
|
|
95 #@param facetSearch: bekommt einen hash (feldname, liste der suchworte)
|
|
|
96
|
|
4
|
97 def generateLink(self,search,facetSearch={},ranges={},dateranges={},args={}):
|
|
0
|
98 ret="?search=%s"%search
|
|
|
99
|
|
|
100 for facet in facetSearch.keys():
|
|
|
101
|
|
|
102 searchTerms = facetSearch[facet]
|
|
|
103
|
|
|
104 if isinstance(searchTerms, basestring):
|
|
|
105 searchTerms=[searchTerms]
|
|
|
106
|
|
|
107 for searchTerm in searchTerms:
|
|
|
108 try:
|
|
|
109 ret+="&%s_fc=%s"%(facet,searchTerm.encode('utf-8'))
|
|
|
110 except:
|
|
|
111 ret+="&%s_fc=%s"%(facet,searchTerm)
|
|
|
112
|
|
|
113 for key,values in ranges.items():
|
|
|
114
|
|
|
115 if isinstance(values, basestring):
|
|
|
116 values=[values]
|
|
|
117
|
|
|
118 for value in values:
|
|
|
119 ret+="&%s_rg=%s"%(key,value)
|
|
|
120
|
|
4
|
121 for key,values in dateranges.items():
|
|
|
122
|
|
|
123 if isinstance(values, basestring):
|
|
|
124 values=[values]
|
|
|
125
|
|
|
126 for value in values:
|
|
|
127 ret+="&%s_drg=%s"%(key,value)
|
|
|
128
|
|
0
|
129
|
|
1
|
130 for key,value in args.items():
|
|
|
131
|
|
|
132 if isinstance(value, basestring):
|
|
|
133 value=[value]
|
|
|
134
|
|
|
135 for val in value:
|
|
|
136 ret+="&%s=%s"%(key,val)
|
|
0
|
137 return ret
|
|
|
138
|
|
|
139 #hilfsmethode erzeuget immer eine liste von einträgen
|
|
|
140 def getList(self,param):
|
|
|
141 if isinstance(param, basestring):
|
|
|
142 param=[param]
|
|
|
143
|
|
|
144 return param
|
|
|
145
|
|
|
146 #erzeugt analog zu den Ranges in Velocity für ein numerisches Feld die Suche in ranges
|
|
|
147 #@param field:ist der name des Feldes in dem in Ranges gesucht werden soll
|
|
|
148 #@param begin anfang der ranges
|
|
|
149 #@param end ende der Raanges
|
|
|
150 #@param increment größe eines ranges
|
|
4
|
151 #@param date wenn wahr, dann ist field ein Datumsfeld, begin, end,increment sind trotzdem zur Zeit, dan Integer für Jahre !!, d.h. zur Zeit sind nur JAhre als Schritte möglich
|
|
0
|
152 # für alle andere paramter @see prepareSearch
|
|
|
153 #@return gibt ein hash: mit range -> anzahl der Treffer in dem Ranage. e.g 1921-1950 -> 21
|
|
4
|
154
|
|
|
155 def ranges(self,field,begin,end,increment,solrQuery="",facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,date=False,storeFields=False):
|
|
0
|
156
|
|
|
157 q=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets)
|
|
|
158
|
|
4
|
159 res={} #speiceher abzahl
|
|
|
160
|
|
|
161 fls={} #speichere felder
|
|
|
162
|
|
|
163 #for fl in storeFields: #initialisiere den hash
|
|
|
164 # fls[fl]={}
|
|
|
165
|
|
0
|
166 if not getattr(self,'_v_solr_',None):
|
|
|
167 self.connect()
|
|
|
168
|
|
|
169
|
|
|
170
|
|
|
171 for x in range(begin,end,increment):
|
|
|
172 query={}
|
|
|
173 #query["%s__gt"%field]=x
|
|
|
174 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
4
|
175
|
|
|
176 if not date:
|
|
|
177 query["%s__gte"%field]=int(x)+1
|
|
|
178
|
|
|
179 query["%s__lte"%field]=x+increment
|
|
|
180
|
|
|
181 key="%s-%s"%(x,x+increment)
|
|
0
|
182
|
|
4
|
183 else:
|
|
|
184 year="%s-01-01T00:00:00Z"
|
|
|
185 query["%s__gte"%field]=year%(int(x))
|
|
|
186
|
|
|
187 query["%s__lte"%field]=year%(x+increment)
|
|
|
188
|
|
|
189 key="%s@%s"%(year%(int(x)),year%(x+increment))
|
|
|
190
|
|
|
191 result = q.query(**query).highlight("text_german").execute()
|
|
0
|
192
|
|
4
|
193 res[key]=result.result.numFound
|
|
|
194
|
|
|
195 if storeFields:
|
|
|
196 fls[key] = result.highlighting;
|
|
|
197
|
|
0
|
198
|
|
4
|
199
|
|
|
200 if storeFields:
|
|
|
201 return res,fls
|
|
|
202
|
|
|
203 else:
|
|
|
204 return res
|
|
0
|
205
|
|
|
206
|
|
|
207 #prepareSearch erzeugt die Suchabfrage
|
|
|
208
|
|
|
209 #solrQuery sucht im in schema.xml bzw. solrconfig.xml festgelegt generischen Feld, hierbei werden mit blanks getrennte eintrage in "AND" zerlegt.
|
|
|
210 #TODO: erlaube auch suche nach phrasen mit ""
|
|
|
211 #facetFields:Liste der Felder, nach denen facitiert werden sollen, wirdn in facet_by in solrburn uebersetzt.
|
|
|
212 #start: Erste Eintrag für paginierung, anzahl der Treffer
|
|
|
213 #rows: anzahl der Treffer
|
|
|
214 #facetSearch: Hash mit Feldnamen: suchwort oder Feldname: liste von Suchworten, hast wird direkt an query von solrburnt weitergegeben,
|
|
|
215 #sortfacets: if true, dann werden die Ergebnisse der facetierten suche alphabetisch sortiert, ACHTUNG: das ist nicht gleich der Funktion in solr die Liste
|
|
|
216 #direkt sortiert zurückzubekommen, hier werden die haufigsten Werte genommen (einstellt in solrconfig.xml) und dann nur diese sortiert!
|
|
|
217 #ausserdem werden beim sortieren, die stopworte gefiltert!
|
|
|
218 #
|
|
|
219 #neben den direkten parameter koennen auch parameter fuer die facetierte Suche über FORM im REQUEST übergeben werden, diese Felder müssen dann
|
|
|
220 #mit "_fc" enden.
|
|
|
221 # gibt als ergebnis den folgenden Hash, so wie in http://opensource.timetric.com/sunburnt/queryingsolr.html#executing-queries-and-interpreting-the-response,
|
|
|
222 # http://opensource.timetric.com/sunburnt/queryingsolr.html#highlighting
|
|
|
223 # und http://opensource.timetric.com/sunburnt/queryingsolr.html#faceting
|
|
|
224 #dokumentiert. Highlighting selbst wird in sorlconfig.xml konfiguriert.
|
|
|
225 #return ein Queryobjet, zur eigentlichen Suche muss darauf noch execute ausgeführt werden.
|
|
|
226
|
|
1
|
227 def prepareSearch(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None):
|
|
0
|
228 "search solr"
|
|
|
229
|
|
|
230
|
|
|
231 ranges={}
|
|
|
232 ## deal with a form
|
|
|
233 if self.REQUEST:
|
|
|
234 constr = self.REQUEST.form
|
|
3
|
235
|
|
0
|
236 for field in constr.keys():
|
|
|
237
|
|
|
238 #facetes
|
|
|
239 if field.endswith("_fc"):
|
|
|
240 if facetSearch is None:
|
|
|
241 facetSearch={}
|
|
|
242
|
|
|
243 vals = constr[field]
|
|
|
244 if not isinstance(vals,basestring):
|
|
|
245
|
|
|
246 vals=[x.decode('utf-8') for x in vals]
|
|
|
247 else:
|
|
|
248 vals=vals.decode('utf-8')
|
|
1
|
249
|
|
|
250
|
|
0
|
251 facetSearch[field.replace("_fc",'')]=vals
|
|
|
252 #ranges form a-b
|
|
|
253
|
|
1
|
254
|
|
|
255 if field.endswith("_or"):
|
|
|
256 if orSearch is None:
|
|
|
257 orSearch={}
|
|
|
258
|
|
|
259 vals = constr[field]
|
|
|
260 if not isinstance(vals,basestring):
|
|
|
261
|
|
|
262 vals=[x.decode('utf-8') for x in vals]
|
|
|
263 else:
|
|
|
264 vals=vals.decode('utf-8')
|
|
|
265
|
|
|
266
|
|
|
267 orSearch[field.replace("_or",'')]=vals
|
|
|
268 #ranges form a-b
|
|
|
269
|
|
|
270
|
|
0
|
271
|
|
|
272 if field.endswith("_rg"):
|
|
|
273
|
|
|
274
|
|
|
275 splitted = "_".split(field)
|
|
|
276 if len(splitted)==2:
|
|
|
277 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
278 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
279 ranges[field.replace("_rg","__gte")]=int(splitted[0])+1
|
|
|
280 ranges[field.replace("_rg","__lte")]=splitted[1]
|
|
4
|
281
|
|
|
282 elif field.endswith("_drg"):
|
|
|
283 splitted = "@".split(field)
|
|
|
284 if len(splitted)==2:
|
|
|
285 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
286 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
287 ranges[field.replace("_drg","__gte")]=splitted[0]
|
|
|
288 ranges[field.replace("_drg","__lte")]=splitted[1]
|
|
0
|
289
|
|
|
290
|
|
|
291 #teste verbindung zu solr
|
|
|
292 if not getattr(self,'_v_solr_',None):
|
|
|
293 self.connect()
|
|
|
294
|
|
|
295
|
|
|
296
|
|
|
297 solrQuery = solrQuery.decode('utf-8')
|
|
|
298
|
|
|
299 #teile die suche nach " " daraus wird dann eine AND suche
|
|
|
300 #TODO: sollte flexibler sein. insbesondere phrasen
|
|
|
301 splitted= solrQuery.split(" ")
|
|
|
302
|
|
|
303 res = self._v_solr
|
|
|
304
|
|
|
305
|
|
|
306
|
|
|
307
|
|
|
308 res=res.query(splitted)
|
|
4
|
309
|
|
0
|
310 if len(ranges.keys())>0:
|
|
4
|
311
|
|
|
312
|
|
0
|
313 res=res.query(ranges)
|
|
|
314
|
|
4
|
315
|
|
0
|
316 #ubergebe alle weiteren feld an die suche.
|
|
|
317 if facetSearch:
|
|
|
318 for key,vals in facetSearch.items():
|
|
|
319
|
|
4
|
320 if key.endswith("_rg"): #range
|
|
0
|
321
|
|
|
322 if not isinstance(vals,basestring):
|
|
|
323
|
|
|
324 vals=[x.decode('utf-8') for x in vals]
|
|
|
325 else:
|
|
|
326 vals=[vals.decode('utf-8')]
|
|
|
327
|
|
|
328 for val in vals:
|
|
|
329
|
|
|
330 splitted = val.split("-")
|
|
3
|
331
|
|
0
|
332 if len(splitted)==2:
|
|
|
333 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
334 facetSearch[key.replace("_rg","__gte")]=int(splitted[0])+1
|
|
4
|
335 facetSearch[key.replace("_rg","__lte")]=int(splitted[1])
|
|
3
|
336
|
|
0
|
337 del facetSearch[key] # loesche das urspuerngliche feld
|
|
4
|
338
|
|
|
339 elif key.endswith("_drg"): #daterange
|
|
|
340
|
|
|
341 if not isinstance(vals,basestring):
|
|
|
342
|
|
|
343 vals=[x.decode('utf-8') for x in vals]
|
|
|
344 else:
|
|
|
345 vals=[vals.decode('utf-8')]
|
|
|
346
|
|
|
347 for val in vals:
|
|
|
348
|
|
|
349 splitted = val.split("@")
|
|
|
350
|
|
|
351 if len(splitted)==2:
|
|
|
352 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
353 facetSearch[key.replace("_drg","__gte")]=splitted[0]
|
|
|
354 facetSearch[key.replace("_drg","__lte")]=splitted[1]
|
|
|
355
|
|
|
356 del facetSearch[key] # loesche das urspuerngliche feld
|
|
|
357
|
|
0
|
358
|
|
|
359 else:
|
|
1
|
360 if not isinstance(vals, basestring):
|
|
|
361 val = [x for x in vals if x!="*"] #siehe oben
|
|
|
362 else:
|
|
|
363 val = [vals]
|
|
0
|
364 facetSearch[key]=val
|
|
|
365
|
|
4
|
366
|
|
0
|
367 res=res.query(**facetSearch)
|
|
1
|
368
|
|
|
369
|
|
|
370 #felder mit ODER-Suche
|
|
|
371 if orSearch:
|
|
|
372
|
|
|
373 for key,vals in orSearch.items():
|
|
|
374 qr = None
|
|
|
375 if not "*" in vals: #dann ohne einschränkung (key:*) sucht nur nach eintragen in denen etwas im feld steht, wir wollen aber alle
|
|
|
376 if isinstance(vals, basestring):
|
|
|
377 vals = [vals]
|
|
|
378
|
|
|
379
|
|
|
380 for val in vals:
|
|
|
381 if not qr:
|
|
|
382 qr=self._v_solr.Q(**{key:val})
|
|
|
383
|
|
|
384 else:
|
|
|
385 qr=qr|self._v_solr.Q(**{key:val})
|
|
|
386
|
|
|
387
|
|
|
388 res=res.query(qr)
|
|
|
389
|
|
|
390
|
|
0
|
391
|
|
|
392 #wenn facetField existieren dann rufe facetierung auf
|
|
|
393 if len(facetFields)>0:
|
|
|
394 #for facet in facetFields:
|
|
|
395
|
|
|
396 # res = res.facet_by(facet)
|
|
|
397 res = res.facet_by(facetFields)
|
|
|
398
|
|
|
399 #res=res.paginate(start=start, rows=rows).highlight("main_content")
|
|
|
400
|
|
|
401 res=res.paginate(start=start, rows=rows)
|
|
|
402
|
|
|
403
|
|
4
|
404 #only highlighting if not searhc for only "*" - avoid max clause error
|
|
2
|
405 if solrQuery=="*":
|
|
3
|
406
|
|
4
|
407
|
|
2
|
408 res=res.paginate(start=start, rows=rows)
|
|
|
409 else:
|
|
4
|
410
|
|
2
|
411 res=res.paginate(start=start, rows=rows).highlight(usePhraseHighlighter=True)
|
|
0
|
412
|
|
|
413 return res
|
|
|
414
|
|
|
415
|
|
4
|
416 def replaceParameter(self,paramsNeu,queryString,ignore=[]):
|
|
|
417 params=urlparse.parse_qs(queryString);
|
|
|
418
|
|
|
419 for key in paramsNeu.keys():
|
|
|
420
|
|
|
421 params[key]=paramsNeu[key]
|
|
|
422
|
|
|
423 for key in ignore:
|
|
|
424 del params[key]
|
|
|
425
|
|
|
426 retArray = []
|
|
|
427 for x in params.keys():
|
|
|
428 for y in self.getList(params[x]):
|
|
|
429 retArray.append("%s=%s"%(x,urllib.quote(y)))
|
|
|
430
|
|
|
431 print retArray
|
|
|
432 return "&".join(retArray);
|
|
0
|
433 #für die parameter @see prepareSearch
|
|
|
434 #erzeugt eine Suchabfrage und führt diese aus.
|
|
|
435 #return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
436
|
|
1
|
437 def search(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True,orSearch=None):
|
|
0
|
438
|
|
1
|
439 res=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets,orSearch=orSearch)
|
|
0
|
440 response= res.execute()
|
|
|
441
|
|
|
442 #speichere faceted fields
|
|
|
443 if len(facetFields)>0:
|
|
|
444 facetedFields=response.facet_counts.facet_fields
|
|
|
445
|
|
|
446 if sortFacets:
|
|
|
447 facetedFields=self.sortFacetedFields(facetedFields)
|
|
|
448
|
|
|
449 else:
|
|
|
450 facetedFields={}
|
|
|
451
|
|
|
452
|
|
|
453
|
|
|
454
|
|
|
455 return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
456
|
|
|
457
|
|
|
458
|
|
|
459 #hilfsmethode zum sortieren über der ranges
|
|
|
460 def sortRanges(self,ranges):
|
|
|
461 x=list(ranges)
|
|
|
462 x.sort()
|
|
|
463 return x
|
|
|
464
|
|
|
465 #sortiert die Werte der FacetedFields
|
|
|
466 #(facetedFields ist ein hast mit feldname -> liste der (wert für das feld, anzahl der treffer für den wert)
|
|
|
467 #ausserdem werden die werte gemäß des angegebenen Filter gefiltert.
|
|
|
468
|
|
|
469 def sortFacetedFields(self, facetedFields,filter=STOPLIST):
|
|
|
470 ret={}
|
|
|
471
|
|
|
472 def cmpTuple(x,y):
|
|
|
473 return cmp(x[0],y[0])
|
|
|
474
|
|
|
475
|
|
|
476 for key in facetedFields.keys():
|
|
|
477 ls = facetedFields[key]
|
|
|
478 ls.sort(cmpTuple)
|
|
|
479 ret[key]=ls
|
|
|
480
|
|
|
481 if filter.get(key,None):
|
|
|
482 ls2=[]
|
|
|
483 for x in ls:
|
|
|
484 if x[0].encode('utf-8') not in filter[key]:
|
|
|
485 ls2.append(x)
|
|
|
486 ret[key]=ls2
|
|
|
487
|
|
|
488
|
|
|
489 ret[key]=[x for x in ret[key] if x[1]!=0]
|
|
|
490 return ret
|
|
|
491
|
|
|
492 def changeMain(self,solrURL=None,title=None,REQUEST=None,RESPONSE=None):
|
|
|
493 """change main settings"""
|
|
|
494 if solrURL:
|
|
|
495 self.solrURL=solrURL
|
|
|
496 self.title=title
|
|
|
497 self._v_solr=sunburnt.SolrInterface(url=solrURL)
|
|
|
498
|
|
|
499 if RESPONSE is not None:
|
|
|
500 RESPONSE.redirect('manage_main')
|
|
|
501
|
|
|
502
|
|
|
503 else:
|
|
|
504 pt=zptFile(self, 'zpt/ChangeZopeSolr.zpt')
|
|
|
505 return pt()
|
|
|
506
|
|
|
507 #sucht die je nach einsteillung in solrconfig.xml Werte mit den häufigsten Treffern oder alphabetisch sortiert zu einem
|
|
|
508 #bestimmten eintrag aus solr
|
|
|
509 #gedacht ist die methoden für die Anwendung nach dem Harvesten einer Website, es wird daher davon ausgegangen, dass sie hinter der
|
|
|
510 #idfield eine url steht. Wir es z.b. bei Nutch passiert. index.htm/index_html als Teil der url wird dabei unterdrückt (analog zu den harbest einstellunge für
|
|
|
511 # nutch für zope webseiten.
|
|
|
512 #@param @idfield is hierbei der Name des Feldes, das in solrschema als id defniert wurde
|
|
|
513 #field der Feldname von dem die Treffer gesurcht wernde sollen
|
|
|
514 #url die url des textes
|
|
|
515
|
|
|
516 def getTermsAsJSON(self,idfield,field,url):
|
|
|
517 """getTerms"""
|
|
|
518
|
|
|
519 ret=[]
|
|
|
520 h = httplib2.Http()
|
|
|
521 url = url.replace("/index.html","").replace("/index_html","")
|
|
|
522 if url[-1]=="/":
|
|
|
523 url=url[0:-1]
|
|
|
524
|
|
|
525 urlq=url.replace(":","\:")
|
|
|
526 urlq=urlq.replace("/","\/")
|
|
|
527
|
|
4
|
528 #q ="http://localhost:8983/solr/mpiwgweb/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"%(idfield,urlq,field)
|
|
|
529 q =self.solrURL+SOLRSERVER%(idfield,urlq,field)
|
|
0
|
530
|
|
|
531 resp, content = h.request(q)
|
|
|
532
|
|
|
533 root = ET.fromstring(content)
|
|
|
534 #uri = "http://127.0.0.1:18080/www_neu/de/aktuelles/features/feature28"
|
|
|
535
|
|
|
536 xpstr = ".//lst[@name='termVectors']/lst[@name='%s']/lst[@name='%s']/lst"%(url,field)
|
|
|
537
|
|
|
538
|
|
|
539 tvs = root.findall(xpstr)
|
|
|
540
|
|
|
541 for tv in tvs:
|
|
|
542 wd = tv.attrib['name']
|
|
|
543 for f in tv.findall("./int[@name='tf']"):
|
|
|
544 fre = f.text
|
|
|
545
|
|
|
546
|
|
|
547 if int(fre)>2:
|
|
|
548
|
|
|
549 ret.append('{"text":"%s","size":%s}'%(wd,fre))
|
|
|
550
|
|
|
551 retStr="["+",".join(ret)+"]"
|
|
|
552
|
|
|
553 return retStr
|
|
|
554
|
|
|
555 #tauscht im request die in neewparams angegeben parameter aus.
|
|
|
556 def replaceParam(self, newparams):
|
|
|
557 x = self.REQUEST.form.copy()
|
|
|
558
|
|
|
559 for key,value in newparams.items():
|
|
|
560 x[key]=value
|
|
|
561
|
|
|
562
|
|
|
563 retls=[]
|
|
|
564 for k,v in x.items():
|
|
|
565 if not isinstance(v,basestring):
|
|
|
566 for y in v:
|
|
|
567 retls.append((k,y))
|
|
|
568 else:
|
|
|
569 retls.append((k,v))
|
|
|
570
|
|
|
571 return "?"+"&".join(["%s=%s"%(k,urllib.quote_plus(v,'/')) for (k, v) in retls])
|
|
|
572
|
|
|
573
|
|
|
574
|
|
|
575
|
|
|
576 #ruft @set ranges aus, gibt das ergebnis als json zurück
|
|
|
577 def getRangesAsJSON(self,field,begin,end,increment):
|
|
|
578 """ getRangesAsJSON"""
|
|
|
579 res = self.ranges(field, int(begin), int(end), int(increment))
|
|
|
580 return json.dumps(res)
|
|
|
581
|
|
|
582
|
|
|
583 #return only the values of resultList whicht start with startLetter or if starLetterNonAscii all values which
|
|
|
584 #start with an non ascii character
|
|
|
585 def filter (self,resultList,startLetter=None,startLetterNonAscii=0):
|
|
1
|
586 ls=[]
|
|
0
|
587 if startLetter:
|
|
4
|
588 startLetter=startLetter.lower()
|
|
0
|
589
|
|
|
590 matchStr = "[\[\]'\"]*"+startLetter
|
|
4
|
591 ls = [x for x in resultList if re.match(matchStr,x[0].lower())]
|
|
0
|
592
|
|
|
593 if startLetterNonAscii ==1:
|
|
|
594
|
|
|
595 ls = [x for x in resultList if not re.match("[\[\]'\"a-zA-Z].*",x[0])]
|
|
|
596 return ls
|
|
|
597
|
|
4
|
598
|
|
|
599
|
|
0
|
600 def manage_addZopeSolrForm(self):
|
|
|
601 """Form for external Links"""
|
|
|
602 pt=zptFile(self, 'zpt/AddZopeSolr.zpt')
|
|
|
603 return pt()
|
|
|
604
|
|
|
605
|
|
|
606 def manage_addZopeSolr(self,id,title,solrURL,RESPONSE=None):
|
|
|
607 """Add an external Link"""
|
|
|
608
|
|
|
609 newObj=ZopeSolr(id,title,solrURL)
|
|
|
610
|
|
|
611 self._setObject(id,newObj)
|
|
|
612
|
|
|
613
|
|
|
614 if RESPONSE is not None:
|
|
|
615 RESPONSE.redirect('manage_main')
|
|
4
|
616 |
