|
0
|
1 # -*- coding: utf-8 -*-
|
|
|
2
|
|
|
3 #Verbindet Zope mit solr. Vorraussetzung ist das Paket sunburnt, @see http://opensource.timetric.com/sunburnt/
|
|
|
4
|
|
|
5
|
|
|
6 from OFS.SimpleItem import SimpleItem
|
|
|
7 from Products.PageTemplates.PageTemplateFile import PageTemplateFile
|
|
|
8 import pysolr
|
|
|
9 import os.path
|
|
|
10 import sunburnt
|
|
|
11 from Globals import package_home
|
|
|
12 import httplib2
|
|
|
13 import urllib
|
|
|
14 import re
|
|
|
15 import xml.etree.ElementTree as ET
|
|
|
16 import json
|
|
|
17
|
|
|
18 #Worte die nicht in der Termliste angezeigt werden sollen #TODO: make this configurable
|
|
|
19
|
|
|
20 STOPLIST={'main_content':['forward','drucken','history','science','part','publications','projects',
|
|
|
21 'project','new','geschichte','institute','related','boltzmannstraße','14195'],
|
|
|
22
|
|
|
23 'title':['bd','10','11','12','18','19','20','abt','ad','di','history','geschichte','science']
|
|
|
24 }
|
|
|
25
|
|
|
26
|
|
|
27
|
|
|
28 def zptFile(self, path, orphaned=False):
|
|
|
29 """returns a page template file from the product"""
|
|
|
30 if orphaned:
|
|
|
31 # unusual case
|
|
|
32 pt=PageTemplateFile(os.path.join(package_home(globals()), path))
|
|
|
33 else:
|
|
|
34
|
|
|
35 pt=PageTemplateFile(os.path.join(package_home(globals()), path)).__of__(self)
|
|
|
36 return pt
|
|
|
37
|
|
|
38
|
|
|
39
|
|
|
40 class ZopeSolr(SimpleItem):
|
|
|
41
|
|
|
42
|
|
|
43 meta_type="ZopeSolr"
|
|
|
44
|
|
|
45 manage_options= ({'label':'Main Config','action': 'changeMain'},) + SimpleItem.manage_options
|
|
|
46
|
|
|
47 def __init__(self,id,title,solrURL):
|
|
|
48 self.id=id
|
|
|
49 self.title=title
|
|
|
50 self.solrURL=solrURL #URL einer solr instance bzw. einer collection, falls nicht die default collection benutzt werden soll
|
|
|
51
|
|
|
52
|
|
|
53 #Verbinde mit der solt Instance
|
|
|
54
|
|
|
55 def connect(self):
|
|
|
56 self._v_solr=sunburnt.SolrInterface(url=self.solrURL)
|
|
|
57
|
|
|
58 #erzeuge einen Link, insbesonder für faceted suche
|
|
|
59 #@param search: ist suchparameter, wird einfach als search=%s weitergereicht
|
|
|
60 #@param facetSearch: bekommt einen hash (feldname, liste der suchworte)
|
|
|
61
|
|
|
62 def generateLink(self,search,facetSearch={},ranges={}):
|
|
|
63 ret="?search=%s"%search
|
|
|
64
|
|
|
65 for facet in facetSearch.keys():
|
|
|
66
|
|
|
67 searchTerms = facetSearch[facet]
|
|
|
68
|
|
|
69 if isinstance(searchTerms, basestring):
|
|
|
70 searchTerms=[searchTerms]
|
|
|
71
|
|
|
72 for searchTerm in searchTerms:
|
|
|
73 try:
|
|
|
74 ret+="&%s_fc=%s"%(facet,searchTerm.encode('utf-8'))
|
|
|
75 except:
|
|
|
76 ret+="&%s_fc=%s"%(facet,searchTerm)
|
|
|
77
|
|
|
78 for key,values in ranges.items():
|
|
|
79
|
|
|
80 if isinstance(values, basestring):
|
|
|
81 values=[values]
|
|
|
82
|
|
|
83 for value in values:
|
|
|
84 ret+="&%s_rg=%s"%(key,value)
|
|
|
85
|
|
|
86
|
|
|
87 return ret
|
|
|
88
|
|
|
89 #hilfsmethode erzeuget immer eine liste von einträgen
|
|
|
90 def getList(self,param):
|
|
|
91 if isinstance(param, basestring):
|
|
|
92 param=[param]
|
|
|
93
|
|
|
94 return param
|
|
|
95
|
|
|
96 #erzeugt analog zu den Ranges in Velocity für ein numerisches Feld die Suche in ranges
|
|
|
97 #@param field:ist der name des Feldes in dem in Ranges gesucht werden soll
|
|
|
98 #@param begin anfang der ranges
|
|
|
99 #@param end ende der Raanges
|
|
|
100 #@param increment größe eines ranges
|
|
|
101 # für alle andere paramter @see prepareSearch
|
|
|
102 #@return gibt ein hash: mit range -> anzahl der Treffer in dem Ranage. e.g 1921-1950 -> 21
|
|
|
103 def ranges(self,field,begin,end,increment,solrQuery="",facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True):
|
|
|
104
|
|
|
105 q=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets)
|
|
|
106
|
|
|
107 res={}
|
|
|
108 if not getattr(self,'_v_solr_',None):
|
|
|
109 self.connect()
|
|
|
110
|
|
|
111
|
|
|
112
|
|
|
113 for x in range(begin,end,increment):
|
|
|
114 query={}
|
|
|
115 #query["%s__gt"%field]=x
|
|
|
116 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
117 query["%s__gte"%field]=int(x)+1
|
|
|
118
|
|
|
119 query["%s__lte"%field]=x+increment
|
|
|
120
|
|
|
121 result = q.query(**query).execute()
|
|
|
122
|
|
|
123 res["%s-%s"%(x,x+increment)]=result.result.numFound
|
|
|
124
|
|
|
125 return res
|
|
|
126
|
|
|
127
|
|
|
128 #prepareSearch erzeugt die Suchabfrage
|
|
|
129
|
|
|
130 #solrQuery sucht im in schema.xml bzw. solrconfig.xml festgelegt generischen Feld, hierbei werden mit blanks getrennte eintrage in "AND" zerlegt.
|
|
|
131 #TODO: erlaube auch suche nach phrasen mit ""
|
|
|
132 #facetFields:Liste der Felder, nach denen facitiert werden sollen, wirdn in facet_by in solrburn uebersetzt.
|
|
|
133 #start: Erste Eintrag für paginierung, anzahl der Treffer
|
|
|
134 #rows: anzahl der Treffer
|
|
|
135 #facetSearch: Hash mit Feldnamen: suchwort oder Feldname: liste von Suchworten, hast wird direkt an query von solrburnt weitergegeben,
|
|
|
136 #sortfacets: if true, dann werden die Ergebnisse der facetierten suche alphabetisch sortiert, ACHTUNG: das ist nicht gleich der Funktion in solr die Liste
|
|
|
137 #direkt sortiert zurückzubekommen, hier werden die haufigsten Werte genommen (einstellt in solrconfig.xml) und dann nur diese sortiert!
|
|
|
138 #ausserdem werden beim sortieren, die stopworte gefiltert!
|
|
|
139 #
|
|
|
140 #neben den direkten parameter koennen auch parameter fuer die facetierte Suche über FORM im REQUEST übergeben werden, diese Felder müssen dann
|
|
|
141 #mit "_fc" enden.
|
|
|
142 # gibt als ergebnis den folgenden Hash, so wie in http://opensource.timetric.com/sunburnt/queryingsolr.html#executing-queries-and-interpreting-the-response,
|
|
|
143 # http://opensource.timetric.com/sunburnt/queryingsolr.html#highlighting
|
|
|
144 # und http://opensource.timetric.com/sunburnt/queryingsolr.html#faceting
|
|
|
145 #dokumentiert. Highlighting selbst wird in sorlconfig.xml konfiguriert.
|
|
|
146 #return ein Queryobjet, zur eigentlichen Suche muss darauf noch execute ausgeführt werden.
|
|
|
147
|
|
|
148 def prepareSearch(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True):
|
|
|
149 "search solr"
|
|
|
150
|
|
|
151
|
|
|
152 ranges={}
|
|
|
153 ## deal with a form
|
|
|
154 if self.REQUEST:
|
|
|
155 constr = self.REQUEST.form
|
|
|
156 print constr
|
|
|
157 for field in constr.keys():
|
|
|
158
|
|
|
159 #facetes
|
|
|
160 if field.endswith("_fc"):
|
|
|
161 if facetSearch is None:
|
|
|
162 facetSearch={}
|
|
|
163
|
|
|
164 vals = constr[field]
|
|
|
165 if not isinstance(vals,basestring):
|
|
|
166
|
|
|
167 vals=[x.decode('utf-8') for x in vals]
|
|
|
168 else:
|
|
|
169 vals=vals.decode('utf-8')
|
|
|
170 facetSearch[field.replace("_fc",'')]=vals
|
|
|
171 #ranges form a-b
|
|
|
172
|
|
|
173
|
|
|
174 if field.endswith("_rg"):
|
|
|
175
|
|
|
176
|
|
|
177 splitted = "_".split(field)
|
|
|
178 if len(splitted)==2:
|
|
|
179 #ranges[field.replace("_rg","__gt")]=splitted[0]
|
|
|
180 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
181 ranges[field.replace("_rg","__gte")]=int(splitted[0])+1
|
|
|
182 ranges[field.replace("_rg","__lte")]=splitted[1]
|
|
|
183
|
|
|
184
|
|
|
185
|
|
|
186 #teste verbindung zu solr
|
|
|
187 if not getattr(self,'_v_solr_',None):
|
|
|
188 self.connect()
|
|
|
189
|
|
|
190
|
|
|
191
|
|
|
192 solrQuery = solrQuery.decode('utf-8')
|
|
|
193
|
|
|
194 #teile die suche nach " " daraus wird dann eine AND suche
|
|
|
195 #TODO: sollte flexibler sein. insbesondere phrasen
|
|
|
196 splitted= solrQuery.split(" ")
|
|
|
197
|
|
|
198 res = self._v_solr
|
|
|
199
|
|
|
200
|
|
|
201
|
|
|
202
|
|
|
203 res=res.query(splitted)
|
|
|
204 if len(ranges.keys())>0:
|
|
|
205 res=res.query(ranges)
|
|
|
206
|
|
|
207
|
|
|
208 #ubergebe alle weiteren feld an die suche.
|
|
|
209 if facetSearch:
|
|
|
210 for key,vals in facetSearch.items():
|
|
|
211
|
|
|
212 if key.endswith("_rg"):
|
|
|
213
|
|
|
214 if not isinstance(vals,basestring):
|
|
|
215
|
|
|
216 vals=[x.decode('utf-8') for x in vals]
|
|
|
217 else:
|
|
|
218 vals=[vals.decode('utf-8')]
|
|
|
219
|
|
|
220 for val in vals:
|
|
|
221
|
|
|
222 splitted = val.split("-")
|
|
|
223 print splitted
|
|
|
224 if len(splitted)==2:
|
|
|
225 #TODO __gt scheint nicht zu funktionieren wird zu gte (???)
|
|
|
226 facetSearch[key.replace("_rg","__gte")]=int(splitted[0])+1
|
|
|
227 facetSearch[key.replace("_rg","__lte")]=splitted[1]
|
|
|
228 print "I AM HERE 3"
|
|
|
229 print facetSearch
|
|
|
230 del facetSearch[key] # loesche das urspuerngliche feld
|
|
|
231
|
|
|
232 else:
|
|
|
233 val = [x for x in vals if x!="*"] #siehe oben
|
|
|
234 facetSearch[key]=val
|
|
|
235
|
|
|
236
|
|
|
237 res=res.query(**facetSearch)
|
|
|
238
|
|
|
239
|
|
|
240 #wenn facetField existieren dann rufe facetierung auf
|
|
|
241 if len(facetFields)>0:
|
|
|
242 #for facet in facetFields:
|
|
|
243
|
|
|
244 # res = res.facet_by(facet)
|
|
|
245 res = res.facet_by(facetFields)
|
|
|
246
|
|
|
247 #res=res.paginate(start=start, rows=rows).highlight("main_content")
|
|
|
248
|
|
|
249 res=res.paginate(start=start, rows=rows)
|
|
|
250
|
|
|
251
|
|
|
252
|
|
|
253 res=res.paginate(start=start, rows=rows).highlight()
|
|
|
254
|
|
|
255 return res
|
|
|
256
|
|
|
257
|
|
|
258 #für die parameter @see prepareSearch
|
|
|
259 #erzeugt eine Suchabfrage und führt diese aus.
|
|
|
260 #return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
261
|
|
|
262 def search(self,solrQuery,facetFields=[],start=0,rows=10,facetSearch=None,sortFacets=True):
|
|
|
263
|
|
|
264 res=self.prepareSearch(solrQuery,facetFields,start,rows,facetSearch,sortFacets)
|
|
|
265 response= res.execute()
|
|
|
266
|
|
|
267 #speichere faceted fields
|
|
|
268 if len(facetFields)>0:
|
|
|
269 facetedFields=response.facet_counts.facet_fields
|
|
|
270
|
|
|
271 if sortFacets:
|
|
|
272 facetedFields=self.sortFacetedFields(facetedFields)
|
|
|
273
|
|
|
274 else:
|
|
|
275 facetedFields={}
|
|
|
276
|
|
|
277
|
|
|
278
|
|
|
279
|
|
|
280 return {"result":response.result, "hl":response.highlighting,"facetFields":facetedFields}
|
|
|
281
|
|
|
282
|
|
|
283
|
|
|
284 #hilfsmethode zum sortieren über der ranges
|
|
|
285 def sortRanges(self,ranges):
|
|
|
286 x=list(ranges)
|
|
|
287 x.sort()
|
|
|
288 return x
|
|
|
289
|
|
|
290 #sortiert die Werte der FacetedFields
|
|
|
291 #(facetedFields ist ein hast mit feldname -> liste der (wert für das feld, anzahl der treffer für den wert)
|
|
|
292 #ausserdem werden die werte gemäß des angegebenen Filter gefiltert.
|
|
|
293
|
|
|
294 def sortFacetedFields(self, facetedFields,filter=STOPLIST):
|
|
|
295 ret={}
|
|
|
296
|
|
|
297 def cmpTuple(x,y):
|
|
|
298 return cmp(x[0],y[0])
|
|
|
299
|
|
|
300
|
|
|
301 for key in facetedFields.keys():
|
|
|
302 ls = facetedFields[key]
|
|
|
303 ls.sort(cmpTuple)
|
|
|
304 ret[key]=ls
|
|
|
305
|
|
|
306 if filter.get(key,None):
|
|
|
307 ls2=[]
|
|
|
308 for x in ls:
|
|
|
309 if x[0].encode('utf-8') not in filter[key]:
|
|
|
310 ls2.append(x)
|
|
|
311 ret[key]=ls2
|
|
|
312
|
|
|
313
|
|
|
314 ret[key]=[x for x in ret[key] if x[1]!=0]
|
|
|
315 return ret
|
|
|
316
|
|
|
317 def changeMain(self,solrURL=None,title=None,REQUEST=None,RESPONSE=None):
|
|
|
318 """change main settings"""
|
|
|
319 if solrURL:
|
|
|
320 self.solrURL=solrURL
|
|
|
321 self.title=title
|
|
|
322 self._v_solr=sunburnt.SolrInterface(url=solrURL)
|
|
|
323
|
|
|
324 if RESPONSE is not None:
|
|
|
325 RESPONSE.redirect('manage_main')
|
|
|
326
|
|
|
327
|
|
|
328 else:
|
|
|
329 pt=zptFile(self, 'zpt/ChangeZopeSolr.zpt')
|
|
|
330 return pt()
|
|
|
331
|
|
|
332 #sucht die je nach einsteillung in solrconfig.xml Werte mit den häufigsten Treffern oder alphabetisch sortiert zu einem
|
|
|
333 #bestimmten eintrag aus solr
|
|
|
334 #gedacht ist die methoden für die Anwendung nach dem Harvesten einer Website, es wird daher davon ausgegangen, dass sie hinter der
|
|
|
335 #idfield eine url steht. Wir es z.b. bei Nutch passiert. index.htm/index_html als Teil der url wird dabei unterdrückt (analog zu den harbest einstellunge für
|
|
|
336 # nutch für zope webseiten.
|
|
|
337 #@param @idfield is hierbei der Name des Feldes, das in solrschema als id defniert wurde
|
|
|
338 #field der Feldname von dem die Treffer gesurcht wernde sollen
|
|
|
339 #url die url des textes
|
|
|
340
|
|
|
341 def getTermsAsJSON(self,idfield,field,url):
|
|
|
342 """getTerms"""
|
|
|
343
|
|
|
344 ret=[]
|
|
|
345 h = httplib2.Http()
|
|
|
346 url = url.replace("/index.html","").replace("/index_html","")
|
|
|
347 if url[-1]=="/":
|
|
|
348 url=url[0:-1]
|
|
|
349
|
|
|
350 urlq=url.replace(":","\:")
|
|
|
351 urlq=urlq.replace("/","\/")
|
|
|
352
|
|
|
353 q ="http://localhost:8983/solr/mpiwgweb/select?q=%s:%s&wt=xml&tv=on&qt=tvrh&fl=%s&tv.tf=true"%(idfield,urlq,field)
|
|
|
354
|
|
|
355 resp, content = h.request(q)
|
|
|
356
|
|
|
357 root = ET.fromstring(content)
|
|
|
358 #uri = "http://127.0.0.1:18080/www_neu/de/aktuelles/features/feature28"
|
|
|
359
|
|
|
360 xpstr = ".//lst[@name='termVectors']/lst[@name='%s']/lst[@name='%s']/lst"%(url,field)
|
|
|
361
|
|
|
362
|
|
|
363 tvs = root.findall(xpstr)
|
|
|
364
|
|
|
365 for tv in tvs:
|
|
|
366 wd = tv.attrib['name']
|
|
|
367 for f in tv.findall("./int[@name='tf']"):
|
|
|
368 fre = f.text
|
|
|
369
|
|
|
370
|
|
|
371 if int(fre)>2:
|
|
|
372
|
|
|
373 ret.append('{"text":"%s","size":%s}'%(wd,fre))
|
|
|
374
|
|
|
375 retStr="["+",".join(ret)+"]"
|
|
|
376
|
|
|
377 return retStr
|
|
|
378
|
|
|
379 #tauscht im request die in neewparams angegeben parameter aus.
|
|
|
380 def replaceParam(self, newparams):
|
|
|
381 x = self.REQUEST.form.copy()
|
|
|
382
|
|
|
383 for key,value in newparams.items():
|
|
|
384 x[key]=value
|
|
|
385
|
|
|
386
|
|
|
387 retls=[]
|
|
|
388 for k,v in x.items():
|
|
|
389 if not isinstance(v,basestring):
|
|
|
390 for y in v:
|
|
|
391 retls.append((k,y))
|
|
|
392 else:
|
|
|
393 retls.append((k,v))
|
|
|
394
|
|
|
395 return "?"+"&".join(["%s=%s"%(k,urllib.quote_plus(v,'/')) for (k, v) in retls])
|
|
|
396
|
|
|
397
|
|
|
398
|
|
|
399
|
|
|
400 #ruft @set ranges aus, gibt das ergebnis als json zurück
|
|
|
401 def getRangesAsJSON(self,field,begin,end,increment):
|
|
|
402 """ getRangesAsJSON"""
|
|
|
403 res = self.ranges(field, int(begin), int(end), int(increment))
|
|
|
404 return json.dumps(res)
|
|
|
405
|
|
|
406
|
|
|
407 #return only the values of resultList whicht start with startLetter or if starLetterNonAscii all values which
|
|
|
408 #start with an non ascii character
|
|
|
409 def filter (self,resultList,startLetter=None,startLetterNonAscii=0):
|
|
|
410 if startLetter:
|
|
|
411
|
|
|
412 matchStr = "[\[\]'\"]*"+startLetter
|
|
|
413 ls = [x for x in resultList if re.match(matchStr,x[0])]
|
|
|
414
|
|
|
415 if startLetterNonAscii ==1:
|
|
|
416
|
|
|
417 ls = [x for x in resultList if not re.match("[\[\]'\"a-zA-Z].*",x[0])]
|
|
|
418 return ls
|
|
|
419
|
|
|
420 def manage_addZopeSolrForm(self):
|
|
|
421 """Form for external Links"""
|
|
|
422 pt=zptFile(self, 'zpt/AddZopeSolr.zpt')
|
|
|
423 return pt()
|
|
|
424
|
|
|
425
|
|
|
426 def manage_addZopeSolr(self,id,title,solrURL,RESPONSE=None):
|
|
|
427 """Add an external Link"""
|
|
|
428
|
|
|
429 newObj=ZopeSolr(id,title,solrURL)
|
|
|
430
|
|
|
431 self._setObject(id,newObj)
|
|
|
432
|
|
|
433
|
|
|
434 if RESPONSE is not None:
|
|
|
435 RESPONSE.redirect('manage_main')
|
|
|
436 |
