version 1.47.2.54, 2006/07/14 09:14:17
|
version 1.47.2.58, 2006/08/15 13:28:29
|
Line 47 def getTextFromNode(nodename):
|
Line 47 def getTextFromNode(nodename):
|
rc = rc + node.data |
rc = rc + node.data |
return rc |
return rc |
|
|
|
|
|
def sortStopWordsF(self,xo,yo): |
|
if not hasattr(self,'_v_stopWords'): |
|
self._v_stopWords=self.stopwords_en.data.split("\n") |
|
|
|
x=str(xo[1]) |
|
y=str(yo[1]) |
|
|
|
strx=x.split(" ") |
|
stry=y.split(" ") |
|
|
|
for tmp in strx: |
|
if tmp.lower() in self._v_stopWords: |
|
del strx[strx.index(tmp)] |
|
|
|
for tmp in stry: |
|
if tmp.lower() in self._v_stopWords: |
|
del stry[stry.index(tmp)] |
|
|
|
return cmp(" ".join(strx)," ".join(stry)) |
|
|
|
def sortStopWords(self): |
|
return lambda x,y : sortStopWordsF(self,x,y) |
|
|
def sortF(x,y): |
def sortF(x,y): |
try: |
try: |
return cmp(x[1],y[1]) |
return cmp(x[1],y[1]) |
Line 270 class MPIWGRoot(ZSQLExtendFolder):
|
Line 294 class MPIWGRoot(ZSQLExtendFolder):
|
folders=['MPIWGProject','Folder','ECHO_Navigation'] |
folders=['MPIWGProject','Folder','ECHO_Navigation'] |
meta_type='MPIWGRoot' |
meta_type='MPIWGRoot' |
|
|
|
def harvestProjects(self): |
|
"""harvest""" |
|
folder="/tmp" |
|
try: |
|
os.mkdir("/tmp/harvest_MPIWG") |
|
except: |
|
pass |
|
founds=self.ZopeFind(self.aq_parent.projects,obj_metatypes=['MPIWGProject'],search_sub=1) |
|
for found in founds: |
|
txt=found[1].harvest_page() |
|
|
|
if txt and (txt != ""): |
|
name=found[0].replace("/","_") |
|
fh=file("/tmp/harvest_MPIWG/"+name,"w") |
|
fh.write(txt) |
|
fh.close() |
|
|
def decode(self,str): |
def decode(self,str): |
"""decoder""" |
"""decoder""" |
if not str: |
if not str: |
Line 354 class MPIWGRoot(ZSQLExtendFolder):
|
Line 395 class MPIWGRoot(ZSQLExtendFolder):
|
else: |
else: |
return False |
return False |
|
|
|
def subNavStatic(self,obj): |
|
"""subnav" von self""" |
|
def sortWeight(x,y): |
|
x1=int(getattr(x[1],'weight','0')) |
|
y1=int(getattr(y[1],'weight','0')) |
|
return cmp(x1,y1) |
|
|
|
subs=self.ZopeFind(obj,obj_metatypes=['MPIWGTemplate','MPIWGLink']) |
|
subret=[] |
|
|
|
for x in subs: |
|
if not(x[1].title==""): |
|
subret.append(x) |
|
subret.sort(sortWeight) |
|
return subret |
|
|
def subNav(self,obj): |
def subNav(self,obj): |
"""return subnav elemente""" |
"""return subnav elemente""" |
def sortWeight(x,y): |
def sortWeight(x,y): |
Line 368 class MPIWGRoot(ZSQLExtendFolder):
|
Line 425 class MPIWGRoot(ZSQLExtendFolder):
|
|
|
|
|
#suche die zweite ebene |
#suche die zweite ebene |
|
|
if not obj.aq_parent.getId() in ['de','en']: |
if not obj.aq_parent.getId() in ['de','en']: |
obj=obj.aq_parent |
obj=obj.aq_parent |
|
|
while not self.ZopeFind(self,obj_ids=[obj.getId()]): |
while not self.ZopeFind(self,obj_ids=[obj.getId()]): |
obj=obj.aq_parent |
obj=obj.aq_parent |
|
|
|
|
if hasattr(self,obj.getId()): |
if hasattr(self,obj.getId()): |
|
|
subs=self.ZopeFind(getattr(self,obj.getId()),obj_metatypes=['MPIWGTemplate','MPIWGLink']) |
subs=self.ZopeFind(getattr(self,obj.getId()),obj_metatypes=['MPIWGTemplate','MPIWGLink']) |
Line 502 class MPIWGRoot(ZSQLExtendFolder):
|
Line 561 class MPIWGRoot(ZSQLExtendFolder):
|
self.id=id |
self.id=id |
self.title=title |
self.title=title |
|
|
|
def removeStopWords(self,xo): |
|
"""remove stop words from xo""" |
|
if not hasattr(self,'_v_stopWords'): |
|
self._v_stopWords=self.stopwords_en.data.split("\n") |
|
|
|
x=str(xo) |
|
|
|
strx=x.split(" ") |
|
|
|
for tmp in strx: |
|
|
|
if tmp.lower() in self._v_stopWords: |
|
del strx[strx.index(tmp)] |
|
|
|
return " ".join(strx) |
|
|
def urlQuote(self,str): |
def urlQuote(self,str): |
"""quote""" |
"""quote""" |
return urllib.quote(str) |
return urllib.quote(str) |
Line 700 class MPIWGRoot(ZSQLExtendFolder):
|
Line 775 class MPIWGRoot(ZSQLExtendFolder):
|
|
|
if sort=="int": |
if sort=="int": |
ret.sort(sortI) |
ret.sort(sortI) |
|
elif sort=="stopWords": |
|
|
|
ret.sort(sortStopWords(self)) |
|
|
else: |
else: |
ret.sort(sortF) |
ret.sort(sortF) |
|
|
Line 1433 class MPIWGProject(CatalogAware,Folder):
|
Line 1512 class MPIWGProject(CatalogAware,Folder):
|
meta_type='MPIWGProject' |
meta_type='MPIWGProject' |
default_catalog='ProjectCatalog' |
default_catalog='ProjectCatalog' |
|
|
|
|
def sortedByPlace(self,metatype): |
def sortedByPlace(self,metatype): |
"""find metatype and sort by place""" |
"""find metatype and sort by place""" |
def sort(x,y): |
def sort(x,y): |
Line 1889 class MPIWGProject(CatalogAware,Folder):
|
Line 1969 class MPIWGProject(CatalogAware,Folder):
|
pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','no_project')).__of__(self) |
pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','no_project')).__of__(self) |
return pt() |
return pt() |
|
|
|
def getGetNeighbourhood(self,wordStr, length=100): |
|
"""finde umgebung um die worte in wordStr, zurckgegeben wird eine Array mit den Umgebungen von Fundstellen der Worte |
|
alle Tags werden entfernt, die Fundstellen werden mit <span class="found">XX</span> getaggt, die Umgebungen werden |
|
case insensitive gesucht |
|
@param wordStr: string mit Worten getrennt durch Leerzeichen, Phrasen sind mit " gekennzeichnet |
|
"eine phrase", "*" bezeichnet wildcards und wird ignoriert" |
|
@param length: optional, default wert 100, 2*length ist die gr§e der Umgebung |
|
""" |
|
|
|
ret=[] # nimmt das Array auf, dass spter zurckgegeben wird |
|
ranges=[] #Array mit tupeln x,y wobei x die Position des Anfang und y des Endes der i-ten Umgebung angiebt |
|
|
|
def isInRanges(nr,length): |
|
"""test ob eine gegeben Position nr schon irgendwo in einer Umgebung ist, gibt den Index des ersten Wertes aus ranges zurck, |
|
-1, wenn kein Treffer |
|
|
|
@param nr: Position die geprft werden soll |
|
@param length: Lnge des Wortes das geprft werden soll |
|
""" |
|
for x in ranges: |
|
if (x[0]<=nr) and (nr < (x[1]-length)): |
|
return ranges.index(x) |
|
return -1 |
|
|
|
# deal with phrases, in Phrasen werden die Leerzeichen durch "_" ersetzt. |
|
def rep_empty(str): |
|
x= re.sub(" ","_",str.group(0)) |
|
return re.sub("\"","",x) |
|
|
|
wordStr=re.sub("\".*?\"", rep_empty,wordStr)#ersetze leerzeichen in " " durch "_" und loesche " |
|
|
|
#deal with wildcards, for our purposes it is enough to delete the wildcard |
|
wordStr=wordStr.replace("*","") |
|
|
|
words=wordStr.split(" ") |
|
#if not words is ListType: |
|
# words=[words] |
|
|
|
txt=self.harvest_page() |
|
|
|
txt=re.sub("<.*?>", "", txt) # loesche alle Tags |
|
for word in words: |
|
word=re.sub("_"," ",word) # ersetze zurueck "_" durch " " |
|
pos=0 |
|
|
|
n=txt.lower().count(word.lower()) # wie oft tritt das Wort auf |
|
|
|
for i in range(n): |
|
pos=txt.lower().find(word.lower(),pos) |
|
|
|
if pos > 0: |
|
x=max(0,pos-length) |
|
y=min(len(txt),pos+length) |
|
|
|
|
|
#is word already in one of the results |
|
nr=isInRanges(pos,len(word)) |
|
if nr >=0:# word ist in einer schon gefunden Umgebung, dann vergr§ere diese |
|
x=min(ranges[nr][0],x) |
|
y=max(ranges[nr][1],y) |
|
|
|
str=txt[x:y] |
|
|
|
if nr >=0: # word ist in einer schon gefunden Umgebung |
|
ranges[nr]=(x,y) # neue Position der Umgebung |
|
|
|
ret[nr]=str # neue Umgebung |
|
else: # andernfalls neue Umgebung hinzufgen |
|
ranges.append((x,y)) |
|
|
|
ret.append(str) |
|
|
|
pos=pos+len(word) |
|
else: |
|
break; |
|
|
|
# now highlight everything |
|
for x in range(len(ret)): |
|
for word in words: |
|
repl=re.compile(word,re.IGNORECASE) |
|
ret[x]=repl.sub(""" <span class="found">%s</span>"""%word.upper(),ret[x]) |
|
|
|
return ret |
|
|
|
def harvest_page(self,context=None): |
|
"""seite fuer harvesting fuer die Projektsuche""" |
|
if not context: |
|
context=self |
|
|
|
if self.isActiveProject() and self.isActual(): |
|
ext=getattr(self,"harvest_main",None) |
|
if ext: |
|
return getattr(self,ext.getId())() |
|
|
|
pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','harvest_main')).__of__(context) |
|
|
|
|
|
return pt() |
|
|
def index_html(self,request=True,context=None): |
def index_html(self,request=True,context=None): |
"""show homepage""" |
"""show homepage""" |
if not context: |
if not context: |