[BACK]Return to MPIWGProjects.py CVS log [TXT] [DIR] Up to [Repository] / MPIWGWeb

Diff for /MPIWGWeb/MPIWGProjects.py between versions 1.47.2.56 and 1.47.2.74

version 1.47.2.56, 2006/08/03 09:43:40 version 1.47.2.74, 2007/04/19 13:32:35
Line 2 Line 2
 for organizing and maintaining the different project pages  for organizing and maintaining the different project pages
   
 """  """
 #TODO: mechanismus fur links to personen ueberarbeiten, da jetzt alle e_mails als members auftauchen unabhaengig vom status publish_the_data  #TODO: mechanismus fur links to personen ueberarbeiten, da jetzt alle e_mails als members auftauchen unabhaenig vom status publish_the_data
 #TODO: was passiert wenn aenderungen von jochen im filemaker nicht mit den aenderungen im sql uebereinstimmen  #TODO: was passiert wenn aenderungen von jochen im filemaker nicht mit den aenderungen im sql uebereinstimmen
 #TODO: in einzelnen projecte steht als pfad auf die bilder noch wwwneu statt www  #TODO: in einzelnen projecte steht als pfad auf die bilder noch wwwneu statt www
   
Line 19  import string Line 19  import string
 import re  import re
 import os  import os
 from types import *  from types import *
 import zLOG  import logging
 import xmlhelper # Methoden zur Verwaltung der projekt xml  import xmlhelper # Methoden zur Verwaltung der projekt xml
 from OFS.SimpleItem import SimpleItem  from OFS.SimpleItem import SimpleItem
 from OFS.Folder import Folder  from OFS.Folder import Folder
Line 33  from Ft.Xml.XPath import Evaluate Line 33  from Ft.Xml.XPath import Evaluate
 from Ft.Xml.XPath.Context import Context  from Ft.Xml.XPath.Context import Context
 from Ft.Xml.Domlette import NonvalidatingReader,PrettyPrint, Print  from Ft.Xml.Domlette import NonvalidatingReader,PrettyPrint, Print
 from Ft.Xml import EMPTY_NAMESPACE  from Ft.Xml import EMPTY_NAMESPACE
   import copy
   import updatePersonalWWW
   import MPIWGStaff
   
 definedFields=['WEB_title','xdata_01','xdata_02','xdata_03','xdata_04','xdata_05','xdata_06','xdata_07','xdata_08','xdata_09','xdata_10','xdata_11','xdata_12','xdata_13','WEB_project_header','WEB_project_description','WEB_related_pub']  definedFields=['WEB_title','xdata_01','xdata_02','xdata_03','xdata_04','xdata_05','xdata_06','xdata_07','xdata_08','xdata_09','xdata_10','xdata_11','xdata_12','xdata_13','WEB_project_header','WEB_project_description','WEB_related_pub']
   
 checkFields = ['xdata_01']  checkFields = ['xdata_01']
   
   #ersetzt logging
   def logger(txt,method,txt2):
       """logging""" 
       logging.info(txt+ txt2)
   
 def getTextFromNode(nodename):  def getTextFromNode(nodename):
     nodelist=nodename.childNodes      nodelist=nodename.childNodes
Line 47  def getTextFromNode(nodename): Line 54  def getTextFromNode(nodename):
            rc = rc + node.data             rc = rc + node.data
     return rc      return rc
   
   
   def sortStopWordsF(self,xo,yo):
       if not hasattr(self,'_v_stopWords'):
           self._v_stopWords=self.stopwords_en.data.split("\n")
       
       x=str(xo[1])
       y=str(yo[1])
       
       strx=x.split(" ")
       stry=y.split(" ")
       
       for tmp in strx:
           if tmp.lower() in self._v_stopWords:
               del strx[strx.index(tmp)]
       
       for tmp in stry:
           if tmp.lower() in self._v_stopWords:
               del stry[stry.index(tmp)]
               
       return cmp(" ".join(strx)," ".join(stry))
       
   def sortStopWords(self):
       return lambda x,y : sortStopWordsF(self,x,y)
       
 def sortF(x,y):  def sortF(x,y):
     try:      try:
         return cmp(x[1],y[1])          return cmp(x[1],y[1])
Line 118  class MPIWGLink(SimpleItem): Line 149  class MPIWGLink(SimpleItem):
         return obj          return obj
   
     def getWeight(self):      def getWeight(self):
         if self.linkWeight and linkWeight!="":          if self.linkWeight and self.linkWeight!="":
             return self.linkWeight              return self.linkWeight
         else:          else:
             return self.getObj().weight              return self.getObj().weight
   
     manage_options=SimpleItem.manage_options+(      manage_options=(
         {'label':'main config','action':'changeLinkForm'},          {'label':'main config','action':'changeLinkForm'},
         )          )+SimpleItem.manage_options
   
   
     def changeLinkForm(self):      def changeLinkForm(self):
Line 142  class MPIWGLink(SimpleItem): Line 173  class MPIWGLink(SimpleItem):
         if RESPONSE is not None:          if RESPONSE is not None:
             RESPONSE.redirect('manage')              RESPONSE.redirect('manage')
   
     def index_html(self):      def index_html(self,**argv):
         """index"""          """index"""
                   
   
   
           try:
         return self.getObj().pt_render(extra_context={'here':self})          return self.getObj().pt_render(extra_context={'here':self})
           except:
               self.REQUEST.RESPONSE.redirect(self.getObj().absolute_url())
                                          
                                                                                 
   
 def manage_addMPIWGLinkForm(self):  def manage_addMPIWGLinkForm(self):
Line 214  def manage_addMPIWGTemplateForm(self): Line 251  def manage_addMPIWGTemplateForm(self):
 from urllib import quote  from urllib import quote
   
   
 def manage_addMPIWGTemplate(self, MPIWGType,id, title=None,weight=0,REQUEST=None):  def manage_addMPIWGTemplate(self, MPIWGType,id, text="",title=None,weight=0,REQUEST=None):
     "Add a Page Template with optional file content."      "Add a Page Template with optional file content."
     if type(MPIWGType)==StringType:      if type(MPIWGType)==StringType:
         MPIWGTypes=[MPIWGType]          MPIWGTypes=[MPIWGType]
Line 257  def manage_addMPIWGTemplate(self, MPIWGT Line 294  def manage_addMPIWGTemplate(self, MPIWGT
   
           
 class MPIWGRoot(ZSQLExtendFolder):  class MPIWGRoot(ZSQLExtendFolder):
     """Stammordner für den Web-Server"""      """Stammordner fuer den Web-Server"""
   
     fieldLabels={'WEB_title':'WEB_Title','xdata_01':'Responsible Scientists','xdata_02':'Department',      fieldLabels={'WEB_title':'WEB_Title','xdata_01':'Responsible Scientists','xdata_02':'Department',
              'xdata_03':'Historical Persons','xdata_04':'Time period',               'xdata_03':'Historical Persons','xdata_04':'Time period',
Line 270  class MPIWGRoot(ZSQLExtendFolder): Line 307  class MPIWGRoot(ZSQLExtendFolder):
     folders=['MPIWGProject','Folder','ECHO_Navigation']      folders=['MPIWGProject','Folder','ECHO_Navigation']
     meta_type='MPIWGRoot'      meta_type='MPIWGRoot'
   
       
       def harvestProjects(self):
           """harvest"""
           folder="/tmp"
           try:
               os.mkdir("/tmp/harvest_MPIWG")
           except:
               pass
           founds=self.ZopeFind(self.aq_parent.projects,obj_metatypes=['MPIWGProject'],search_sub=1)
           for found in founds:
               txt=found[1].harvest_page()
           
               if txt and (txt != ""):
                   name=found[0].replace("/","_")
                   fh=file("/tmp/harvest_MPIWG/"+name,"w")
                   fh.write(txt)
                   fh.close()
                   
     def decode(self,str):      def decode(self,str):
         """decoder"""          """decoder"""
         if not str:          if not str:
Line 283  class MPIWGRoot(ZSQLExtendFolder): Line 338  class MPIWGRoot(ZSQLExtendFolder):
                           
             return str              return str
   
   
       def browserCheck(self):
       """check the browsers request to find out the browser type"""
       bt = {}
       ua = self.REQUEST.get_header("HTTP_USER_AGENT")
       bt['ua'] = ua
       bt['isIE'] = False
       bt['isN4'] = False
       if string.find(ua, 'MSIE') > -1:
           bt['isIE'] = True
       else:
           bt['isN4'] = (string.find(ua, 'Mozilla/4.') > -1)
   
       try:
           nav = ua[string.find(ua, '('):]
           ie = string.split(nav, "; ")[1]
           if string.find(ie, "MSIE") > -1:
           bt['versIE'] = string.split(ie, " ")[1]
       except: pass
   
       bt['isMac'] = string.find(ua, 'Macintosh') > -1
       bt['isWin'] = string.find(ua, 'Windows') > -1
       bt['isIEWin'] = bt['isIE'] and bt['isWin']
       bt['isIEMac'] = bt['isIE'] and bt['isMac']
       bt['staticHTML'] = False
   
       return bt
   
   
     def versionHeaderEN(self):      def versionHeaderEN(self):
         """version header text"""          """version header text"""
                   
Line 412  class MPIWGRoot(ZSQLExtendFolder): Line 496  class MPIWGRoot(ZSQLExtendFolder):
                 return True                  return True
         return False          return False
                   
       def getSection(self):
           """returns the current section name"""
           root = self.absolute_url()
           url = self.REQUEST['URL']
           path = string.replace(url, root, '')
           paths = path.split('/')
           if len(paths) > 0:
               sec = paths[1]
               if sec.find('.') < 0:
                   return sec
               else:
                   return None
           return None
   
       def getSectionStyle(self, name, style=""):
           """returns a string with the given style + '-sel' if the current section == name"""
           if self.getSection() == name:
               return style + '-sel'
           else:
               return style    
   
       def MPIWGrootURL(self):
           """returns the URL to the root"""
           return self.absolute_url()
                   
     def upDateSQL(self,fileName):      def upDateSQL(self,fileName):
         """updates SQL databases using fm.jar"""          """updates SQL databases using fm.jar"""
         fmJarPath=os.path.join(package_home(globals()), 'updateSQL/fm.jar')          fmJarPath=os.path.join(package_home(globals()), 'updateSQL/fm.jar')
         xmlPath=os.path.join(package_home(globals()), "updateSQL/%s"%fileName)          xmlPath=os.path.join(package_home(globals()), "updateSQL/%s"%fileName)
         zLOG.LOG("MPIWG Web",zLOG.INFO,"java -classpath %s -Djava.awt.headless=true Convert %s"%(fmJarPath,xmlPath))          logger("MPIWG Web",logging.INFO,"java -classpath %s -Djava.awt.headless=true Convert %s"%(fmJarPath,xmlPath))
         ret=os.popen("java -classpath %s -Djava.awt.headless=true Convert %s"%(fmJarPath,xmlPath),"r").read()          ret=os.popen("java -classpath %s -Djava.awt.headless=true Convert %s"%(fmJarPath,xmlPath),"r").read()
         zLOG.LOG("MPIWG Web",zLOG.INFO,"result convert: %s"%ret)          logger("MPIWG Web",logging.INFO,"result convert: %s"%ret)
         return 1          return 1
           
     def patchProjects(self,RESPONSE):      def patchProjects(self,RESPONSE):
Line 520  class MPIWGRoot(ZSQLExtendFolder): Line 628  class MPIWGRoot(ZSQLExtendFolder):
         self.id=id          self.id=id
         self.title=title          self.title=title
   
     def urlQuote(self,str):      def removeStopWords(self,xo):
         """quote"""          """remove stop words from xo"""
         return urllib.quote(str)          if not hasattr(self,'_v_stopWords'):
               self._v_stopWords=self.stopwords_en.data.split("\n")
   
     def urlUnQuote(self,str):          x=str(xo)
         """quote"""  
         return urllib.unquote(str)  
           
     def harvestHistoricalPersons(self):          strx=x.split(" ")
         """erstelle liste aller erwaehnten actors"""  
   
         def normalize(str):          for tmp in strx:
             """loesche fuhrendes space"""  
             if (len(str)>1) and (str[0]==" "):  
                 ret=str[1:]  
             else:  
                 ret=str  
             return ret  
                   
         list={}              if tmp.lower() in self._v_stopWords:
         projects=self.ZopeFind(self.projects,obj_metatypes=['MPIWGProject'])                  del strx[strx.index(tmp)]
           
         for project in projects:  
             lg=len(project[1].xdata_03[0])-1  
   
             if (lg>1) and (project[1].xdata_03[0][lg]==";"):          return " ".join(strx)
                 project[1].xdata_03[0]=project[1].xdata_03[0][0:lg]  
   
             
        
                   
             try:  
                 if len(project[1].xdata_03[0].split(";"))>1: # guess if separator is ;  
                     for person in project[1].xdata_03[0].split(";"):  
                         personNormal=normalize(person)  
                         if personNormal in list.keys():  
                             list[urllib.quote(personNormal)][1].append(project[1])  
                         else:  
                             list[urllib.quote(personNormal)]=(personNormal,[project[1]])  
                 else: #guess , is sepeator  
                     for person in project[1].xdata_03[0].split(","):  
                         personNormal=normalize(person)  
                         if urllib.quote(personNormal) in list.keys():  
                             list[urllib.quote(personNormal)][1].append(project[1])  
                         else:  
                             list[urllib.quote(personNormal)]=(personNormal,[project[1]])  
   
             except:  
                 zLOG.LOG("MPIWG Web (harvestHistoricalPerson)",zLOG.ERROR,"cannot analyize: %s"%repr(project))  
   
                   
         return list  
   
     def storeHistoricalPersons(self,RESPONSE=None):  
         """store persons"""  
         self.personDict={}  
         personDict=self.harvestHistoricalPersons()  
         for person in personDict.keys():  
             for project in personDict[person][1]:  
                 if person in self.personDict.keys():  
                     self.personDict[person][1].append((project.absolute_url(),project.WEB_title[0],project.xdata_01[0]))  
                 else:  
                     self.personDict[person]=(personDict[person][0],[(project.absolute_url(),project.WEB_title[0],project.xdata_01[0])])  
   
         if RESPONSE is not None:  
             RESPONSE.redirect("showHistoricalPersons")  
               
   
     def getPersonDict(self,name):  
         """name von dict"""  
   
         try:  
             return self.personDict[name][0].encode('utf-8')  
         except:  
             return self.personDict[name][0]  
             return self.personDict[name][0].decode('latin-1').encode('utf-8')  
                   
       def urlQuote(self,str):
           """quote"""
           return urllib.quote(str)
   
     def showHistoricalPersons(self):      def urlUnQuote(self,str):
         """show persons"""          """quote"""
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','showHistoricalPersons')).__of__(self)          return urllib.unquote(str)
         return pt()  
   
                   
     def editHistoricalPersonsForm(self):  
         """edit historical persons for consistency"""  
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','editHistoricalPersonsForm')).__of__(self)  
         return pt()  
   
     def getProjectsByFieldContent(self,fieldName,fieldContentsEntry, date=None):      def getProjectsByFieldContent(self,fieldName,fieldContentsEntry, date=None):
         """gib alle Projekte aus mit Value von field mit fieldName enthält ein Element der Liste fieldContents"""          """gib alle Projekte aus mit Value von field mit fieldName enthaelt ein Element der Liste fieldContents"""
         def sort(x,y):          def sort(x,y):
                 return cmp(x.WEB_title[0],y.WEB_title[0])                  return cmp(x.WEB_title[0],y.WEB_title[0])
   
Line 651  class MPIWGRoot(ZSQLExtendFolder): Line 696  class MPIWGRoot(ZSQLExtendFolder):
         if RESPONSE is not None:          if RESPONSE is not None:
             RESPONSE.redirect('manage_main')              RESPONSE.redirect('manage_main')
   
     def getDisciplineList(self):  
         """get disciplines as list"""  
         list= self.disciplineList.split("\n")  
         return [x.rstrip().lstrip() for x in list]  
       
     def getThemeList(self):  
         """get themes as list"""  
         list= self.themesList.split("\n")  
         return [x.rstrip().lstrip() for x in list]  
       
     def test(self):  
         """test"""  
         return self.getProjectsByFieldContent('xdata_09',['biology'])[0].absolute_url  
   
     def getContexts(self,childs=None,parents=None,depth=None,date=None,onlyActive=True):      def getContexts(self,childs=None,parents=None,depth=None,date=None,onlyActive=True):
         """childs alle childs, alle parents"""          """childs alle childs, alle parents"""
Line 718  class MPIWGRoot(ZSQLExtendFolder): Line 751  class MPIWGRoot(ZSQLExtendFolder):
                   
         if sort=="int":          if sort=="int":
             ret.sort(sortI)              ret.sort(sortI)
           elif sort=="stopWords":
    
               ret.sort(sortStopWords(self))
               
         else:          else:
             ret.sort(sortF)              ret.sort(sortF)
                   
Line 734  class MPIWGRoot(ZSQLExtendFolder): Line 771  class MPIWGRoot(ZSQLExtendFolder):
           
                   
     manage_options = Folder.manage_options+(      manage_options = Folder.manage_options+(
         {'label':'Update personal homepages','action':'updateHomepages'},          {'label':'Update personal homepages','action':'updatePersonalwww_html'},
         {'label':'Reindex catalogs','action':'reindexCatalogs'},          {'label':'Reindex catalogs','action':'reindexCatalogs'},
         {'label':'Main config','action':'changeMPIWGRootForm'},          {'label':'Main config','action':'changeMPIWGRootForm'},
           {'label':'add e-mails','action':'showNewDBEntries'},
           {'label':'update the institutsbibliography','action':'updateInstitutsbiliography'},
         #{'label':'Edit Historical Persons','action':'editHistoricalPersonsForm'},          #{'label':'Edit Historical Persons','action':'editHistoricalPersonsForm'},
         #{'label':'Store Historical Persons','action':'storeHistoricalPersons'},          #{'label':'Store Historical Persons','action':'storeHistoricalPersons'},
         )          )
           
     def importNamesForm(self):  
         """Form"""  
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','MPIWGNamesForm.zpt')).__of__(self)  
         return pt()  
   
     def importNames(self,fileupload,folderName,RESPONSE=None):  
         """import komma-sep list email,lastName,firstName"""  
         project=getattr(self,folderName)  
         load=fileupload.read()  
           
         for line in load.split('\r'):  
               
               
             splitted=line.split(",")  
            # print splitted  
           
             if not (splitted[0]==""):  
                 newObj=MPIWGStaff.MPIWGStaff(splitted[0],splitted[1],splitted[2])  
                   
                 try:  
                     project._setObject(splitted[0],newObj)  
                     #print "done:",splitted[0]  
                 except:  
                     zLOG.LOG("MPIWG Web (importNames)",zLOG.INFO,"cannot import: %s"%splitted[0])  
   
                       
         if RESPONSE is not None:  
             RESPONSE.redirect('manage_main')  
   
     def updatePublicationDB(self,personId=None):      def updatePublicationDB(self,personId=None):
         """updates the publication db, i.e. copy year into the main table"""          """updates the publication db, i.e. copy year and type into the main table"""
                   
         if personId:          if personId:
             founds = self.ZSQLInlineSearch(_table="publications",id_main=personId)              founds = self.ZSQLInlineSearch(_table="publications",key_main=personId)
         else:          else:
             founds = self.ZSQLInlineSearch(_table="publications")              founds = self.ZSQLInlineSearch(_table="publications")
                           
Line 793  class MPIWGRoot(ZSQLExtendFolder): Line 804  class MPIWGRoot(ZSQLExtendFolder):
                                           
         return True                  return True        
                   
     def updateHomepages(self,RESPONSE=None):      def showNewDBEntries(self):
         """ update"""          """zeige neue Eintraege in der Datenbank ohne e-mail adressen bzw. fuer die noch kein Object angelegt wurde"""
                   
         RESPONSE.setHeader('Content-type', 'text/html')          qstr="select * from personal_www where web_object_created='no' and not key=''"
         RESPONSE.write("<html><body>\n")          res=self.ZSQLQuery(qstr)
         RESPONSE.write("Update Institutsbibliography\n")  
         ret=self.upDateSQL('personalwww.xml')  
     RESPONSE.write("done Insitutsbibliography:%s\n"%ret)  
         url="http://itgroup.mpiwg-berlin.mpg.de:8050/FMPro?-db=personal-www&-format=-dso_xml&-lay=sql_export&-max=20000&-findall"  
         dom = NonvalidatingReader.parseUri(url)  
         #fh=urllib.urlopen(url)  
         #dom=xml.dom.minidom.parse(fh)  
   
         RESPONSE.write("got_xml_File\n")          pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','showNewDBEntries.zpt')).__of__(self)
           return pt(newEntries=res)
                   
       def createNewStaffObjects(self,RESPONSE):
           """create new staff object"""
                   
         memberFolder=getattr(self,'members')          memberFolder=getattr(self,'members')
         members=memberFolder.ZopeFind(memberFolder,obj_metatypes=["MPIWGStaff"])          args=self.REQUEST.form
           arg_k=args.keys()
           arg_k.remove("submit")
           ret=""
           for key in arg_k:
               k=self.urlUnQuote(key)
                   
         memberList=[x[0] for x in members]              qstr="select * from personal_www where key=%s"%self.ZSQLQuote(k)
         #print dom              res=self.ZSQLQuery(qstr)[0]
         #ctx=Context(dom,processorNss={EMPTY_NAMESPACE:'http://www.filemaker.com/fmpdsoresult'})              if args[key]!="": #email-adresse wurde eingetragen
         # Evaluate(u".//dn:ROW",contextNode=dom,explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})                  #create the object
         #print dom.xpath(u'.//dn:ROW',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})                  e_mail=args[key]
         for row in dom.xpath(u'.//dn:ROW',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'}):                  try:
                               newObj=MPIWGStaff.MPIWGStaff(e_mail,res.last_name.encode('utf-8'),res.first_name.encode('utf-8'),k)
             username=getTextFromNode(row.xpath('./dn:username',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      memberFolder._setObject(e_mail,newObj)
             id=getTextFromNode(row.xpath('./dn:ID',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      obj=getattr(memberFolder,e_mail)
             name=getTextFromNode(row.xpath('./dn:Name',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      obj.reindex_object()
             vorname=getTextFromNode(row.xpath('./dn:Vorname',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      ret+="Created %s \n"%e_mail
             title=getTextFromNode(row.xpath('./dn:Title',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      created=True
             position=getTextFromNode(row.xpath('./dn:Position',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                  except:
             e_mail=getTextFromNode(row.xpath('./dn:e_mail',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])  
             e_mail_p=getTextFromNode(row.xpath('./dn:e_mail_p',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      msg="Cannot create new user %s (%s %s)"%(e_mail,sys.exc_info()[0],sys.exc_info()[1])
             date_from=getTextFromNode(row.xpath('./dn:Date_from',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      logging.error(msg)
             date_to=getTextFromNode(row.xpath('./dn:Date_to',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      ret+=msg+"\n"
             abteilung=getTextFromNode(row.xpath('./dn:Abteilung',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      created=False
             heimat_inst=getTextFromNode(row.xpath('./dn:heimat_inst',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                  
             funded_by=getTextFromNode(row.xpath('./dn:funded_by',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                  if created:
             e_mail2=getTextFromNode(row.xpath('./dn:e_mail2',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      qstr="update personal_www set web_object_created='yes',e_mail='%s' where key=%s"%(e_mail,self.ZSQLQuote(k))
             publish_the_data=getTextFromNode(row.xpath('./dn:publish_the_data',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])                      self.ZSQLQuery(qstr)
             stay_at_mpiwg=getTextFromNode(row.xpath('./dn:stay_at_mpiwg',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])  
             #cwNode=row.xpath('./dn:current_work.current',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0]  
             cw=row.xpath('./dn:current_work/dn:DATA',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})  
             if cw:  
                 txt=getTextFromNode(cw[0])  
             else:  
                 txt=""  
              
             #cwNode=row.xpath('.//dn:current_work.publish',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0]  
             cw=row.xpath('./dn:current_work/dn:DATA',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})  
   
             if cw:  
                 txt_p=getTextFromNode(cw[0])  
             else:  
                 txt_p=""  
                
             project=getattr(self,'members')  
               
             if not (username in memberList):#neuer eintrag  
                   
                 try:  
                     newObj=MPIWGStaff.MPIWGStaff(str(username),name.encode('utf-8'),vorname.encode('utf-8'))  
                     memberFolder._setObject(str(username),newObj)  
                     RESPONSE.write("<p>new:%s</p>\n"%username.encode('utf-8'))  
                     obj=getattr(memberFolder,username)  
                     ret=obj.createNewDBEntry(publish_the_data,id,name,  
                                           vorname,username,title,position,e_mail,  
                                           e_mail_p,date_from,date_to,  
                                           abteilung,heimat_inst,funded_by,  
                                           e_mail2,txt,txt_p,stay_at_mpiwg)  
                     RESPONSE.write("""<p>%s</p>"""%ret[1].encode('utf-8'))  
                 except:  
                     RESPONSE.write("<p>ERROR:%s %s %s</p>\n"%(username.encode('utf-8'),name.encode('utf-8'),vorname.encode('utf-8')))  
                     RESPONSE.write("<p>      : %s %s"%sys.exc_info()[:2])  
             else:  
                 RESPONSE.write("<p>update:%s</p>\n"%username.encode('utf-8'))  
                   
                 xquery=".//dn:ROW[dn:username='%s']"%username  
                 results=dom.xpath(xquery,explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})  
                 if len(results)>1:  
                     RESPONSE.write("<p>WARNING (update): username %s not unique</p>\n"%username.encode('utf-8'))  
                     xquery=".//dn:ROW[dn:publish_the_data='yes' and dn:username='%s']"%username  
                     rd=dom.xpath(xquery,explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})   
                     if len(rd)>1:#mehrere published  
                         RESPONSE.write("<p>ERROR (update): username %s not unique and more then one date  set to be published</p>\n"%username.encode('utf-8'))  
 #                    elif len(rd)==1:#nur einer published, kein published dann mache nichts  
 #                        publish_the_data=getTextFromNode(rd[0].xpath('./dn:publish_the_data',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])  
 #                        date_from=getTextFromNode(rd[0].xpath('./dn:Date_from',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])  
 #                        date_to=getTextFromNode(rd[0].xpath('./dn:Date_to',explicitNss={'dn':'http://www.filemaker.com/fmpdsoresult'})[0])  
 #                
   
                 obj=getattr(memberFolder,username)          return ret
                                   
                 done= obj.updateDBEntry(DBid=id,publish_the_data=publish_the_data,  
                                    date_from=date_from,  
                                    date_to=date_to,stay_at_mpiwg=stay_at_mpiwg,position=position,abteilung=abteilung)  
                 if not done and (publish_the_data=='yes'):  
                                                   
                     ret=obj.createNewDBEntry(publish_the_data,id,name,      def generateNewPersonEntry(self,data):
                                           vorname,username,title,position,e_mail,          """generate a new person entry for data, neue personen werden zunaechst nur in der datenbank angelegt """
                                           e_mail_p,date_from,date_to,  
                                           abteilung,heimat_inst,funded_by,  
                                           e_mail2,txt,txt_p,stay_at_mpiwg)  
                     if not ret[0]:  
   
                             RESPONSE.write("<p>Error: %s</p>\n"%repr(ret[1]))          #memberFolder=getattr(self,'members')
                     else:          #create the object
                         RESPONSE.write("<p>New: %s</p>\n"%repr(ret[1]))  
   
         #TODO: reindexCatlogs and updatePublications wieder einbaue  #        try:
         #self.reindexCatalogs(RESPONSE)  #            newObj=MPIWGStaff.MPIWGStaff(urllib.quote(data['key']),data['last_name'].encode('utf-8'),data['first_name'].encode('utf-8')) 
   #            memberFolder._setObject(urllib.quote(data['key']),newObj)
   #        except:
   #            return False, "Cannot create new user %s (%s %s)"%(data['key'],sys.exc_info()[0],sys.exc_info()[1])
   #        
           
         #self.updatePublicationDB()          #create the new entry in the database
     
         #self.ZSQLResetConnection()  
         RESPONSE.write("<h2>Done</h2></body></html>")  
                                         
         return True          result,msg=MPIWGStaff.createNewDBEntry(self,data['publish_the_data'],data['key'],data['last_name'],
                                     data['first_name'],data['title'],data['status'],"",
                                     "",data['date_from'],data['date_to'],
                                     data['department'],data['home_inst'],data['funded_by'],
                                     data['e_mail2'],data['current_work'],"yes",data['date_stay_at_mpiwg'],data['group'],"no",data['current_work'])
             
     def reindexCatalogs(self,RESPONSE=None):          return result,msg
         """reindex members and project catalog"""  
                   
       def updatePersonEntry(self,data,ignoreEntries=[]):
           """update an person entry from data. but ignore all fields in ignore Entries"""
                   
         try:          ignoreEntries.append('current_work') # TODO:updatecurrent work
             self.MembersCatalog.manage_catalogReindex(self.REQUEST,RESPONSE,self.REQUEST['URL1'])  
             self.ProjectCatalog.manage_catalogReindex(self.REQUEST,RESPONSE,self.REQUEST['URL1'])  
         except:  
             zLOG.LOG("MPIWG Root (updatehomepage)",zLOG.WARNING," %s %s"%sys.exc_info()[:2])  
                           
           if data['date_to']=="": # wenn date_to leer
                data['date_to']="date_none"
                   
           if data['date_from']=="": # wenn date_fromleer
                data['date_from']="date_none"
           msg=""
           
                   
           #eintragen
                         
         if RESPONSE:          columns=data.keys()
             RESPONSE.redirect('manage_main')          for x in ignoreEntries:
               logging.info("ign rem: %s"%x)
               try: #falls in ignore entries felder sind, die nicht in columns sind, fange den fehler ab
                columns.remove(x)
               except:
                   pass
   
                   
           insert=[]
           for key in columns:
               if data[key]=="date_none": # date_none eintrag wird zu null uebersetzt
                   insert.append('%s=null'%key)
               else:
                   insert.append(""" "%s"=%s"""%(key,self.ZSQLQuote(data[key])))
               
           insertStr=",".join(insert)
           queryStr="update personal_www SET %s where key='%s'"%(insertStr,data['key'])
           self.ZSQLQuery("SET DATESTYLE TO 'German'")
           self.ZSQLQuery(queryStr)
          
           #currentwork
           #if not (txt==""):
           #    queryStr="INSERT INTO current_work (id_main,current,publish) VALUES ('%s','%s','%s')"%(id,txt,txt_p)
           #
           #    self.ZSQLQuery(queryStr)
                   
     def updateHomepages_old(self,RESPONSE):          return True,msg
         """lege members an, alte version vollstaendige kopie aller fm-dateien per fm.jar"""      def updatePersonalwww_doIt(self):
         self.upDateSQL('personalwww.xml')          """do the update"""
         founds=self.ZSQLInlineSearch(_table='personal_www',publish_the_data='yes')          args=self.REQUEST.form
         project=getattr(self,'members')          resultSet=self.REQUEST.SESSION['personal_www']['resultSet']
         for found in founds:          news=self.REQUEST.SESSION['personal_www']['news']
           conflicts=self.REQUEST.SESSION['personal_www']['conflicts']
           ret="<html><body>"
           # generate the new entry
         
           if news and (len(news)>0):
               ret+="<h2>HinzugefŸgt</h2>"
               ret+="<p>NeueintrŠge erscheinen erst auf der Homepage, wenn ihnen eine e-mail Adresse zugeordnet wurde.</p>"
               ret+="<ul>"
           for new in news:
         
               if args.has_key(self.urlQuote(new.encode('utf-8'))): # entry was selected
                   result,msg=self.generateNewPersonEntry(resultSet[new])
                   if not result:
                       logging.error("Error (generateNewPersonEntry) %s"%msg)
                       ret+="<li>ERROR: %s %s"%(new.encode('utf-8'),msg)
                   else:
                       ret+="<li>OK: %s"%(new.encode('utf-8'))
           if news and (len(news)>0):
               ret+="<p>NeueintrŠge erscheinen erst auf der Homepage, wenn ihnen eine e-mail Adresse zugeordnet wurde.</p>"
               ret+="</ul>"     
           
           # update
   
           if len(conflicts.keys())>0:
               ret+="<h2>Bei €nderung belassen</h2>"
               ret+="<p>Bitte die Filemaker-db entsprehchend Šndern</p>"
               
           # konflicte   
           for conflict in conflicts.keys():
               ignoreEntries=[]
               displayIgnored=[]
               for cf in conflicts[conflict]:
                   if args[conflict.encode('utf-8')+'_'+cf[0]]=="stored": #use the stored one
                       ignoreEntries.append(cf[0])  #so ignore field cf[0]       
                       displayIgnored.append(cf)
               if len(displayIgnored)>0:
                   ret+="<h3>%s</h3>"%conflict.encode('utf-8')
                   
                   ret+="<table border='1'>"
                   for iE in displayIgnored:
                       ret+="<tr><td>%s</td><td>%s</td><td>%s</td>"%(iE[0].encode('utf-8'),iE[1].encode('utf-8'),iE[2].encode('utf-8'))
                   ret+="</tabel>"
                   
               self.updatePersonEntry(resultSet[conflict],ignoreEntries=ignoreEntries)
            
            # rest
           cl=list(conflicts.keys())
           
           for key in resultSet.keys():
                if key not in cl:
                    self.updatePersonEntry(resultSet[key])
           return ret+"</body></html>"
                           
             if not (found.e_mail==""):      def updateInstitutsbiliography(self):
                 newObj=MPIWGStaff.MPIWGStaff(found.username,found.name,found.vorname)          """update the Institutsbibliogrpahy"""
           self.upDateSQL('personalwww.xml')
           return "<html><body>DONE</body></html>"
       def updatePersonalwww_html(self):
           """update form for the homepages web form"""
           pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','updatePersonalwww.zpt')).__of__(self)
           return pt()
                                   
                 try:      def updatePersonalwww(self,uploadfile):
                     project._setObject(found.username,newObj)          """update personalwww
                     RESPONSE.write("<p>new:%s</p>\n"%found.username)          @param uploadfile: file handle auf das file
                 except:          """
                     RESPONSE.write("<p>old:%s (%s,%s)</p>\n"%(found.username,found.name,found.vorname))          dsn=self.getConnectionObj().connection_string
           #dsn="dbname=personalwww"
           resultSet=updatePersonalWWW.importFMPXML(uploadfile)
           news,conflicts=updatePersonalWWW.checkImport(dsn, resultSet)
   
           self.REQUEST.SESSION['personal_www']={}
           self.REQUEST.SESSION['personal_www']['resultSet']=resultSet
           self.REQUEST.SESSION['personal_www']['news']=news
           self.REQUEST.SESSION['personal_www']['conflicts']=conflicts
   
           pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','updatePersonalwww_check.zpt')).__of__(self)
           return pt()
                                   
   
         #delete non existing  
   
       def reindexCatalogs(self,RESPONSE=None):
           """reindex members and project catalog"""
   
         foundUserNames=[x.username for x in founds]  
         for member in self.ZopeFind(self,obj_metatypes=["MPIWGStaff"],search_sub=1):              
                           
             if member[1].getId() not in foundUserNames:  
                 member[1].aq_parent.manage_delObjects(ids=[member[1].getId()])  
                 RESPONSE.write("<p>deleted:%s</p>\n"%member[1].getId())  
         try:          try:
             self.MembersCatalog.manage_catalogReindex(self.REQUEST,RESPONSE,self.REQUEST['URL1'])              
         except:  
             pass  
         self.ProjectCatalog.manage_catalogReindex(self.REQUEST,RESPONSE,self.REQUEST['URL1'])          self.ProjectCatalog.manage_catalogReindex(self.REQUEST,RESPONSE,self.REQUEST['URL1'])
           except:
               logger("MPIWG Root (updatehomepage)",logging.WARNING," %s %s"%sys.exc_info()[:2])
           
         self.updatePublicationDB()   
                         
         if RESPONSE is not None:      
           
              
           if RESPONSE:
             RESPONSE.redirect('manage_main')              RESPONSE.redirect('manage_main')
   
                   
 #    def getAllMembers(self,reset=None):          
 #        """give list of all members"""  
 #        ret=[]  
 #  
 #  
 #        if reset or (getattr(self,'_v_membersList',None) is None):  
 #            for member in self.members._objects:  
 #                if member['meta_type']=='MPIWGStaff':  
 #                    memberObj=getattr(self.members,member['id'])  
 #                    if memberObj.isPublished():  
 #                           ret.append(memberObj.title.decode('utf-8'))  
 #              
 #            ret.sort()  
 #            self._v_membersList=ret[0:]  
 #        print ret  
 #    
 #        return self._v_membersList  
   
     def getAllMembers(self):      def getAllMembers(self):
         #ret=[]          #ret=[]
Line 1015  class MPIWGRoot(ZSQLExtendFolder): Line 1049  class MPIWGRoot(ZSQLExtendFolder):
             return entry              return entry
   
   
     def getTree(self,date=None,onlyActive=None):      def getTree(self,dep=None,date=None,onlyActive=None):
         """generate Tree from project list"""          """generate Tree from project list"""
   
         returnList=[]          returnList=[]
Line 1030  class MPIWGRoot(ZSQLExtendFolder): Line 1064  class MPIWGRoot(ZSQLExtendFolder):
                     title=[project[0].getContent('WEB_title')]                      title=[project[0].getContent('WEB_title')]
                     #print title                      #print title
                                           
                     if idNr[0]=="x": # kompatibilitŠt mit alter Konvention, x vor der Nummer macht project inactive                      if idNr[0]=="x": # kompatibilitaet mit alter Konvention, x vor der Nummer macht project inactive
                         project[0].setActiveFlag(False)                          project[0].setActiveFlag(False)
                                         
                       if (not dep) or (idNr[0]==dep): #falls dep gesetzt ist nur dieses hinzufuegen.
                     if onlyActive and project[0].isActiveProject(): #nur active projekte                      if onlyActive and project[0].isActiveProject(): #nur active projekte
                        returnList.append((depth,nr,title,project[0]))                         returnList.append((depth,nr,title,project[0]))
                     elif not onlyActive:                      elif not onlyActive:
                       returnList.append((depth,nr,title,project[0]))                        returnList.append((depth,nr,title,project[0]))
         return returnList          return returnList
   
     def formatElementsAsList(self,elements):  
         """formatiere tree als liste"""  
           
         actualDepth=0  
         ret=""  
         for element in elements:  
             if (element[0]>actualDepth):  
                 #fuege soviele ul ein wie unterschied in tiefe  
                 if element[0]==1:  
                     ret+="""<div class="dept">\n<ul class="liste">\n"""  
                 else:  
                     for i in range(element[0]-actualDepth):  
                         if i>0:  
                             ret+="<li>"  
                         ret+="""<ul class="liste">\n"""  
   
                 actualDepth=element[0]  
                   
             elif (element[0]<actualDepth):  
                 #fuege soviele /ul ein wie unterschied in tiefe  
                 for i in range(-element[0]+actualDepth):  
   
                     ret+="<br><br></li></ul>\n"  
   
                     #ret+="<br><br>\n</li>\n</ul>\n</li>\n"  
   
   
                 if element[0]==1:  
                     department=int(element[3].getContent('xdata_05'))-1  
                       
                     ret+="""</ul></div>\n"""  
                     if department==4: #hack  
                         department=3  
   
                     ret+="""<div class="bildspalte"><img src="../grafik/dept%i.jpg" width="160" height="120" vspace="40"></div>  
                     <div class="dept">\n<ul class="liste">\n  
                     """%department  
               
                 actualDepth=element[0]  
             else:  
                 ret+="""\n</li>\n"""  
             ret+="""<li>\n"""  
               
             if actualDepth==1:  
                 departmentName={'1':'Department I','2':'Department II','3':'Department III', '4':'Ind. Research Group','5':'Ind. Research Group','6':'Ind. Research Group','7':'Research Network'}   
                 department=element[3].getContent('xdata_05')  
                 ret+="""<a href="#top"><img src="../grafik/totop.gif" vspace="10" border="0"></a><br><a name="dept%s"></a>%s: """%(department,departmentName[department])  
   
             if self.REQUEST.has_key('date'):  
                 ret+="""<a href="%s?date=%s">%s</a>"""%(self.generateUrlProject(element[3].absolute_url())+"/index.html",self.REQUEST['date'],element[3].getContent('WEB_title'))  
             else:  
                 ret+="""<a href="%s">%s</a>"""%(self.generateUrlProject(element[3].absolute_url())+"/index.html",element[3].getContent('WEB_title'))  
         return ret  
       
     def formatElementForOverview(self,element):  
         """format the element for output in overview"""  
         if element[0]==1: #department  
             #print element[3].getContent('xdata_05')  
             if element[3].getContent('xdata_05') == "4":  
                 return """<h2 class="hier"><a href="%s">Ind. Research Group I: %s</a></h2>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('WEB_title'))  
             if element[3].getContent('xdata_05') == "5":  
                 return """<h2 class="hier"><a href="%s">Ind. Research Group II: %s</a></h2>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('WEB_title'))  
             if element[3].getContent('xdata_05') == "6":  
                 return """<h2 class="hier"><a href="%s">Research Network "History of Scientific Objects": %s</a></h2>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('WEB_title'))  
               
             return """<h2 class="hier"><a href="%s">Department %s: %s</a></h2>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('xdata_05'),element[3].getContent('WEB_title'))  
   
         elif element[0]==2: #mainprojects  
             return """<h3 class="hier"><a href="%s">%s</a></h3><p>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('WEB_title'))  
   
         elif element[0]==3:  
             return """<p class="hier"><a href="%s">%s</a></p>"""%(element[3].absolute_url()+"/index.html",element[3].getContent('WEB_title'))  
   
                   
     def changePosition(self,treeId,select,RESPONSE=None):      def changePosition(self,treeId,select,RESPONSE=None):
Line 1213  class MPIWGRoot(ZSQLExtendFolder): Line 1176  class MPIWGRoot(ZSQLExtendFolder):
         return string.join(ret,";")          return string.join(ret,";")
                   
                           
       def getMembersFromList(self,list):
           """get member names from person full text list"""
           memberlist=[]
           persons=list.split(";")
           for person in persons:
               if len(person)>1: #nicht nur Trennzeichen
                   splitted=person.split(",")
                   if len(splitted)==1:
                       splitted=person.lstrip().rstrip().split(" ")
                   splittedNew=[re.sub(r'\s(.*)','$1',split) for split in splitted]
                   if splittedNew[0]=='':
                       del splittedNew[0]
                   search=string.join(splittedNew,' AND ')
                   
                   if not search=='':
                       try:
                           member=self.MembersCatalog({'title':search})
                       except:
                           member=None
   
                   if member and (member[0].getObject().isPublished()):
                       if person =="Otto Sibum" : person="H. Otto Sibum"
                       if person =="Norton Wise" : person="M. Norton Wise"
                       #memberlist.append("<a href=%s >%s</a>"%(member[0].absolute_url,person.encode('utf-8')))
                       memberlist.append((person, member[0].getObject().getId()))
                   else:
                       #memberlist.append("%s"%person.encode('utf-8'))
                       memberlist.append((person,None))
           return memberlist
                            
     def getUrlFromPerson(self,list):      def getUrlFromPerson(self,list):
         """get urls to person list"""          """get urls to person list"""
         ret=[]          ret=[]
Line 1239  class MPIWGRoot(ZSQLExtendFolder): Line 1232  class MPIWGRoot(ZSQLExtendFolder):
                     if person =="Otto Sibum" : person="H. Otto Sibum"                      if person =="Otto Sibum" : person="H. Otto Sibum"
                     if person =="Norton Wise" : person="M. Norton Wise"                      if person =="Norton Wise" : person="M. Norton Wise"
                     #ret.append("<a href=%s >%s</a>"%(proj[0].absolute_url,person.encode('utf-8')))                      #ret.append("<a href=%s >%s</a>"%(proj[0].absolute_url,person.encode('utf-8')))
                     ret.append("<a href=%s >%s</a>"%(proj[0].absolute_url+"/index.html",person))              if self.MPIWGrootURL().split("/")[-1]=='en':
               tmpPath="/en/staff/members/"
               else:
                           tmpPath="/de/mitarbeiter/members/"
                       ret.append("<a href=%s >%s</a>"%(tmpPath+proj[0].getObject().getId()+"/index.html",person))
                 else:                  else:
                     #ret.append("%s"%person.encode('utf-8'))                      #ret.append("%s"%person.encode('utf-8'))
                     ret.append("%s"%person)                      ret.append("%s"%person)
Line 1257  class MPIWGRoot(ZSQLExtendFolder): Line 1254  class MPIWGRoot(ZSQLExtendFolder):
                           
         return ret          return ret
   
     def getProjectsOfMember(self,name=None,email=None,date=None):      def getProjectsOfMember(self,name=None,key=None,date=None):
         """get project of a member"""          """get projects of a member
           @param name: (optional)Vorname + Nachname
           @param key: (optional) Key zur Idenfikation des Benutzer
           @param date: (optional) Version die zum Zeitpunkt date gueltig war
           """
           # TODO: Die ganze Lšsung
         def sortP(x,y):          def sortP(x,y):
             """sort by sorting number"""              """sort by sorting number"""
             #print x.xdata_05,y.xdata_05              #print x.xdata_05,y.xdata_05
Line 1266  class MPIWGRoot(ZSQLExtendFolder): Line 1268  class MPIWGRoot(ZSQLExtendFolder):
                   
                 
         ret=[]          ret=[]
         splitNeu=[]          logging.error("XXXXXXXXXXXXXXXXX")
         if email:          if key:
                           
             members=self.ZopeFind(self.members,obj_metatypes=['MPIWGStaff'],obj_ids=[email],search_sub=1)              #members=self.ZopeFind(self.members,obj_metatypes=['MPIWGStaff'],obj_ids=[email],search_sub=1)
             name =  members[0][1].title.decode('utf-8')              members=self.MembersCatalog({'getKey':key})
               if len(members)==0:
                   return ret
               
               splitted =  [members[0].lastName,members[0].firstName]
           
           elif name:
               
               splitted=name.split(",")
           else:
               return ret # name oder key mussen definiert sein
   
         y=name  
         splitted=y.split(",")  
         #XXXX          #XXXX
         splitNeu=["\'"+splitted[1]+" "+splitted[0]+"\'"]          splitNeu=["\'"+splitted[1]+" "+splitted[0]+"\'"]
                   
Line 1282  class MPIWGRoot(ZSQLExtendFolder): Line 1292  class MPIWGRoot(ZSQLExtendFolder):
         search=string.join(splitNeu,' AND ')          search=string.join(splitNeu,' AND ')
                   
         proj=self.ProjectCatalog({'xdata_01':search})          proj=self.ProjectCatalog({'xdata_01':search})
           logging.error("XXXXXXXXXXX %s"%proj)
         if proj:          if proj:
             proj2=[]              proj2=[]
             for x in proj:              for x in proj:
                 if (not getattr(x.getObject(),'invisible',None)) and (getattr(x.getObject(),'archiveTime','')==''):                  if (not getattr(x.getObject(),'invisible',None)) and (getattr(x.getObject(),'archiveTime','')==''):
                       # furchtbarer hack um sicher zustellen dass christoph hoffmann nicht mit Dieter Hoffmann verwechselt wird.
                     if not((splitted[1]==" Christoph") and (splitted[0]=="Hoffmann") and (str(x.WEB_title).find('Einstein')>0)):                      if not((splitted[1]==" Christoph") and (splitted[0]=="Hoffmann") and (str(x.WEB_title).find('Einstein')>0)):
                        proj2.append(x)                         proj2.append(x)
   
Line 1305  class MPIWGRoot(ZSQLExtendFolder): Line 1316  class MPIWGRoot(ZSQLExtendFolder):
         proj2.sort(sortP)          proj2.sort(sortP)
   
         if len(proj2)>0:          if len(proj2)>0:
             ret.append((y,proj2))              ret.append((name,proj2))
   
         return ret          return ret
             
Line 1351  class MPIWGRoot(ZSQLExtendFolder): Line 1362  class MPIWGRoot(ZSQLExtendFolder):
 ##                     objs.append((obj,lastName+", "+firstName))  ##                     objs.append((obj,lastName+", "+firstName))
   
                   
         return objs  ##        return objs
   
   
     def personCheck(self,names):      def personCheck(self,names):
Line 1384  class MPIWGRoot(ZSQLExtendFolder): Line 1395  class MPIWGRoot(ZSQLExtendFolder):
         return (fieldname in checkFields)          return (fieldname in checkFields)
   
                   
       def generateNameIndex(self):
           """erzeuge einen index verwendeter personen"""
           import psycopg
           o = psycopg.connect('dbname=authorities user=dwinter password=3333',serialize=0) 
           results={}
           print self.fulltext.historicalNames.items()
           for nameItem in self.fulltext.historicalNames.items(): #gehe durch alle namen des lexikons
               
               c = o.cursor() 
               name=nameItem[0]
               print "check",name
               c.execute("select lastname,firstname from persons where lower(lastname) = '%s'"%quote(name))
               tmpres=c.fetchall()
               firstnames=[result[1] for result in tmpres] # find all firstnames
               if tmpres:
                   lastname=tmpres[0][0]
                   
               for found in self.fulltext({'names':name}):
                   if found.getObject().isActual():
                       for nh in found.getObject().getGetNeighbourhood(name, length=50,tagging=False): #hole umgebung
                           #schaue nun ob der vorname hinter oder vor dem name ist
                           position=nh.find(lastname)
                           # vorher
                           #print "NH",nh
                           bevorS=nh[0:position].split()
                           #print "BV",bevorS
                           if len(bevorS)>1:
                               try:
                                   bevor=[bevorS[-1],bevorS[-2]]
                               except:
                                   bevor=[bevorS[0]]
                           else:
                               bevor=[]
                           #nachher
                           behindS= re.split("[,|;| ]",nh[position:]) 
                           #print "BH",behindS
                           if len(behindS)>2:
                               try:
                                   behind=behindS[1:3]
                               except:
                                   behind=[bevorS[1]]
                           else:
                               behind=[]
                           for firstname in firstnames:
                               if firstname in bevor+behind: #Namen wie mit Adelspraedikaten werden so erstmal nich gefunden
                                   id="%s,%s"%(lastname,firstname)
                                   if not results.has_key(id):
                                       results[id]=[]
                                   objId=found.getObject().getId()
                                   if not (objId in results[id]):
                                       print "d %s for %s"%(id,objId)    
                                       results[id].append(objId)    
               self.nameIndex=results
           return results
                       
       def editNameIndexHTML(self):
           """edit the name index"""
           if not hasattr(self,'nameIndexEdited'): # falls editierter index noch nicht existiert, kopiere automatisch erstellten
               self.nameIndexEdited=copy.copy(self.nameIndex)
               print "huh"
           #self.nameIndexEdited=copy.copy(self.nameIndex)
           #print self.nameIndexEdited
           pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','editHistoricalNames.zpt')).__of__(self)
           return pt()
       
       def getNamesInProject(self,projectId):
           """get all names ofnameIndexEdited which are references in projec with projectId"""
           
           ret=[]
           for name in self.nameIndexEdited.keys():
               if projectId in self.nameIndexEdited[name]:
                   ret.append(name)
           
           return ret
       
       def editNameIndex(self,RESPONSE=None,name=None,occurrances=None,submit=None):
           """edit the index"""
           nI=self.nameIndexEdited # mI introduced to make sure that changes to nameIndexEdited are know to ZODB
           if submit=="delete":
              
   
               dh=getattr(self,'deletedHistoricalNames',{})
           
           if type(dh) is ListType:
           dh={}
               if not dh.has_key(name):
                   dh[name]=occurrances.split("\n")
               else:
                   dh[name]+=occurrances.split("\n")
               
               self.deletedHistoricalNames=dh
               
               del self.nameIndexEdited[name]
               
           
           elif (submit=="change"):
               
               nI[name]=occurrances.split("\n")[0:]
               
           elif (submit=="add"):
               if not nI.has_key(name):
                   nI[name]=occurrances.split("\n")
               else:
                   nI[name]+=occurrances.split("\n")
       
           self.nameIndexEdited=nI
      
         
           if RESPONSE is not None:
               RESPONSE.redirect('editNameIndexHTML')
           
       
       
       def restoreIndex(self):
           """restore"""
           self.nameIndexEdited=self.nameIndex
           return "done"
       
   
               
 def manage_addMPIWGRootForm(self):  def manage_addMPIWGRootForm(self):
     """form for adding the root"""      """form for adding the root"""
     pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addMPIWGRootForm.zpt')).__of__(self)      pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addMPIWGRootForm.zpt')).__of__(self)
Line 1451  class MPIWGProject(CatalogAware,Folder): Line 1582  class MPIWGProject(CatalogAware,Folder):
     meta_type='MPIWGProject'      meta_type='MPIWGProject'
     default_catalog='ProjectCatalog'      default_catalog='ProjectCatalog'
   
    
     def sortedByPlace(self,metatype):      def sortedByPlace(self,metatype):
         """find metatype and sort by place"""          """find metatype and sort by place"""
         def sort(x,y):          def sort(x,y):
Line 1493  class MPIWGProject(CatalogAware,Folder): Line 1625  class MPIWGProject(CatalogAware,Folder):
         for split in  splitted[1:]:          for split in  splitted[1:]:
                 tmp=split.split("</p>")                  tmp=split.split("</p>")
                 #return repr(splitted[1])                  #return repr(splitted[1])
           
                 try:                  try:
                         imageURLs.append(tmp[0].split("\"")[1].encode('utf-8'))                          imageURLs.append(tmp[0].split("\"")[1].encode('utf-8'))
                 except:                  except:
               
               try:
                         imageURLs.append(tmp[0].split("src=")[1].split(" ")[0].encode('utf-8'))                          imageURLs.append(tmp[0].split("src=")[1].split(" ")[0].encode('utf-8'))
               except:
               imageURLs.append("")
                                   
                 split2="</p>".join(tmp[1:])                  split2="</p>".join(tmp[1:])
   
Line 1513  class MPIWGProject(CatalogAware,Folder): Line 1650  class MPIWGProject(CatalogAware,Folder):
                     imageCaptions.append("")                      imageCaptions.append("")
                                   
                       
   
           
           
           
           
         #eintragen:          #eintragen:
         for imageURL in imageURLs:          for imageURL in imageURLs:
             filename=imageURL.split("/")[-1]              filename=imageURL.split("/")[-1]
Line 1538  class MPIWGProject(CatalogAware,Folder): Line 1670  class MPIWGProject(CatalogAware,Folder):
                 try:#absolute                  try:#absolute
                     data=urllib.urlopen(self.imageURL).read()                      data=urllib.urlopen(self.imageURL).read()
                 except:                  except:
                     zLOG.LOG("MPIWG Project",zLOG.ERROR,"can't open: %s"%url)                      logger("MPIWG Project",logging.ERROR,"can't open: %s"%url)
                           
             obj=getattr(self,filename)              obj=getattr(self,filename)
             obj.update_data(data)              obj.update_data(data)
Line 1646  class MPIWGProject(CatalogAware,Folder): Line 1778  class MPIWGProject(CatalogAware,Folder):
   
     def getImages(self):      def getImages(self):
         """get all Images"""          """get all Images"""
   
         def sort_images(x,y):          def sort_images(x,y):
             return cmp(getattr(x[1],'place',0),getattr(y[1],'place',0))              return cmp(getattr(x[1],'place',0),getattr(y[1],'place',0))
   
   
       if (getattr(self,'imageURL','')!='') or  (getattr(self,'imagecap','')!='')  :
           try:
           self.addImage(None,getattr(self,'imagecap',''),RESPONSE=None,filename=getattr(self,'imageURL',''))
           except:
           pass
           self.imageURL=''
           self.imagecap=''
   
         images=self.ZopeFind(self,obj_metatypes=['MPIWGProject_image'])          images=self.ZopeFind(self,obj_metatypes=['MPIWGProject_image'])
                   
         images.sort(sort_images)          images.sort(sort_images)
Line 1679  class MPIWGProject(CatalogAware,Folder): Line 1821  class MPIWGProject(CatalogAware,Folder):
         else:          else:
              return False               return False
                     
            
     def addImage(self,fileHd,caption,RESPONSE=None,filename=None):      def addImage(self,fileHd,caption,RESPONSE=None,filename=None):
         """add an MPIWG_Project_image"""          """add an MPIWG_Project_image"""
   
Line 1695  class MPIWGProject(CatalogAware,Folder): Line 1838  class MPIWGProject(CatalogAware,Folder):
         obj.caption=caption[0:]          obj.caption=caption[0:]
         obj.enabled=True;          obj.enabled=True;
         obj.place=self.getLastImageNumber()+1          obj.place=self.getLastImageNumber()+1
           obj.id=filename
                   
         if RESPONSE is not None:          if RESPONSE is not None:
             RESPONSE.redirect('manageImages')              RESPONSE.redirect('manageImages')
Line 1816  class MPIWGProject(CatalogAware,Folder): Line 1960  class MPIWGProject(CatalogAware,Folder):
   
   
     def generateTemplate(self,RESPONSE=None):      def generateTemplate(self,RESPONSE=None):
         """Erzeuge Template für defined fields not_used"""          """Erzeuge Template fuer defined fields not_used"""
   
         id="index_html"          id="index_html"
         title=id          title=id
Line 1907  class MPIWGProject(CatalogAware,Folder): Line 2051  class MPIWGProject(CatalogAware,Folder):
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','no_project')).__of__(self)          pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','no_project')).__of__(self)
         return pt()          return pt()
             
     def getGetNeighbourhood(self,wordStr, length=100):      def getGetNeighbourhood(self,wordStr, length=100,tagging=True):
         """finde umgebung um die worte in wordStr, zurŸckgegeben wird eine Array mit den Umgebungen von Fundstellen der Worte          """finde umgebung um die worte in wordStr, zurueckgegeben wird eine Array mit den Umgebungen von Fundstellen der Worte
         alle Tags werden entfernt, die Fundstellen werden mit <span class="found">XX</span> getaggt, die Umgebungen werden           alle Tags werden entfernt, die Fundstellen werden mit <span class="found">XX</span> getaggt, die Umgebungen werden 
         case insensitive gesucht          case insensitive gesucht
         @param wordStr: string mit Worten getrennt durch Leerzeichen, Phrasen sind mit " gekennzeichnet          @param wordStr: string mit Worten getrennt durch Leerzeichen, Phrasen sind mit " gekennzeichnet
                         "eine phrase", "*"  bezeichnet wildcards und wird ignoriert"                          "eine phrase", "*"  bezeichnet wildcards und wird ignoriert"
         @param length: optional, default wert 100, 2*length ist die grš§e der Umgebung          @param length: optional, default wert 100, 2*length ist die groesse der Umgebung
           @param tagging: optional default wert true, kein span tag wird erzweugt falls tag=false
         """          """
                   
         ret=[] # nimmt das Array auf, dass spŠter zurŸckgegeben wird          ret=[] # nimmt das Array auf, dass spaeter zurueckgegeben wird
         ranges=[] #Array mit tupeln x,y wobei x die Position des Anfang und y des Endes der i-ten Umgebung angiebt          ranges=[] #Array mit tupeln x,y wobei x die Position des Anfang und y des Endes der i-ten Umgebung angiebt
                   
         def isInRanges(nr,length):          def isInRanges(nr,length):
             """test ob eine gegeben Position nr schon irgendwo in einer Umgebung ist, gibt den Index des ersten Wertes aus ranges zurŸck,               """test ob eine gegeben Position nr schon irgendwo in einer Umgebung ist, gibt den Index des ersten Wertes aus ranges zurueck, 
             -1, wenn kein Treffer              -1, wenn kein Treffer
                           
             @param nr: Position die geprŸft werden soll              @param nr: Position die geprueft werden soll
             @param length: LŠnge des Wortes das geprŸft werden soll              @param length: Laenge des Wortes das geprueft werden soll
             """              """
             for x in ranges:              for x in ranges:
                 if (x[0]<=nr) and (nr < (x[1]-length)):                  if (x[0]<=nr) and (nr < (x[1]-length)):
Line 1946  class MPIWGProject(CatalogAware,Folder): Line 2091  class MPIWGProject(CatalogAware,Folder):
         #   words=[words]          #   words=[words]
                           
         txt=self.harvest_page()          txt=self.harvest_page()
                  if not txt:
               return ret
         txt=re.sub("<.*?>", "", txt) # loesche alle Tags          txt=re.sub("<.*?>", "", txt) # loesche alle Tags
         for word in words:          for word in words:
             word=re.sub("_"," ",word) # ersetze zurueck "_" durch " "              word=re.sub("_"," ",word) # ersetze zurueck "_" durch " "
Line 1964  class MPIWGProject(CatalogAware,Folder): Line 2110  class MPIWGProject(CatalogAware,Folder):
                                           
                     #is word already in one of the results                      #is word already in one of the results
                     nr=isInRanges(pos,len(word))                      nr=isInRanges(pos,len(word))
                     if nr >=0:# word ist in einer schon gefunden Umgebung, dann vergrš§ere diese                      if nr >=0:# word ist in einer schon gefunden Umgebung, dann vergroessere diese
                         x=min(ranges[nr][0],x)                          x=min(ranges[nr][0],x)
                         y=max(ranges[nr][1],y)                          y=max(ranges[nr][1],y)
                               
Line 1974  class MPIWGProject(CatalogAware,Folder): Line 2120  class MPIWGProject(CatalogAware,Folder):
                         ranges[nr]=(x,y) # neue Position der Umgebung                          ranges[nr]=(x,y) # neue Position der Umgebung
   
                         ret[nr]=str # neue Umgebung                          ret[nr]=str # neue Umgebung
                     else: # andernfalls neue Umgebung hinzufŸgen                      else: # andernfalls neue Umgebung hinzufuegen
                         ranges.append((x,y))                          ranges.append((x,y))
   
                         ret.append(str)                          ret.append(str)
Line 1984  class MPIWGProject(CatalogAware,Folder): Line 2130  class MPIWGProject(CatalogAware,Folder):
                     break;                      break;
                                   
         # now highlight everything                  # now highlight everything        
           if tagging:
         for x in range(len(ret)):          for x in range(len(ret)):
             for word in words:              for word in words:
                 repl=re.compile(word,re.IGNORECASE)                  repl=re.compile(word,re.IGNORECASE)
Line 2084  class MPIWGProject(CatalogAware,Folder): Line 2231  class MPIWGProject(CatalogAware,Folder):
                 try:                  try:
                         self.imageURL=tmp[0].split("\"")[1].encode('utf-8')                          self.imageURL=tmp[0].split("\"")[1].encode('utf-8')
                 except:                  except:
               try:
                         self.imageURL=tmp[0].split("src=")[1].split(" ")[0].encode('utf-8')                          self.imageURL=tmp[0].split("src=")[1].split(" ")[0].encode('utf-8')
               except:
               self.imageURL=""
                                   
                 split2="</p>".join(tmp[1:])                  split2="</p>".join(tmp[1:])
   
Line 2107  class MPIWGProject(CatalogAware,Folder): Line 2257  class MPIWGProject(CatalogAware,Folder):
         else:          else:
             text5=text2              text5=text2
   
         #teste ob WEB_project_description und keine führenden p tags          #teste ob WEB_project_description und keine fuehrenden p tags
         if (len(text5)>4) and (not text5[0:3]=='<p>') and (field=='WEB_project_description'):          if (len(text5)>4) and (not text5[0:3]=='<p>') and (field=='WEB_project_description'):
             text5= "<p>"+text5+"</p>"              text5= "<p>"+text5+"</p>"
   
   
         #filter image          #filter image
                   
           text5=text5.lstrip().rstrip() #loescher leerzeichen und einzelndes br
       if (text5=="<br>") or (text5=="<br/>"):
           text5=""
   
         return text5.encode('utf-8')          return text5.encode('utf-8')
   
Line 2234  class MPIWGProject(CatalogAware,Folder): Line 2387  class MPIWGProject(CatalogAware,Folder):
                                   
                 setattr(self,x,[self.REQUEST[x].decode('utf-8')])                  setattr(self,x,[self.REQUEST[x].decode('utf-8')])
   
   
           if self.REQUEST.has_key('historicalNames'):
               self.en.changeHistoricalNames(self.getId(),self.REQUEST['historicalNames'].split("\n"))
           
         if self.REQUEST.has_key('active'):          if self.REQUEST.has_key('active'):
             self.setActiveFlag(True)              self.setActiveFlag(True)
         else:          else:
Removed from v.1.47.2.56  
changed lines
  Added in v.1.47.2.74

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>