[BACK]Return to cdli_files.py CVS log [TXT] [DIR] Up to [Repository] / cdli

Diff for /cdli/cdli_files.py between versions 1.19 and 1.117

version 1.19, 2006/06/13 18:34:10 version 1.117, 2011/04/27 16:19:27
Line 1 Line 1
 """CDLI extensions of the filearchive"""  """CDLI extensions of the filearchive"""
 from Products.versionedFile.versionedFile import *  from Products.versionedFile.extVersionedFile import *
 from Products.ZCatalog.CatalogPathAwareness import CatalogAware  from Products.ZCatalog.CatalogPathAwareness import CatalogAware
 from tempfile import mkstemp,mkdtemp  
 import os.path  import os.path
 import os  import os
 from types import *  
 import urlparse  import urlparse
   import urllib
   import cgi
 from OFS.OrderedFolder import OrderedFolder  from OFS.OrderedFolder import OrderedFolder
 from OFS.SimpleItem import SimpleItem  from OFS.SimpleItem import SimpleItem
 import time  import time
Line 13  from OFS.Folder import manage_addFolder Line 13  from OFS.Folder import manage_addFolder
 import re  import re
 from AccessControl import ClassSecurityInfo  from AccessControl import ClassSecurityInfo
 from Acquisition import Implicit  from Acquisition import Implicit
   from Globals import Persistent
 from threading import Thread  from threading import Thread
 from ZPublisher.HTTPRequest import HTTPRequest  from ZPublisher.HTTPRequest import HTTPRequest
 from ZPublisher.HTTPResponse import HTTPResponse  from ZPublisher.HTTPResponse import HTTPResponse
 from ZPublisher.BaseRequest import RequestContainer  from ZPublisher.BaseRequest import RequestContainer
   import threading
   import logging
   import transaction
   import copy
   import codecs
   import sys
   from BTrees.IOBTree import IOBTree 
   from BTrees.OOBTree import OOBTree 
   import cdliSplitter
   from sets import Set
   import md5
   from DownloadBasket import DownloadBasketFinallyThread
   from types import *
   import pickle
   import tempfile
   
 global tmpVar  from cdli_helpers import *
   
 class uploadATFfinallyThread(Thread):  
    
     def __init__(self):  
         self.continueVar=True  
         self.returnValue=None  
         self.end=False  
         Thread.__init__(self)  
              
     def set(self,procedure,comment="",basketname='',unlock=None,SESSION=None,username=None,serverport="8080"):  
         """set values"""  
         self.procedure=procedure  
         self.comment=comment  
         self.basketname=basketname  
         self.unlock=unlock  
         self.SESSION=SESSION  
         self.username=username  
         self.serverport=serverport  
           
     def __call__(self):  
         """wait"""  
         self.run()  
         return True  
       
     def getContext(self, app,serverport="8080"):  
         resp = HTTPResponse(stdout=None)  
         env = {  
             'SERVER_NAME':'localhost',  
             'SERVER_PORT':serverport,  
             'REQUEST_METHOD':'GET'  
             }  
         req = HTTPRequest(None, env, resp)  
         return app.__of__(RequestContainer(REQUEST = req))  
             
       
     def run(self):  
   
         self.result=""  
         from Zope import DB  
         conn = DB.open()  
         root = conn.root()  
         app  = root['Application']  
         ctx = self.getContext(app,serverport=self.serverport)  
   
         self.uploadATFfinallyThread(ctx,self.procedure,comment=self.comment,basketname=self.basketname,unlock=self.unlock,SESSION=self.SESSION,username=self.username)  
         get_transaction().commit()  
         conn.close()  
         self.end=True  
         return True  
           
     def getResult(self):  class CDLIFileObject(CatalogAware,extVersionedFileObject):
         return self.result      """CDLI file object"""
             
     def uploadATFfinallyThread(self,ctx,procedure,comment="",basketname='',unlock=None,RESPONSE=None,SESSION=None,username=None):      meta_type="CDLI File Object"
         """upload the files"""      default_catalog='CDLIObjectsCatalog'
         ctx2=ctx.cdliRoot  
      
         self.result+="<h2>Start processing</h2>"  
         if procedure=="uploadchanged":  
         
             uploadFns=SESSION.get('changed',[])+SESSION.get('newPs',[])  
           
         elif procedure=="uploadAll":  
             uploadFns=[]  
             for x in os.listdir(SESSION['tmpdir']):  
                 if not x in SESSION['errors']:  
                     uploadFns.append(x)  
         elif procedure=="noupload":  
                         return True  
         else:  
             uploadFns=[]  
                           
         for fn in uploadFns:      security=ClassSecurityInfo()
             founds=ctx2.CDLICatalog.search({'title':fn})  
             if len(founds)>0:  
                 SESSION['author']=str(username)  
                 self.result+="<p>Changing : %s"%fn  
                 founds[0].getObject().manage_addCDLIFileObject('',comment,SESSION['author'],file=file(os.path.join(SESSION['tmpdir'],fn)))  
                           
       security.declareProtected('manage','index_html')
                   
       security.declarePublic('view')
       view = PageTemplateFile('zpt/viewCDLIFile.zpt', globals())
                                   
         newPs=SESSION['newPs']      security.declarePublic('editATF')
         if len(newPs)>0:      editATF = PageTemplateFile('zpt/editATFFile.zpt', globals())
             tmpDir=SESSION['tmpdir']  
             self.result+="<p>Adding files</p>"  
             ctx2.cdli_main.importFiles(comment=comment,author=str(username) ,folderName=tmpDir, files=newPs,ext=self)  
                                   
       def PrincipiaSearchSource(self):
              """Return cataloguable key for ourselves."""
              return str(self)
                   
       def setAuthor(self, author):
           """change the author"""
           self.author = author
                   
         #unlock      def makeThisVersionCurrent_html(self):
         if unlock:          """form for mthis version current"""
             self.result+="<p>Unlock files</p>"  
             unlockFns=[]  
             for x in os.listdir(SESSION['tmpdir']):  
                     if not x in SESSION['errors']:  
                         unlockFns.append(x)  
               
             for fn in unlockFns:  
                 founds=ctx2.CDLICatalog.search({'title':fn})  
                 if len(founds)>0:  
                     SESSION['author']=str(username)  
                      
                     founds[0].getObject().lockedBy=""  
                       
         if not (basketname ==''):  
             self.result+="<p>Add basket</p>"  
             basketId=ctx2.basketContainer.getBasketIdfromName(basketname)  
               
             if not basketId: # create new basket  
                 ob=ctx2.basketContainer.addBasket(basketname)  
                 basketId=ob.getId()  
             basket=getattr(ctx2.basketContainer,str(basketId))  
             ids=os.listdir(SESSION['tmpdir'])  
             basket.addObjects(ids,deleteOld=True,username=str(username))      
                                 
         if RESPONSE is not None:          pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','makeThisVersionCurrent.zpt')).__of__(self)
             RESPONSE.redirect(self.aq_parent.absolute_url())          return pt()                 
                   
       security.declarePublic('makeThisVersionCurrent')
       def makeThisVersionCurrent(self,comment,author,RESPONSE=None):
           """copy this version to current"""
           parent=self.aq_parent
           parent.manage_addVersionedFileObject(id=None,vC=comment,author=author,file=self.getData(),RESPONSE=RESPONSE)
           #newversion=parent.manage_addCDLIFileObject('',comment,author)
           #newversion.manage_upload(self.getData())
   
           #if RESPONSE is not None:
           #    RESPONSE.redirect(self.aq_parent.absolute_url()+'/history')
                 
         return True          return True
           
 class uploadATFThread(Thread):      def getFormattedData(self):
               """fromat text"""
     def __init__(self):          data=self.getData()
         self.continueVar=True  #        return re.sub("\s\#lem"," #lem",data) #remove return vor #lem
         self.returnValue=None          return re.sub("#lem","       #lem",data) #remove return vor #lem
                   
         Thread.__init__(self)  
                   
       security.declarePublic('getPNumber')
       def getPNumber(self):
           """get the pnumber"""
           try:
                   txt=re.match("&[PpSs](\d*)\s*=([^\r\n]*)",self.getData()[0:])
           except:
                   txt=self.getData()[0:]
                   
     def set(self,upload,basketId,username,serverport="8080"):                  return "ERROR"
         self.result=""          try:
         self.upload=upload              return "P"+txt.group(1)
         self.basketId=basketId          except:
         self.username=username              return "ERROR"
         self.serverport=serverport  
           
     def __call__(self):  
         """wait"""  
         self.run()  
         return True  
       
     def getContext(self, app,serverport="8080"):  
         resp = HTTPResponse(stdout=None)  
         env = {  
             'SERVER_NAME':'localhost',  
             'SERVER_PORT':serverport,  
             'REQUEST_METHOD':'GET'  
             }  
         req = HTTPRequest(None, env, resp)  
         return app.__of__(RequestContainer(REQUEST = req))  
           
     def run(self):  
        
         self.result=""  
         from Zope import DB  
         conn = DB.open()  
         root = conn.root()  
         app  = root['Application']  
         ctx = self.getContext(app,serverport=self.serverport)  
         self.uploadATFThread(ctx,self.upload,self.basketId)  
           
         while self.continueVar:  
             pass  
         get_transaction().abort()  
         conn.close()  
   
       security.declarePublic('getDesignation')
       def getDesignation(self):
           """get the designation out of the file"""
           try:
                   txt=re.match("&[PpSs](\d*)\s*=([^\r\n]*)",self.getData()[0:])
           except:
                   txt=self.getData()[0:]
                   
     def getResult(self):                  return "ERROR"
         return self.result          try:
               return txt.group(2)
           except:
               return "ERROR"
           
     def uploadATFThread(self,ctx,upload,basketId=0):  
         """upload an atf file"""  
         #TODO: add comments  
         #TODO: finish uploadATF  
         self.result="<html><body><h2>I am loading your file...</h2>"  
         basketId=str(basketId)  
                   
   manage_addCDLIFileObjectForm=DTMLFile('dtml/fileAdd', globals(),Kind='CDLIFileObject',kind='CDLIFileObject', version='1')
                   
         ctx2=ctx.cdliRoot  def manage_addCDLIFileObject(self,id,vC='',author='', file='',title='',versionNumber=0,
         dir=mkdtemp()                               precondition='', content_type='',
         changed=[]                               from_tmp=False,REQUEST=None):
         errors=[]      """Add a new File object.
         newPs=[]      Creates a new File object 'id' with the contents of 'file'"""
         psNotInCatalog=[]  
         basketNameFromFile, numberOfFiles=splitatf(upload,dir)  
                   
         if basketId == '0':      id=str(id)
             basketObj=ctx2.basketContainer.getActiveBasket()      title=str(title)
             if basketObj:      content_type=str(content_type)
                 basketId=basketObj.getId()      precondition=str(precondition)
                                   
         if basketId == '0':      id, title = cookId(id, title, file)
             basketNameFromId=""  
             basketLen=0  
         else:  
             basketNameFromId=getattr(ctx2.basketContainer,basketId).title  
             basketLen=getattr(ctx2.basketContainer,basketId).getLastVersion().numberOfItems()  
                           
       self=self.this()
                   
         self.result+="<html><body><h2>I got the files</h2><p>I am checking now the files</p>"      # First, we create the file without data:
       self._setObject(id, CDLIFileObject(id,title,versionNumber=versionNumber,versionComment=vC,time=time.localtime(),author=author))
       fob = self._getOb(id)
                                                                                 
         for fn in os.listdir(dir):      # Now we "upload" the data.  By doing this in two steps, we
       # can use a database trick to make the upload more efficient.
                           
             self.result+="<p>check:%s</p>"%fn      if file and not from_tmp:
           fob.manage_upload(file)
       elif file and from_tmp:
           fob.manage_file_upload(file) # manage_upload_from_tmp doesn't exist in ExtFile2
       #    fob.manage_upload_from_tmp(file) # manage_upload_from_tmp doesn't exist in ExtFile2
       if content_type:
           fob.content_type=content_type
                           
             if ctx2.cdli_main.checkCatalog(fn):      #logging.debug("manage_add: lastversion=%s"%self.getData())
                 psNotInCatalog.append(fn)      logging.debug("reindex1: %s in %s"%(repr(self),repr(self.default_catalog)))
       self.reindex_object()
       #logging.debug("manage_add: fob_data=%s"%fob.getData())
       logging.debug("reindex2: %s in %s"%(repr(fob), repr(fob.default_catalog)))
       fob.index_object()
                                   
       self.CDLIRoot.updateOrAddToFileBTree(ob)
       if REQUEST is not None:
           REQUEST['RESPONSE'].redirect(self.absolute_url()+'/manage_main')
                                   
             founds=ctx2.CDLICatalog.search({'title':fn})      
               
             if len(founds)==0:  class CDLIFile(extVersionedFile,CatalogAware):
                 newPs.append(fn)      """CDLI file"""
                                   
             for found in founds:      security=ClassSecurityInfo()
                 obj=found.getObject()      meta_type="CDLI file"
       content_meta_type = ["CDLI File Object"]
                 
                 if (not obj.lockedBy=='') and (not obj.lockedBy==self.username):      default_catalog='CDLICatalog'
                     errors.append(obj)  
                 else:  
                     data=file(os.path.join(dir,fn)).read()  
                     diffs=obj.diff(data)  
                     if diffs[0]>0:  
                         changed.append((obj,diffs))  
                         #hochladen  
                   
       security.declareProtected('manage','index_html')
               
         self.result+="<h3>Done</h3></body></html>"      def getLastVersionData(self):
           """get last version data"""
           return self.getData()
   
       def getLastVersionFormattedData(self):
           """get last version data"""
           return self.getContentObject().getFormattedData()
   
       def getTextId(self):
           """returns P-number of text"""
           # assuming that its the beginning of the title
           return self.title[:7]
                   
         self.returnValue={}      #security.declarePublic('history')
         self.returnValue['changed']=changed      def history(self):
         self.returnValue['errors']=errors          """history"""  
         self.returnValue['newPs']=newPs  
         self.returnValue['tmpdir']=dir  
         self.returnValue['basketLen']=basketLen  
         self.returnValue['numberOfFiles']=numberOfFiles  
         self.returnValue['basketNameFromId']=basketNameFromId  
         self.returnValue['basketNameFromFile']=basketNameFromFile  
         self.returnValue['basketId']=basketId  
         self.returnValue['dir']=dir  
                   
         #ctx2.cdli_main.setTemp('v_uploadATF_returnValue',True)          ext=self.ZopeFind(self.aq_parent,obj_ids=["history_template.html"])
           if ext:
               return getattr(self,ext[0][1].getId())()
           
           pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','versionHistory')).__of__(self)
           return pt()
                   
 class Basket_old(Folder):  
     """shopping basket - alte fassung """  
           
     meta_type="Basket"      def getBasketFromId(self,basketid, context=None):
     _v_stack={}          """get basket from id"""
   
     def getObjUrl(self,objId):          if not context:
         """getUrl"""              context=self
         founds=self.CDLICatalog.search({'title':objId})  
         if len(founds)>0:  
              return founds[0].getObject().absolute_url()  
                     
         else: #assume version number          for basket in self.ZopeFind(context,obj_metatypes=["CDLIBasket"]):
             splitted=objId.split("_")              if basket[0]==basketid:
             founds=self.CDLICatalog.search({'title':splitted[1]})                          return basket[1]
             return founds[0].getObject().absolute_url()+'/'+objId          else:
               None
                   
     def storeAllLink(self,results):  
         """erzeuge link zum speicher aller results"""  
         nr=self.REQUEST['_ZopeId']  
                   
         if results:      def isContainedInBaskets(self,context=None):
             self._v_stack[nr]=[x.getObject().getId() for x in results]          """check is this file is part of any basket
           @param context: (optional) necessessary if CDLIBasketCatalog is not an (inherited) attribute of self, context.CDLIBasketCatalog
                           has to exist.
           """
                   
         return self.absolute_url()+"/storeAll?id="+nr          if not context:
               context=self
           
     def storeAll(self,id):          ret=[]
         """store all"""          for x in context.CDLIBasketCatalog.search({'getFileNamesInLastVersion':self.getId()}):
               #if the basket x is deleted it seemes to be that x is sometimes still in the Catalog, why?
         try:          try:
             results=self._v_stack[id]                  ret.append(x.getObject())
         except:          except:
             #TODO: write expired page                  pass
             return "expired"          return ret
                   #return [x.getObject() for x in context.CDLIBasketCatalog.search({'getFileNamesInLastVersion':self.getId()})]
         return self.storeInBasketForm(results)  
           
     def storeInBasketForm(self,ids):  
         """ store an object form"""  
           
         if type(ids) is not ListType:  
             ids=[ids]  
         self.REQUEST.SESSION['ids']=ids[0:]  
           
         self.REQUEST.SESSION['BACKLINK']=self.REQUEST['HTTP_REFERER']  
   
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','storeBasketObject.zpt')).__of__(self)  
         return pt()  
                   
     def storeInBasket(self,username,ids=None,RESPONSE=None,REQUEST=None):      def _newContentObject(self, id, title='', versionNumber=0, versionComment=None, time=None, author=None):
         """store it"""          """factory for content objects. to be overridden in derived classes."""
           logging.debug("_newContentObject(CDLI)")
           return CDLIFileObject(id,title,versionNumber=versionNumber,versionComment=versionComment,time=time,author=author)
                   
         if not ids:  
             ids=REQUEST.SESSION['ids']  
                           
         self.REQUEST.SESSION['basketUser']=username      def addCDLIFileObjectForm(self):
           """add a new version"""
                   
         baskets=self.ZopeFind(self,obj_ids=[username])          if str(self.REQUEST['AUTHENTICATED_USER']) in ["Anonymous User"]:
         if len(baskets)>0:              return "please login first"
             basket=baskets[0][1]          if (self.lockedBy==self.REQUEST['AUTHENTICATED_USER']) or (self.lockedBy==''):
               out=DTMLFile('dtml/fileAdd', globals(),Kind='CDLIFileObject',kind='CDLIFileObject',version=self.getVersion()).__of__(self)
               return out()
         else:          else:
             manage_addBasketObject(self,username)              return "Sorry file is locked by somebody else"
             basket=self._getOb(username)  
           
           
         basket.addObjects(ids)  
         back=self.REQUEST.SESSION.get('BACKLINK', None)  
   
         if RESPONSE:      def manage_addCDLIFileObject(self,id,vC,author,
             RESPONSE.redirect(back)                                   file='',title='',
                                    precondition='', 
                                    content_type='',
                                    changeName='no',newName='', 
                                    come_from=None,
                                    from_tmp=False,RESPONSE=None):
           """add"""
                           
           try: #TODO: der ganze vC unsinn muss ueberarbeitet werden
               vC=self.REQUEST['vC']
           except:
               pass
   
           ob = self.addContentObject(id, vC, author, file, title, changeName=changeName, newName=newName, from_tmp=from_tmp,
                                      precondition=precondition, content_type=content_type)
           
     def showBasket(self,user=None,set=None,RESPONSE=None):          try:
         """show the basket"""              #FIXME: wozu ist das gut?
               self.REQUEST.SESSION['objID_parent']=self.getId()
           except:
               pass
                   
         if user:          #self.cdliRoot.updateOrAddToFileBTree(self)# now update the object in the cache
             self.REQUEST.SESSION['basketUser']=user  
                   
         if not user and not set:  
             user=self.REQUEST.SESSION.get('basketUser',None)  
                   
         if not user:          if RESPONSE:
             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','orizeBasketUser.zpt')).__of__(self)              if ob.getSize()==0:
                   self.REQUEST.SESSION['objID']=ob.getId()
                   pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','errorUploadFile')).__of__(self)
             return pt()              return pt()
         else:          else:
             baskets=self.ZopeFind(self,obj_ids=[user])                  if come_from and (come_from!=""):
                               RESPONSE.redirect(come_from+"?change="+self.getId())
   
         if len(baskets)>0:  
             RESPONSE.redirect(baskets[0][1].absolute_url())  
             return True   
         else:          else:
             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','emptyBasket.zpt')).__of__(self)                      RESPONSE.redirect(self.REQUEST['URL2']+'?uploaded=%s'%self.title)
             return pt()          else:
               return ob
                   
   
 def manage_addBasket_oldForm(self):  def manage_addCDLIFileForm(self):
     """add the basket form"""      """interface for adding the OSAS_root"""
     pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addBasket.zpt')).__of__(self)      pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addCDLIFile.zpt')).__of__(self)
     return pt()      return pt()
   
 def manage_addBasket_old(self,id,title,RESPONSE=None):  def manage_addCDLIFile(self,id,title,lockedBy, author=None, RESPONSE=None):
     """add the basket"""      """add the OSAS_root"""
     ob=Basket()      newObj=CDLIFile(id,title,lockedBy,author)
           
     ob.id=str(id)      tryToggle=True
     ob.title=title      tryCount=0
     self._setObject(id, ob)  
     ob=self._getOb(id)      self._setObject(id,newObj)                  
       getattr(self,id).reindex_object()
           
     if RESPONSE is not None:      if RESPONSE is not None:
         RESPONSE.redirect('manage_main')          RESPONSE.redirect('manage_main')
   
           
 class BasketObject_old(Folder):  def checkUTF8(data):
     """Basket Object - alte fassung"""      """check utf 8"""
           if not isinstance(data, str):
     meta_type="basketObject"          logging.error("checkUTF8 data is not string! (%s)"%repr(data))
     def __init__(self):  
                 """init basket object"""  
                 self.contents=[]  
   
     def numberOfItems(self):  
         """return anzahl der elemente im basket"""  
         return len(self.contents)  
       
     def addObjects(self,ids):  
         """addObjects"""  
           
         for id in ids:  
             founds=self.CDLICatalog.search({'title':id})  
             for found in founds:  
                 if found.getObject() not in self.contents:  
                     tm=self.contents[0:]  
                     tm.append(found.getObject())  
                     self.contents=tm[0:]  
           
       try:
           data.decode('utf-8')
           logging.debug("checkUTF8: ok!")
         return True          return True
       except:
           logging.debug("checkUTF8: false!")
           return False
   
     def index_html(self):  
                 """view the basket"""  
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','basketObject_index_html.zpt')).__of__(self)  
                 return pt()  
   
     def deleteObjects(self,ids,RESPONSE=None):  
         """delete objects"""  
         list = self.contents[0:]  
         for content in list:  
                  
                 if content.getId() in ids:  
                     self.contents.remove(content)  
           
   
         if RESPONSE:  
                     RESPONSE.redirect(self.absolute_url())  
   
   
     def unlockTest(self):  
         """unlock all files of the testuser for debuggin"""  
         for object in self.contents:  
   
                 if str(object.lockedBy)=="test":  
                     object.lockedBy=""  
               
     def downloadObjectsAsOneFile(self,lock=None,procedure=None,REQUEST=None):  
         """download all selected files in one file"""  
           
         ret=""  
         lockedObjects={}  
           
   
         if lock:  
               
             if str(self.REQUEST['AUTHENTICATED_USER'])=='Anonymous User':  
                   
                 return "please login first"  
   
             #check if a locked object exist in the basket.  
             lockedObjects={}  
             for object in self.contents:  
   
                 if not object.lockedBy=="":  
                     lockedObjects[object.title]=repr(object.lockedBy)  
                      
                       
             keys=lockedObjects.keys()  
               
               
             if len(keys)>0 and (not procedure):  
                 self.REQUEST.SESSION['lockedObjects']=lockedObjects  
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','lockedObjects.zpt')).__of__(self)  
                 return pt()  
            
             elif not procedure: #keine fails gesperrt dann alle donwloaden  
                 procedure="downloadAll"   
                   
   def checkFile(filename,data,folder):
       """check the files"""
       # first check the file name
       fn=filename.split(".") # no extension
   
       if not (fn[0][0]=="P" or fn[0][0]=="S"):
           return False,"P/S missing in the filename"
       elif len(fn[0])!=7:
           return False,"P number has not the right length 6"
       elif not checkUTF8(data):
           return False,"not utf-8"
       else:
           return True,""
   
         for object in self.contents:  
                           
                 if (procedure=="downloadAll") or (object.lockedBy=='') or (object.lockedBy==self.REQUEST['AUTHENTICATED_USER']):  def splitatf(fh,dir=None,ext=None):
                     ret+=object.getLastVersion().data      """split it"""
       ret=None
       nf=None
       i=0
                                   
                 if lock and object.lockedBy=='':      #ROC: why split \n first and then \r???
                     object.lockedBy=self.REQUEST['AUTHENTICATED_USER']      if isinstance(fh, basestring):
           iter=fh.split("\n")
       else:
           iter=fh.readlines()
           
       for lineTmp in iter:
           lineTmp=lineTmp.replace(codecs.BOM_UTF8,'') # make sure that all BOM are removed..
           for line in lineTmp.split("\r"):
               #logging.info("Deal with: %s"%line)
               if ext:
                   i+=1
                   if (i%100)==0:
                       ext.result+="."
                   if i==10000:
                       i=0
                       ext.result+="<br>"
               #check if basket name is in the first line
               if line.find("#atf basket")>=0: #old convention
                   ret=line.replace('#atf basket ','')
                   ret=ret.split('_')[0]
               elif line.find("#basket:")>=0: #new convention
                   ret=line.replace('#basket: ','')
                   ret=ret.split('_')[0]
   
               else:
                   if (len(line.lstrip())>0) and (line.lstrip()[0]=="&"): #newfile
                       if nf:
                           nf.close() #close last file
   
         self.REQUEST.RESPONSE.setHeader("Content-Disposition","""attachement; filename="basket_%s.atf" """%self.getId())  
         self.REQUEST.RESPONSE.setHeader("Content-Type","application/octet-stream")  
         length=len(ret)  
         self.REQUEST.RESPONSE.setHeader("Content-Length",length)  
         self.REQUEST.RESPONSE.write(ret)      
                   
                       filename=line[1:].split("=")[0].rstrip()+".atf"
                       if dir:
                           filename=os.path.join(dir,filename)
                       nf=file(filename,"w")
                       logging.debug("open %s"%filename)
                   if nf:    
                       nf.write(line.replace("\n","")+"\n")
                   
 def manage_addBasket_oldObjectForm(self):      try:        
     """add form"""          nf.close()
       except:
     pass      pass
   
 def manage_addBasket_oldObject(self,id,title='',RESPONSE=None):      if not isinstance(fh, basestring):
     """add"""          fh.close()
       
     ob=BasketObject()  
           
     ob.id=str(id)      return ret,len(os.listdir(dir))
     ob.title=title  
     self._setObject(id, ob)  
     ob=self._getOb(id)  
           
     if RESPONSE is not None:  
         RESPONSE.redirect('manage_main')  
   
   class CDLIFileFolder(extVersionedFileFolder):
       """CDLI File Folder"""
   
 class CDLIBasketContainer(OrderedFolder):      security=ClassSecurityInfo()
     """contains the baskets"""      meta_type="CDLI Folder"
       file_meta_type=['CDLI file']
       folder_meta_type=['CDLI Folder']
           
       file_catalog='CDLICatalog'
   
     security=ClassSecurityInfo()      #downloadCounter=0 # counts how many download for all files currently run, be mehr als 5 wird verweigert.
     meta_type="CDLIBasketContainer"      tmpStore2={}
           
     def deleteBaskets(self,ids=None):      def _newVersionedFile(self, id, title='', lockedBy=None, author=None):
         """delete baskets, i.e. move them into trash folder"""          """factory for versioned files. to be overridden in derived classes."""
           logging.debug("_newVersionedFile(CDLI)")
           return CDLIFile(id, title, lockedBy=lockedBy, author=author)
                   
       def setTemp(self,name,value):
           """set tmp"""
                   
         found=self.ZopeFind(self,obj_ids=['trash'])          setattr(self,name,value)
                   
         if len(found)<1:      deleteFileForm = PageTemplateFile("zpt/doDeleteFile", globals())
             manage_addFolder(self, 'trash')  
             trash=self._getOb('trash')  
         else:  
             trash=found[0][1]  
                   
       def delete(self,ids,REQUEST=None):
           """delete these files"""
         if type(ids) is not ListType:          if type(ids) is not ListType:
             ids=[ids]              ids=[ids]
         cut=self.manage_cutObjects(ids)  
         trash.manage_pasteObjects(cut)  
                   
     def manageBaskets(self,ids,submit,REQUEST=None,RESPONSE=None):          self.manage_delObjects(ids)
         """manage baskets, delete or copy"""  
         if submit=="delete":  
             self.deleteBaskets(ids)  
                   
           if REQUEST is not None:
               return self.index_html()
                 
                           
         if RESPONSE:      def getVersionNumbersFromIds(self,ids):
             RESPONSE.redirect(self.absolute_url())          """get the numbers of the current versions of documents described by their ids"""
     def getBasketIdfromName(self,basketname):  
         """get id from name"""  
   
         for basket in self.ZopeFind(self,obj_metatypes=["CDLIBasket"]):          ret=[]
             if basket[1].title==basketname:          searchStr=" OR ".join(ids)
                 return basket[0]  
         else:  
             None  
           
     security.declareProtected('manage','uploadBasket_html')                  founds=self.CDLICatalog.search({'title':searchStr})
                           
     def uploadBasket_html(self,basketId='0'):          for found in founds:
         """upload an atf file, html form"""              lastVersion=found.getObject().getContentObject()
               ret.append((found.getId,lastVersion))
                   
           return ret
   
         basketId=str(basketId)      def getFile(self,fn):
         if not basketId=='0':          """get the content of the file fn"""
             basketName=getattr(self.basketContainer,basketId).title          logging.debug("getFile: %s"%repr(fn))
           if not self.hasObject(fn):
               # search deeper
               founds=getattr(self, self.file_catalog).search({'textid':fn})
               if founds:
                   obj=founds[0].getObject().getContentObject()
         else:          else:
             basketName=""                  return "" 
                       else:
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadBasket_html.zpt')).__of__(self)              obj = self[fn].getContentObject()
         return pt(basketId=basketId,basketName=basketName)  
      
   
           return obj.getData()[0:] 
                   
     def index_html(self):  
         """stanadard ansicht"""  
                   
       def checkCatalog(self,fn):
           """check if fn is in the catalog"""
           #TODO add checkCatalog
   
   
         ext=self.ZopeFind(self,obj_ids=["index.html"])      def findObjectsFromListWithVersion(self,list,author=None):
         if ext:          """find objects from a list with versions
             return ext[0][1]()          @param list: list of tuples  (cdliFile,version)
           """
           #self.REQUEST.SESSION['fileIds']=list#store fieldIds in session for further usage
           #self.REQUEST.SESSION['searchList']=self.REQUEST.SESSION['fileIds']
                   
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','BasketContainerMain')).__of__(self)          pt=getattr(self,'filelistVersioned.html')
         return pt()  
           
     def getStorageFolderRoot(self):          return pt(search=list,author=author)
         """root des storage folders"""  
         return self.cdli_main  
           
     def __init__(self,id,title):  
         """ init basket container"""  
         self.id=id  
         self.title=title  
             
       def getAllPNumbers(self):
           """get a list of all files (resp their p-numbers) stored"""
             
     def getBaskets(self,sortField='title'):          ret=[x.getId for x in  self.CDLICatalog()]
         """get all baskets files"""  
   
         def sortName(x,y):          return ret
             return cmp(x[1].title.lower(),y[1].title.lower())  
   
         def sortDate(x,y):      def expandFile(self,fileId,fileTree):
             return cmp(y[1].getLastVersion().getTime(),x[1].getLastVersion().getTime())          """wildcard in fileID suche alle Treffer"""
           founds=self.CDLICatalog({'title':fileId})
           for found in founds:
               fileTree.add(found.getId)
               logging.debug("ADDD:"+found.getId)
   
       def findObjectsFromList(self,enterList=None,display=False,start=None,upload=None,list=None,basketName=None,numberOfObjects=None,RESPONSE=None,REQUEST=None,returnHash=False,hash=None):
           """findObjectsFromList (, TAB oder LINE separated)"""
                   
         def sortComment(x,y):          logging.debug("start: findObjectsFromList")
           #logging.debug("start: findObjectsFromList"+repr(list))
   
                   
           if upload: # list from file upload
               txt=upload.read()
                           
              try:          if enterList:
                 xc=getattr(x[1],'comment','ZZZZZZZZZZZZZ').lower()              txt=enterList
              except:  
                 xc='ZZZZZZZZZZZZZ'.lower()  
              try:  
                 yc=getattr(y[1],'comment','ZZZZZZZZZZZZZ').lower()  
              except:  
                 yc='ZZZZZZZZZZZZZ'.lower()  
           
           if upload or enterList:
               txt=txt.replace(",","\n")
               txt=txt.replace("\t","\n")
               txt=txt.replace("\r","\n")
               idsTmp=txt.split("\n")
               ids=[]
               for id in idsTmp: # make sure that no empty lines
                   idTmp=id.lstrip().rstrip()
                   if len(idTmp)>0:
           
              if (xc=='') or (xc=='ZZZZZZZZZZZZZ'.lower()):                      ids.append(idTmp)
                                     
                  try:              #self.REQUEST.SESSION['ids']=" OR ".join(ids)
                      xc=x[1].getLastVersion().getComment().lower()  
                  except:  
                      xc='ZZZZZZZZZZZZZ'.lower()  
                                             
              if (yc=='') or (yc=='ZZZZZZZZZZZZZ'.lower()):              pt=getattr(self,'filelist.html')
                  try:              self.REQUEST.SESSION['searchList']=ids
                      yc=y[1].getLastVersion().getComment().lower()              return pt(search=ids)
                  except:  
                      yc='ZZZZZZZZZZZZZ'.lower()  
           
           if basketName:
               #TODO: get rid of one of these..
                             
                  return cmp(xc,yc)              pt=getattr(self,'filelist.html')
               return pt(basketName=basketName,numberOfObjects=numberOfObjects)
                   
         def sortAuthor(x,y):  
                           
             return cmp(x[1].getLastVersion().getUser().lower(),y[1].getLastVersion().getUser().lower())          result =self.CDLICache.retrieve(hash)
           if result:
              logging.debug("give result from storage2")
              return hash,result
                   
         baskets=self.ZopeFind(self,obj_metatypes=['CDLIBasket'])          if list is not None: # got already a list
                   
               logging.debug(" ----List version")
               ret=[]
               fileTree=Set()
                   
         if sortField=='title':              for fileId in list:
             baskets.sort(sortName)  
         elif sortField=='date':  
             baskets.sort(sortDate)  
         elif sortField=='author':  
             baskets.sort(sortAuthor)  
         elif sortField=='comment':  
             baskets.sort(sortComment)  
   
         return baskets                  if fileId.find("*")>-1: #check for wildcards
                           self.expandFile(fileId,fileTree)
   
                   elif len(fileId.split("."))==1:
                           fileId=fileId+".atf"
                           fileTree.add(fileId)
                   #logging.debug("   -----:"+fileId)
                   #ret+=self.CDLICatalog({'title':fileId})
                   #x =self.getFileObject(fileId)
                   #if x is not None:
                   #    ret.append(x)
   
                                                 
     def getNewId(self):  
         """createIds"""  
         last=getattr(self,'last',0)  
         last +=1  
         while len(self.ZopeFind(self,obj_ids=[str(last)]))>0:  
             last+=1  
           
         self.last=last              ids = fileTree & self.v_file_ids
         return last              #self.REQUEST.SESSION['fileIds']=ids#store fieldIds in session for further usage
               l=makelist(fileTree)[0:]
               #logging.debug("l-list:"+repr(l))
               self.REQUEST.SESSION['fileIds']=l#store fieldIds in session for further usage
               self.REQUEST.SESSION['searchList']=l
               #self.REQUEST.SESSION['searchList']=['P000001.atf']
             
               
               hash = md5.new(repr(makelist(fileTree))).hexdigest() # erzeuge hash als identification
               self.REQUEST.SESSION['hash']=hash
               #TODO: do I need garbage collection for v_tmpStore ?
               
               #logging.debug("Hash:"+repr(hash))
   #        
   #            if hasattr(self.cdliRoot,'v_tmpStore') and self.cdliRoot.v_tmpStore.has_key(hash): 
   #               logging.debug("asking for storage")
   #               res=self.cdliRoot.v_tmpStore[hash]
   #               if res:
   #                   if returnHash == True:
   #                       return hash,res
   #                   return res
           
     def setActiveBasket(self,basketId,REQUEST=None):              #TODO: get rid of one of these..
         """store active basketId in a cookie"""              #ids=[x.getObject().getId() for x in ret]
         self.REQUEST.RESPONSE.setCookie("CDLIActiveBasket",basketId,path="/")              ret=[(self.getFileObject(x),self.getFileObjectLastVersion(x)) for x in ids]
                   
         if REQUEST:              #self.REQUEST.SESSION['fileIds']=ids#store fieldIds in session for further usage
             REQUEST.RESPONSE.redirect(REQUEST['URL1']+'?'+REQUEST['QUERY_STRING'])              #self.REQUEST.SESSION['searchList']=self.REQUEST.SESSION['fileIds']
                           
     def getActiveBasket(self):              if display:
         """get active basket from cookie"""                  pt=getattr(self,'filelist.html')
                   
         id= self.REQUEST.cookies.get('CDLIActiveBasket',None)                  return pt(search=ids)
         if id:  
             obj=getattr(self,str(id),None)  
         else:          else:
             obj=None                  #self.REQUEST.SESSION['hash'] = ret # store in session 
         return obj  
       
     def getActualUserName(self):  
         """get name of the actualuser"""  
         return str(self.REQUEST['AUTHENTICATED_USER'])  
       
       
     def addBasket(self,newBasketName):  
         """add a new basket"""  
           
         ob=manage_addCDLIBasket(self,newBasketName)  
         return ob  
           
     def storeInBasket(self,submit,ids=None,newBasketName=None,fromFileList=None,RESPONSE=None,REQUEST=None):                  #logging.debug("HHHHHHNEU:"+repr(self.makelist(ids)))
         """store it"""                  #logging.debug("HHHHHHNEU:"+repr(hash))
         if not ids:                  self.CDLICache.store(hash,ret)
             ids=self.REQUEST.SESSION['fileIds']  
                           
         if type(ids) is not ListType:                  if returnHash == True:
             ids=[ids]                      return hash,ret
                           return ret
         if (submit.lower()=="store in new basket") or (submit.lower()=="new basket"):  
             basketRet=self.addBasket(newBasketName)  
             self.setActiveBasket(basketRet.getId())  
             basket=getattr(self,basketRet.getId())  
         elif (submit.lower()=="store in active basket") or (submit.lower()=="active basket"):  
             basket=self.getActiveBasket()  
           
         added=basket.addObjects(ids)  
         back=self.REQUEST['HTTP_REFERER'].split("?")[0]+"?basketName="+basket.title+"&numberOfObjects="+str(added)  
                   
                   
         if fromFileList:  
   
             return self.cdli_main.findObjectsFromList(list=self.REQUEST.SESSION['fileIds'],basketName=basket.title,numberOfObjects=added)          if start:
               RESPONSE.redirect("filelist.html?start:int="+str(start))
                 
         if RESPONSE:      security.declareProtected('Manage','createAllFilesAsSingleFile')
       def createAllFilesAsSingleFile(self,RESPONSE=None):
           """download all files"""
                           
             RESPONSE.redirect(back)          def sortF(x,y):
               return cmp(x[0],y[0])
                           
         return True          catalog=getattr(self,self.file_catalog)
           #tf,tfilename=mkstemp()
           if not hasattr(self.temp_folder,'downloadCounter'):
               self.temp_folder.downloadCounter=0
           
 def manage_addCDLIBasketContainerForm(self):          if getattr(self.temp_folder,'downloadCounter',0) > 5:
     """add the CDLIBasketContainer form"""              return """I am sorry, currently the server has to many requests for downloads, please come back later!"""
     pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addCDLIBasketContainer.zpt')).__of__(self)  
     return pt()  
   
 def manage_addCDLIBasketContainer(self,id,title,RESPONSE=None):          self.temp_folder.downloadCounter+=1
     """add the basket"""          self._p_changed=1
     ob=CDLIBasketContainer(id,title)          transaction.get().commit()
           
     self._setObject(id, ob)          list=[(x.getId,x) for x in catalog()]
           list.sort(sortF)
           
     if RESPONSE is not None:  
         RESPONSE.redirect('manage_main')  
   
 class CDLIBasket(Folder,CatalogAware):  
     """basket"""  
           
     meta_type="CDLIBasket"          RESPONSE.setHeader("Content-Disposition","""attachement; filename=%s"""%"all.atf")
     default_catalog="CDLIBasketCatalog"          RESPONSE.setHeader("Content-Type","application/octet-stream")
           tmp=""
           for l in list:
               obj=l[1].getObject()
           
     def getFile(self,obj):              if obj.meta_type=="CDLI file":
         return obj[1]  
           
     def getFileLastVersion(self,obj):                  #os.write(tf,obj.getLastVersion().data)
         return obj[0]                  if RESPONSE:
                       RESPONSE.write(obj.getData()[0:])
                       RESPONSE.write("\n")
                   self.temp_folder.downloadCounter-=1 
                   self._p_changed=1
           transaction.get().commit()
           #os.close(tf)
           #RESPONSE.redirect(self.absolute_url()+"/downloadFile?fn="%tfilename)
           return True
           
     def getFileNamesInLastVersion(self):      def downloadFile(self,fn):
         """get content of the last version as list"""          """download fn - not used yet"""
           self.REQUEST.RESPONSE.setHeader("Content-Disposition","""attachement; filename=%s"""%self.getLastVersion().getId())
           self.REQUEST.RESPONSE.setHeader("Content-Type","application/octet-stream")
           self.REQUEST.RESPONSE.write(file(fn).read())
                   
         return [x[1].getId() for x in self.getLastVersion().getContent()]  
           
     def isActual(self,obj):  
         """teste ob im basket die aktuelle version ist"""  
         actualNo=obj[1].getLastVersion().getVersionNumber()  
         storedNo=obj[0].getVersionNumber()  
                   
         founds=self.CDLICatalog.search({'title':obj[0].getId()})      def hasParent(self):
         if len(founds)>0 and founds[0].getObject().aq_parent.getId()==".trash":          """returns true falls subfolder"""
             return False, -1  
                   
         if actualNo==storedNo:          if self.aq_parent.meta_type in self.folder_meta_type:
             return True , 0              return True
         else:          else:
             return False, actualNo              return False
                   
     def history(self):      def getFolders(self):
         """history"""            """get all subfolders"""
           ret=[]
           folders=self.ZopeFind(self,obj_metatypes=self.folder_meta_type)
           for folder in folders:
               ret.append((folder[1],
                           len(self.ZopeFind(folder[1],obj_metatypes=self.folder_meta_type)),
                           len(self.ZopeFind(folder[1],obj_metatypes=self.file_meta_type))
                           ))
           return ret
   
         ext=self.ZopeFind(self.aq_parent,obj_ids=["history_template.html"])              
       security.declareProtected('manage','index_html')
       def index_html(self):
           """main"""
           ext=self.ZopeFind(self,obj_ids=["index.html"])
         if ext:          if ext:
             return getattr(self,ext[0][1].getId())()              return ext[0][1]()
                   
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','BasketHistory')).__of__(self)          pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','CDLIFileFolderMain')).__of__(self)
         return pt()          return pt()
           
     def getStorageFolderRoot(self):  
         """root des storage folders"""  
         return self.aq_parent.cdli_main  
       
     def __init__(self,id,title,shortDescription="",comment=""):  
         """init a CDLIBasket"""  
           
         self.id=id  
         self.title=title  
         self.shortDescription=shortDescription  
         self.comment=comment  
    
      
              
     def getLastVersion(self):  
         """hole letzte version"""  
         ids=[int(x[0]) for x in self.ZopeFind(self,obj_metatypes=["CDLIBasketVersion"])]  
         ids.sort()  
         if len(ids)==0:  
             return None  
         else:      
             ob=getattr(self,str(ids[-1]))  
             return ob  
      
     def getVersions(self):  
         """get versions"""  
         versions=self.ZopeFind(self,obj_metatypes=["CDLIBasketVersion"])  
         return versions  
   
      
       
     def addObjects(self,ids,deleteOld=None,username=None):  
         """generate a new version of the basket with objects added"""  
          
         lastVersion=self.getLastVersion()  
           
         if lastVersion is None:  
             oldContent=[]  
         else:  
             oldContent=lastVersion.basketContent[0:]  
   
         if deleteOld:  
             oldContent=[]  
   
         newContent=[]  
         added=0  
         for id in ids:  
             founds=self.CDLICatalog.search({'title':id})  
   
             for found in founds:  
                 if found.getObject() not in oldContent:  
                     #TODO: was passiert wenn, man eine Object dazufŸgt, das schon da ist aber eine neuere version  
                     newContent.append((found.getObject().getLastVersion(),found.getObject()))  
                     added+=1  
   
         content=oldContent+newContent  
         if not username:  
             user=self.getActualUserName()  
         else:  
             user = username  
               
         ob=manage_addCDLIBasketVersion(self,user,comment="",basketContent=content)  
       
         return added  
       
     def deleteObjects(self,ids,RESPONSE=None,REQUEST=None):  
         """delete objects"""  
           
         if type(ids) is not ListType:  
             ids=[ids]  
          
         lastVersion=self.getLastVersion()   
         oldContent=lastVersion.basketContent[0:]  
         newContent=[]  
         for obj in oldContent:  
             if obj[1].getId() not in ids:  
                 newContent.append(obj)  
           
                   
         user=self.getActualUserName()  
           
         ob=manage_addCDLIBasketVersion(self,user,comment="",basketContent=newContent)  
           
         if RESPONSE:  
             obj=self._getOb(ob.getId())  
             RESPONSE.redirect(obj.absolute_url())  
           
 def manage_addCDLIBasketForm(self):  
     """add the CDLIBasketContainer form"""  
     pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addCDLIBasket.zpt')).__of__(self)  
     return pt()  
   
 def manage_addCDLIBasket(self,title,shortDescription="",comment="",RESPONSE=None):  manage_addCDLIFileFolderForm=DTMLFile('dtml/folderAdd', globals())
     """add the basket"""  
           
     id=str(self.getNewId())  
           
     ob=CDLIBasket(id,title,shortDescription,comment)  def manage_addCDLIFileFolder(self, id, title='',
                        createPublic=0,
                        createUserF=0,
                        REQUEST=None):
       """Add a new Folder object with id *id*.
           
       If the 'createPublic' and 'createUserF' parameters are set to any true
       value, an 'index_html' and a 'UserFolder' objects are created respectively
       in the new folder.
       """
       ob=CDLIFileFolder()
       ob.id=str(id)
       ob.title=title
     self._setObject(id, ob)      self._setObject(id, ob)
       ob=self._getOb(id)
           
     if RESPONSE is not None:      checkPermission=getSecurityManager().checkPermission
         RESPONSE.redirect('manage_main')  
     else:  
         return ob  
   
 class CDLIBasketVersion(SimpleItem):  
     """version of a basket"""  
       
     meta_type="CDLIBasketVersion"  
       
     def downloadObjectsAsOneFile(self,lock=None,procedure=None,REQUEST=None):  
         """download all selected files in one file"""  
           
         ret=""  
         lockedObjects={}  
           
   
         if lock:  
               
             if str(self.REQUEST['AUTHENTICATED_USER'])=='Anonymous User':  
                   
                 return "please login first"  
   
             #check if a locked object exist in the basket.  
             lockedObjects={}  
             for object in self.basketContent:  
   
                 if not object[1].lockedBy=="":      if createUserF:
                     lockedObjects[object[1].title]=repr(object[1].lockedBy)          if not checkPermission('Add User Folders', ob):
               raise Unauthorized, (
                     'You are not authorized to add User Folders.'
                     )
           ob.manage_addUserFolder()
                                         
                                           
             keys=lockedObjects.keys()      if REQUEST is not None:
           return self.manage_main(self, REQUEST, update_menu=1)
                           
   class CDLIRoot(Folder):
       """main folder for cdli"""
                           
             if len(keys)>0 and (not procedure):      meta_type="CDLIRoot"
                 self.REQUEST.SESSION['lockedObjects']=lockedObjects      downloadCounterBaskets=0 # counts the current basket downloads if counter > 10 no downloads are possible
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','lockedObjects.zpt')).__of__(self)  
                 return pt()  
                     
             elif not procedure: #keine fails gesperrt dann alle donwloaden      file_catalog = 'CDLICatalog'
                 procedure="downloadAll"   
                   
       # word splitter for search
       splitter = {'words':cdliSplitter.wordSplitter(),
                   'graphemes':cdliSplitter.graphemeSplitter()}
       
       def redirect(self,RESPONSE,url):
           """mache ein redirect mit einem angehaengten time stamp um ein reload zu erzwingen"""
           
           timeStamp=time.time()
           
           if url.find("?")>-1: #giebt es schon parameter
               addStr="&time=%s"
           else:
               addStr="?time=%s"
               
           RESPONSE.setHeader('Last-Modified',email.Utils.formatdate().split("-")[0]+'GMT')
           logging.error(email.Utils.formatdate()+' GMT')
           RESPONSE.redirect(url+addStr%timeStamp)
       
       def unicodify(self,txt):
           return unicodify(txt)
       def invalidateOldCacheVersion(self):
           """loescht die alte Version des Cache"""
           del self.v_tmpStore
           return "done"
       
       def viewATF(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           logging.debug(ob[0].getObject().getLastVersion().absolute_url()+"/view")
           if len(ob)>0:
               RESPONSE.redirect(ob[0].getObject().getLastVersion().absolute_url()+"/view")
           return "not found"
       
       def history(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               RESPONSE.redirect(ob[0].absolute_url+"/history")
           return "not found"
       
   
       def downloadLocked(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               RESPONSE.redirect(ob[0].absolute_url+"/downloadLocked")
           return "not found"
       
       def download(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               logging.info("objekt:"+repr(ob[0]))
               #RESPONSE.redirect(ob[0].getLastVersion().absolute_url())
               RESPONSE.redirect(ob[0].absolute_url+"/download")
           return "not found"
       def addCDLIFileObjectForm(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               RESPONSE.redirect(ob[0].absolute_url+"/addCDLIFileObjectForm")
           return "not found"
       
       def addVersionedFileObjectForm(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               RESPONSE.redirect(ob[0].absolute_url+"/addVersionedFileObjectForm")
           return "not found"
       
       def unlock(self,id,RESPONSE):
           """view an Object"""
           ob = self.CDLICatalog({'title':id})
           if len(ob)>0:
               RESPONSE.redirect(ob[0].absolute_url+"/unlock")
           return "not found"
       
       
       def getFileObject(self,fileId):
           """get an object"""
           logging.debug("getFileObj:"+repr(fileId))
           if isinstance(fileId,CDLIFileObject): # support for old baskets
                     return fileId
           x=self.v_files.get(fileId)
           logging.debug("obj: "+repr(x))
           if x==None:
               folder=fileId[0:3]
               f2=fileId[0:5]
               fObj = getattr(self.cdliRoot.cdli_main,folder);
               f2Obj = getattr(fObj,f2)
               
               o = getattr(f2Obj,fileId)
               logging.debug(o);
               self.updateOrAddToFileBTree(o)
               return o
           return x
       
       def getFileObjectLastVersion(self,fileId):
           """get an object"""
           x=self.v_files_lastVersion.get(fileId)
           logging.debug("lastVersion: "+repr(x))
           if x==None:
               folder=fileId[0:3]
               f2=fileId[0:5]
               fObj = getattr(self.cdliRoot.cdli_main,folder);
               f2Obj = getattr(fObj,f2)
   
               o =getattr(f2Obj,fileId)
               logging.debug(o);
               return o.getLastVersion()
           
   
           return x
       
       def showFileIds(self):
           """showIds"""
           return self.v_file_ids
       
       def generateFileBTree(self):
           """erzeuge einen Btree aus allen Files"""
           self.v_files = OOBTree()
           self.v_files_lastVersion = OOBTree()
           self.v_file_ids = Set()
           
           for x in self.CDLICatalog.searchResults():
               
               self.v_files.update({x.getId:x.getObject()})
               self.v_files_lastVersion.update({x.getId:x.getObject().getLastVersion()})
               self.v_file_ids.add(x.getId)
               logging.debug("add:"+x.getId+"XXX"+repr(x.getObject()))
   
         for object in self.basketContent:          return True
                           
                 if (procedure=="downloadAll") or (object[1].lockedBy=='') or (object[1].lockedBy==self.REQUEST['AUTHENTICATED_USER']):  
                     ret+=object[0].data  
                                   
                 if lock and object[1].lockedBy=='':      def updateOrAddToFileBTree(self,obj):
                     object[1].lockedBy=self.REQUEST['AUTHENTICATED_USER']          """update a BTree"""
           self.v_files.update({obj.getId():obj})
           self.v_files_lastVersion.update({obj.getId():obj.getLastVersion()})
   
         basket_name=self.aq_parent.title+"_V"+self.getId()          self.v_file_ids.add(obj.getId())
           #change everthing around to make it persistent...
           tmp = self.v_files
           self.v_files=tmp
                   
         #write basketname to header of atf file          tmp2=self.v_file_ids
         ret="#atf basket %s\n"%basket_name+ret          self.v_file_ids=tmp2
                   
         self.REQUEST.RESPONSE.setHeader("Content-Disposition","""attachement; filename="%s.atf" """%basket_name)          self.CDLICache.cleanCache() #be sure that the cache is clean
         self.REQUEST.RESPONSE.setHeader("Content-Type","application/octet-stream")          logging.debug("update:"+obj.getId()+"XXX"+repr(obj))
         length=len(ret)  
         self.REQUEST.RESPONSE.setHeader("Content-Length",length)  
         self.REQUEST.RESPONSE.write(ret)      
           
    
     def numberOfItems(self):  
         """return anzahl der elemente im basket"""  
         return len(self.basketContent)  
       
     def getTime(self):  
         """getTime"""  
         #return self.bobobase_modification_time().ISO()  
         
         if hasattr(self,'time'):  
             return time.strftime("%Y-%m-%d %H:%M:%S",self.time)  
         elif hasattr(self,'timefixed'):  
             return self.timefixed  
         else:  
             setattr(self,'timefixed',self.bobobase_modification_time().ISO())  
             return self.bobobase_modification_time().ISO()  
       
     def getContent(self):  
         """get Basket Content"""  
         return self.basketContent  
   
       
     def __init__(self,id,user,comment="",basketContent=[]):  
         """ init a basket version"""  
         self.id=id  
         self.coment=comment  
         self.basketContent=basketContent[0:]  
         self.user=user  
         self.time=time.localtime()  
           
     def getUser(self):  
         """get user"""  
         return self.user  
       
     def getComment(self):  
         """get Comment"""  
         return self.comment  
     
     def index_html(self):  
             """view the basket"""  
             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','BasketVersionMain.zpt')).__of__(self)  
             return pt()  
             
     def getObjUrl(self,result):      def deleteFromBTree(self,objId):
         """getUrl of the version of the object"""          """delete an obj"""
         objId=result[1].getTitle()          self.v_files.pop(objId)
         founds=self.CDLICatalog.search({'title':objId})          self.v_files_lastVersion.pop(objId)
         if len(founds)>0:          self.v_file_ids.remove(objId)
              return founds[0].getObject().getLastVersion().absolute_url()  
                     
         else: #assume version number  
             splitted=objId.split("_")  
             founds=self.CDLICatalog.search({'title':splitted[1]})          
             return founds[0].getObject().getLastVersion().absolute_url()+'/'+objId  
         
 def manage_addCDLIBasketVersion(self,user,comment="",basketContent=[],RESPONSE=None):  
     """add a version"""  
           
     #check for already existing versions      def deleteFiles(self,ids):
           """delete files"""
           for id in ids:
               founds=self.CDLICatalog.search({'title':id.split(".")[0]})
               if founds:
                   logging.debug("deleting %s"%founds)
                   folder=founds[0].getObject().aq_parent #get the parent folder of the object
                   logging.debug("deleting from %s"%folder)
                   cut=folder.delete([founds[0].getId]) #cut it out
     
     lastVersion=self.getLastVersion()  
     if lastVersion is None:  
         newId=str(1)  
     else:  
         newId=str(int(lastVersion.getId())+1)  
           
     ob=CDLIBasketVersion(newId,user,comment,basketContent)  
           
     self._setObject(newId, ob)      def searchText(self, query, index='graphemes', resultFilter=None):
           """searches query in the fulltext index and returns a list of file IDs/P-numbers
              resultFilter is matched against the beginning of the file ID"""
           # see also: http://www.plope.com/Books/2_7Edition/SearchingZCatalog.stx#2-13
           logging.debug("searchtext for '%s' in index %s"%(query,index))
           #import Products.ZCTextIndex.QueryParser
           #qp = QueryParser.QueryParser()
           #logging.debug()
           idxQuery = {index:{'query':query}}
           idx = getattr(self, self.file_catalog)
           # do search
           resultset = idx.search(query_request=idxQuery,sort_index='textid')
           # put only the P-Number in the result
           if resultFilter is None:
               results = [res.getId[:7] for res in resultset]
           else:
               results = [res.getId[:7] for res in resultset if res.getId.startswith(resultFilter)]
           logging.debug("searchtext: found %d texts"%len(results))
           return results
   
   
       def getFile(self, pnum):
           """get the translit file with the given pnum"""
           f = getattr(self, self.file_catalog).search({'textid':pnum})
           if not f:
               return ""
           
           return f[0].getObject().getData()
            
   
       def showFile(self,fileId,wholePage=False):
           """show a file
           @param fileId: P-Number of the document to be displayed
           """
           f=getattr(self, self.file_catalog).search({'textid':fileId})
           if not f:
               return ""
           
     if RESPONSE is not None:          if wholePage:
         RESPONSE.redirect('manage_main')              logging.debug("show whole page")
               return f[0].getObject().getContentObject().view()
     else:      else:
         return ob              return f[0].getObject().getLastVersionFormattedData()
       
 class CDLIFileObject(versionedFileObject):  
     """CDLI file object"""  
           
     meta_type="CDLI File Object"  
       
     security=ClassSecurityInfo()  
           
     def view(self):      def showWordInFile(self,fileId,word,indexName='graphemes',regExp=False,):
         """view file"""          """get lines with word from FileId"""
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','viewCDLIFile.zpt')).__of__(self)          logging.debug("showwordinfile word='%s' index=%s file=%s"%(word,indexName,fileId)) 
         return pt()  
           
     security.declarePublic('getDesignation')          file = formatAtfFullLineNum(self.getFile(fileId))
     def getDesignation(self):          ret=[]
         """get the designation out of the file"""  
         try:  
                 txt=re.match("&[Pp](\d*)\s*=([^\r\n]*)",self.data[0:])  
         except:  
                 txt=self.data[0:]  
                   
                 return "ERROR"  
         try:  
             return txt.group(2)  
         except:  
             return "ERROR"  
                   
 manage_addCDLIFileObjectForm=DTMLFile('dtml/fileAdd', globals(),Kind='CDLIFileObject',kind='CDLIFileObject', version='1')          # add whitespace before and whitespace and line-end to splitter bounds expressions
           bounds = self.splitter[indexName].bounds
           splitexp = "(%s|\s)(%%s)(%s|\s|\Z)"%(bounds,bounds)
           # clean word expression 
           # TODO: this should use QueryParser itself
           # take out double quotes
           word = word.replace('"','')
           # take out ignorable signs
           ignorable = self.splitter[indexName].ignorex
           word = ignorable.sub('', word)
           # compile into regexp objects and escape parens
           wordlist = [re.compile(splitexp%re.escape(w)) for w in word.split(' ')]
               
           for line in file.splitlines():
               for word in wordlist:
                   #logging.debug("showwordinfile: searching for %s in %s"%(word.pattern,ignoreable.sub('',line)))
                   if word.search(ignorable.sub('',line)):
                       line = formatAtfLineHtml(line)
                       ret.append(line)
                       break
   
 def manage_addCDLIFileObject(self,id,vC='',author='', file='',title='',precondition='', content_type='',          return ret
                    REQUEST=None):  
     """Add a new File object.  
   
     Creates a new File object 'id' with the contents of 'file'"""  
   
     id=str(id)      def showWordInFiles(self,fileIds,word,indexName='graphemes',regExp=False):
     title=str(title)          """
     content_type=str(content_type)          get lines with word from all ids in list FileIds.
     precondition=str(precondition)          returns dict with id:lines pairs.
           """
           logging.debug("showwordinfiles word='%s' index=%s file=%s"%(word,indexName,fileIds))
           
     id, title = cookId(id, title, file)          return dict([(id,self.showWordInFile(id, word, indexName, regExp)) for id in fileIds])
   
     self=self.this()  
   
     # First, we create the file without data:      def tagWordInFile(self,fileId,word,indexName='graphemes',regExp=False):
     self._setObject(id, CDLIFileObject(id,title,'',content_type, precondition))          """get text with word highlighted from FileId"""
     self._getOb(id).versionComment=str(vC)          logging.debug("tagwordinfile word='%s' index=%s file=%s"%(word,indexName,fileId)) 
     self._getOb(id).time=time.localtime()  
           
     setattr(self._getOb(id),'author',author)          file=self.getFile(fileId)
           tagStart=u'<span class="found">'
           tagEnd=u'</span>'
           tagStr=tagStart + u'%%s' + tagEnd
           ret=[]
           
     # Now we "upload" the data.  By doing this in two steps, we          # add whitespace to splitter bounds expressions and compile into regexp object
     # can use a database trick to make the upload more efficient.          bounds = self.splitter[indexName].bounds
     if file:          wordsplit = re.compile("(%s|\s)"%bounds)
         self._getOb(id).manage_upload(file)          # clean word expression 
     if content_type:          # TODO: this should use QueryParser itself
         self._getOb(id).content_type=content_type          word = word.replace('"','') # take out double quotes
           # take out ignoreable signs
           ignorable = self.splitter[indexName].ignorex
           word = ignorable.sub('', word)
           # split search terms by blanks
           words = word.split(' ')
           # split search terms again (for grapheme search with words)
           splitwords = dict(((w,self.splitter[indexName].process([w])) for w in words))
               
           for line in file.splitlines():
               line = unicodify(line)
               # ignore lemma and other lines
               if line.lstrip().startswith('#lem:'):
                   continue
               # ignore p-num line
               if line.startswith('&P') or line.startswith('&S'):
                   continue
               # ignore version lines
               if line.startswith('#version'):
                   continue
               # ignore atf type lines
               if line.startswith('#atf:'):
                   continue
   
               # first scan
               hitwords = []
               for w in words:
                   if ignorable.sub('',line).find(w) > -1:
                       # word is in line
                       # append split word for grapheme search with words
                       hitwords.extend(splitwords[w])
                       #hitwords.extend(wordsplit.split(w))
                      
               # examine hits closer
               if hitwords:
                   # split line into words
                   parts = wordsplit.split(line)
                   line = ""
                   for p in parts:
                       #logging.debug("tagwordinfile: searching for %s in %s"%(p,hitwords))
                       # reassemble line
                       if ignorable.sub('', p) in hitwords:
                           #logging.debug("tagwordinfile: found %s in %s"%(p,hitwords))
                           # this part was found
                           line += tagStart + formatAtfHtml(p) + tagEnd
                       else:
                           line += formatAtfHtml(p)
                   
               else:
                   # no hits
                   line = formatAtfHtml(line)
   
     if REQUEST is not None:              ret.append(line)
         REQUEST['RESPONSE'].redirect(self.absolute_url()+'/manage_main')  
           
 class CDLIFile(versionedFile,CatalogAware):          return u'<br>\n'.join(ret)
     """CDLI file"""  
           
     meta_type="CDLI file"  
     default_catalog='CDLICatalog'  
           
           
        def tagWordInFiles(self,fileIds,word,indexName='graphemes',regExp=False):
     def isContainedInBaskets(self,context=None):          """
         """check is this file is part of any basket          get texts with highlighted word from all ids in list FileIds.
         @param context: (optional) necessessary if CDLIBasketCatalog is not an (inherited) attribute of self, context.CDLIBasketCatalog          returns dict with id:text pairs.
                         has to exist.  
         """          """
           logging.debug("tagwordinfiles word='%s' index=%s file=%s"%(word,indexName,fileIds)) 
           return dict([(id,self.tagWordInFile(id, word, indexName, regExp)) for id in fileIds])
   
         if not context:  
             context=self  
                   
       def getFileVersionList(self, pnum):
           """get the version history as a list for the translit file with the given pnum"""
           f = getattr(self, self.file_catalog).search({'textid':pnum})
           if not f:
               return []
           
           return f[0].getObject().getVersionList()
            
   
       def URLquote(self,str):
           """quote url"""
           return urllib.quote(str)
       
       def URLunquote(self,str):
           """unquote url"""
           return urllib.unquote(str)
       
       def URLquote_plus(self,str):
           """quote url"""
           return urllib.quote_plus(str)
       
       def URLunquote_plus(self,str):
           """unquote url"""
           return urllib.unquote_plus(str)
       
       def changeUserForPObjectFromFile(self,user,fname):
           """aendere user fuer alle p in fiele"""
           pns = file(os.path.join(package_home(globals()),'inputs',fname),"r")
           for p in pns.readlines():
               p=p.lstrip().rstrip()
               logging.info(str(p+".atf"))
               pObj=self.getFileObject(p+".atf")
               if pObj is not None:  
                   logging.info(pObj)
                   lv=pObj.getContentObject()
                   logging.info("author:"+lv.author)
                   lv.author=user
                   lv.versionComment="XXXXXXX"
       
       def forceunlock(self,REQUEST=None,user=None,fid=None):
           "break all locks"
           if fid is not None:
               self.getFileObject(fid).forceunlock()
               return fid
         ret=[]          ret=[]
         for x in context.CDLIBasketCatalog.search({'getFileNamesInLastVersion':self.getId()}):  
             #if the basket x is deleted it seemes to be that x is sometimes still in the Catalog, why?  
             try:  
                 ret.append(x.getObject())  
             except:  
                 pass  
         return ret  
         #return [x.getObject() for x in context.CDLIBasketCatalog.search({'getFileNamesInLastVersion':self.getId()})]  
                   
           for f in self.ZopeFind(self,obj_metatypes="CDLI file",search_sub=1):
              un=f[1].forceunlock(user=user)
              logging.info("check:"+f[0])
              if un and un !="":
                  ret.append((f[0],un))
                   
     def addCDLIFileObjectForm(self):          if REQUEST is not None:
         """add a new version"""              pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','breakLockResponse.zpt')).__of__(self)
           
         if str(self.REQUEST['AUTHENTICATED_USER']) in ["Anonymous User"]:  
             return "please login first"  
         if (self.lockedBy==self.REQUEST['AUTHENTICATED_USER']) or (self.lockedBy==''):  
             out=DTMLFile('dtml/fileAdd', globals(),Kind='CDLIFileObject',kind='CDLIFileObject',version=self.getVersion()).__of__(self)  
             return out()  
         else:  
             return "Sorry file is locked by somebody else"  
           
     def manage_addCDLIFileObject(self,id,vC,author,file='',title='',precondition='', content_type='',changeName='no',newName='', RESPONSE=None):  
         """add"""  
         try: #TODO: der ganze vC unsinn muss ueberarbeitet werden  
             vC=self.REQUEST['vC']  
         except:  
             pass  
           
                   
         if changeName=="yes":              return pt(ret=ret)
             filename=file.filename  
             self.title=filename[max(filename.rfind('/'),  
                         filename.rfind('\\'),  
                         filename.rfind(':'),  
                         )+1:]  
   
           return ret
   
         if not newName=='':  
             self.title=newName[0:]  
                   
       def getLockedFiles(self,REQUEST=None,user=None):
           """hole alle gesperrten files"""
           ret={}
       
           for nm,f in self.v_files.items():
               lb = str(f.lockedBy)
               add=False
               if (lb is not None) and (lb!=""):
                  
                   if user is None:
                       add=True
                   else:
                       if str(lb)==user:
                           add=True
                   if add==True:
                       if not ret.has_key(lb):
                           ret[lb]=[]
                       ret[lb].append(nm)
                   
   
           if REQUEST is not None:
               pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','showlockResponse.zpt')).__of__(self)
                   
               return pt(ret=ret)
                   
         positionVersionNum=getattr(self,'positionVersionNum','front')          return ret
                   
         if positionVersionNum=='front':      def getChangesByAuthor(self,author,n=100):
             id="V%i"%self.getVersion()+"_"+self.title          """getChangesByAuthor"""
         else:          zcat=self.CDLIObjectsCatalog
             tmp=os.path.splitext(self.title)          res=zcat({'lastEditor':author,
             if len(tmp)>1:                       'sort_on':'getTime',
                 id=tmp[0]+"_V%i"%self.getVersion()+tmp[1]                       'sort_order':'descending',
             else:                       'sort_limit':n})[:n ]
                 id=tmp[0]+"_V%i"%self.getVersion()                         
           return res
       
       def getChangesByAuthor_html(self,author,n=100):
           """html output for changes by author"""
           tmp={}
           list=[]                         
           for x in self.getChangesByAuthor(author):
              nr=x.getObject().getVersionNumber()
              id=x.getObject().aq_parent.getId()
              #hinzufuegen, wenn Version neuer als die 
              if tmp.get(id,(0,0))[1] < nr:
                   tmp[id]=(x.getObject().aq_parent,nr)
   
        
           return self.cdli_main.findObjectsFromListWithVersion(list=tmp.values(),author=author)           
           
       def getLastChanges(self,n=100):
           """get the last n changes""" 
           n=int(n)                   
           zcat=self.CDLICatalog
           return zcat({'sort_on':'getLastChangeDate',
                        'sort_order':'descending',
                        'sort_limit':n})[:n ]
        
       
       def getLastChanges_html(self,n=100):
           """get the last n changes"""
           list = [x.getId for x in self.getLastChanges(n)]
           return self.cdli_main.findObjectsFromList(list=list,display=True)
                           
       def refreshTxt(self,txt="",threadName=None):
           """txt fuer refresh"""
                   
         manage_addCDLIFileObject(self,id,vC,author,file,id,precondition, content_type)          return """ 2;url=%s?repeat=%s """%(self.absolute_url()+txt,threadName)
         objs=self.ZopeFind(self,obj_ids=[id])[0][1].setVersionNumber(int(self.getVersion()))  
         self.REQUEST.SESSION['objID_parent']=self.getId()  
   
         if RESPONSE:      def refreshTxtBasket(self,txt="",threadName=None):
             obj=self.ZopeFind(self,obj_ids=[id])[0][1]          """txt fuer refresh"""
             if obj.getSize()==0:  
                 self.REQUEST.SESSION['objID']=obj.getId()  
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','errorUploadFile')).__of__(self)  
                 return pt()  
   
             else:          return """ 2;url=%s?repeat=%s """%(txt,threadName)
                 RESPONSE.redirect(self.REQUEST['URL2']+'?uploaded=%s'%self.title)  
   
         else:  
             return self.ZopeFind(self,obj_ids=[id])[0][1]  
                   
       def getResult(self,threadName=None):
          """result of thread"""
          try:
           return self._v_uploadATF[threadName].getResult()
          except:
           return "One moment, please"
                   
 def manage_addCDLIFileForm(self):  
     """interface for adding the OSAS_root"""  
     pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','addCDLIFile.zpt')).__of__(self)  
     return pt()  
   
 def manage_addCDLIFile(self,id,title,lockedBy, author=None, RESPONSE=None):      def checkThreads(self):
     """add the OSAS_root"""          """check threads"""
     newObj=CDLIFile(id,title,lockedBy,author)          ret="<html><body>"
     self._setObject(id,newObj)          for thread in threading.enumerate():
              ret+="<p>%s (%s): %s</p>"%(repr(thread),thread.getName(),thread.isAlive())
         
     if RESPONSE is not None:          return ret
         RESPONSE.redirect('manage_main')  
   
   
       def uploadATFRPC(self,data,username):
           """upload an atffile via xml-rpc"""
           uploader=uploadATFThread()
   
           #generate an random id for the upload object
           from random import randint
           if (not self.REQUEST.SESSION.get('idTmp',None)):
   
 def splitatf(fh,dir=None):              idTmp=str(randint(0,1000000000))
     """split it"""              self.REQUEST.SESSION['idTmp']=idTmp
     ret=None  
     nf=None  
     for line in fh.readlines():  
         #check if basket name is in the first line  
         if line.find("#atf basket")>=0:  
             ret=line.replace('#atf basket ','')  
             ret=ret.split('_')[0]  
         else:          else:
             if (len(line.lstrip())>0) and (line.lstrip()[0]=="&"): #newfile              idTmp=self.REQUEST.SESSION.get('idTmp',None)
                 if nf:  
                     nf.close() #close last file  
                           
                                   
                 filename=line[1:].split("=")[0].rstrip()+".atf"          uploader.set(data,0,username,idTmp)
                 if dir:  
                     filename=os.path.join(dir,filename)  
                 nf=file(filename,"w")  
             if nf:      
                 nf.write(line)  
                   
     nf.close()          stObj=uploader.run()
     fh.close()  
     return ret,len(os.listdir(dir))  
   
           processor=uploadATFfinallyThread()
   
 class CDLIFileFolder(versionedFileFolder):          basketname=stObj.returnValue['basketNameFromFile']
     """CDLI File Folder"""  
           
     security=ClassSecurityInfo()          processor.set("uploadchanged",basketname=basketname,SESSION=stObj.returnValue,username=username,serverport=self.REQUEST['SERVER_PORT'])
     meta_type="CDLI Folder"  
     filesMetaType=['CDLI file']  
     folderMetaType=['CDLI Folder']  
     default_catalog='CDLICatalog'  
           
     def setTemp(self,name,value):          processor.run()
         """set tmp"""  
   
         setattr(self,name,value)  
                                                                                   
           return generateXMLReturn(stObj.returnValue)
                                                                                 
     def delete(self,ids):      def uploadATF(self,repeat=None,upload=None,basketId=0,RESPONSE=None):
         """delete this file, i.e. move into a trash folder"""          """upload an atf file / basket file"""
           #self._v_uploadATF.returnValue=None
                             
         found=self.ZopeFind(self,obj_ids=['.trash'])          #generate an random id for the upload thread
           from random import randint
           if (not self.REQUEST.SESSION.get('idTmp',None)):
                   
         if len(found)<1:              idTmp=str(randint(0,1000000000))
             manage_addCDLIFileFolder(self, '.trash',title="Trash")              self.REQUEST.SESSION['idTmp']=idTmp
             trash=self._getOb('.trash')  
         else:          else:
             trash=found[0][1]              idTmp=self.REQUEST.SESSION.get('idTmp',None)
                   
         if type(ids) is not ListType:  
             ids=[ids]  
         cut=self.manage_cutObjects(ids)  
         trash.manage_pasteObjects(cut)  
           
     def getVersionNumbersFromIds(self,ids):  
         """get the numbers of the current versions of documents described by their ids"""  
           
         ret=[]  
         searchStr=" OR ".join(ids)  
           
         founds=self.CDLICatalog.search({'title':searchStr})  
           
         for found in founds:  
             lastVersion=found.getObject().getLastVersion()  
             ret.append((found.getId,lastVersion))  
           
         return ret  
       
     def checkCatalog(self,fn):  
         """check if fn is in the catalog"""  
         #TODO add checkCatalog  
            
     def refreshTxt(self,txt=""):  
         """txt fuer refresh"""  
     
         return """ 2;url=%s?repeat=%s """%(self.absolute_url()+txt,self.threadName)  
   
       
     def getResult(self):  
        """result of thread"""  
        try:  
         return self._v_uploadATF.getResult()  
        except:  
         return "One moment, please"  
       
     def uploadATF(self,repeat=None,upload=None,basketId=0,RESPONSE=None):  
         """standard ausgabe"""  
         #self._v_uploadATF.returnValue=None  
   
         threadName=repeat          threadName=repeat
         if not threadName or threadName=="":          if not threadName or threadName=="":
               #new thread not called from the waiting page
             tmpVar=False              tmpVar=False
   
             self._v_uploadATF=uploadATFThread()              thread=uploadATFThread()
               threadName=thread.getName()[0:]                                
               if (not hasattr(self,'_v_uploadATF')):
                      self._v_uploadATF={}
                         
               self._v_uploadATF[threadName]=thread
             #self._xmltrans.start()              #self._xmltrans.start()
             #thread=Thread(target=self._v_uploadATF)              #thread=Thread(target=self._v_uploadATF)
                           logging.info("set thread. extern")
             self._v_uploadATF.set(upload,basketId,self.REQUEST['AUTHENTICATED_USER'],serverport=self.REQUEST['SERVER_PORT'])              self._v_uploadATF[threadName].set(upload,basketId,self.REQUEST['AUTHENTICATED_USER'],idTmp,serverport=self.REQUEST['SERVER_PORT'])
             #thread.start()              #thread.start()
             self._v_uploadATF.start()              logging.info("start thread. extern")
               self._v_uploadATF[threadName].start()
   
                           
             self.threadName=self._v_uploadATF.getName()[0:]              self.threadName=self._v_uploadATF[threadName].getName()[0:]
             wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])              wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])
   
             if wait_template:              if wait_template:
                 return wait_template[0][1]()                  return wait_template[0][1]()
             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)              pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)
             return pt(txt='/uploadATF')              return pt(txt='/uploadATF',threadName=threadName)
             #_v_xmltrans.run()              #_v_xmltrans.run()
                           
         else:          else:
               #recover thread, if lost
               if (not hasattr(self,'_v_uploadATF')):
                  self._v_uploadATF={}
               if not self._v_uploadATF.get(threadName,None):
                    for thread in threading.enumerate():
                            if threadName == thread.getName():
                                          self._v_uploadATF[threadName]=thread
   
             if not self._v_uploadATF.returnValue:              if self._v_uploadATF.get(threadName,None) and (not self._v_uploadATF[threadName].returnValue):
                   
   
                 wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])                  wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])
Line 1292  class CDLIFileFolder(versionedFileFolder Line 1305  class CDLIFileFolder(versionedFileFolder
                                   
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)                  pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)
   
                 return pt(txt='/uploadATF')                  return pt(txt='/uploadATF',threadName=threadName)
                                   
             else:              else:
                   tmp=getattr(self.temp_folder,idTmp).returnValue
   
                 tmp=self._v_uploadATF.returnValue                  pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadCheck.zpt')).__of__(self)
                 self._v_uploadATF.continueVar=False  
                                   
                 self.REQUEST.SESSION['changed']=[x[0].getId() for x in tmp['changed']]                  return pt(changed=tmp['changed'],lockerrors=tmp['lockerrors'],errors=tmp['errors'],dir=tmp['dir'],newPs=tmp['newPs'],basketLen=tmp['basketLen'],numberOfFiles=tmp['numberOfFiles'],
                 self.REQUEST.SESSION['errors']=[x.getId() for x in tmp['errors']]                    basketNameFromId=tmp['basketNameFromId'],basketNameFromFile=tmp['basketNameFromFile'],basketId=tmp['basketId'])
                 self.REQUEST.SESSION['newPs']=tmp['newPs']  
                 self.REQUEST.SESSION['tmpdir']=tmp['dir']  
               
       def redoUpload(self,threadName):
          """redo the upload"""
          tmp=self.cdli_main.tmpStore2[threadName]
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadCheck.zpt')).__of__(self)                  pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadCheck.zpt')).__of__(self)
                 return pt(changed=tmp['changed'],errors=tmp['errors'],dir=tmp['dir'],newPs=tmp['newPs'],basketLen=tmp['basketLen'],numberOfFiles=tmp['numberOfFiles'],         return pt(changed=tmp['changed'],lockerrors=tmp['lockerrors'],errors=tmp['errors'],dir=tmp['dir'],newPs=tmp['newPs'],basketLen=tmp['basketLen'],numberOfFiles=tmp['numberOfFiles'],
                   basketNameFromId=tmp['basketNameFromId'],basketNameFromFile=tmp['basketNameFromFile'],basketId=tmp['basketId'])                    basketNameFromId=tmp['basketNameFromId'],basketNameFromFile=tmp['basketNameFromFile'],basketId=tmp['basketId'])
                                                                                 
     def uploadATFfinally(self,procedure='',comment="",basketname='',unlock=None,repeat=None,RESPONSE=None):      def uploadATFfinally(self,procedure='',comment="",basketname='',unlock=None,repeat=None,RESPONSE=None):
         """nowupload the files"""          """nowupload the files"""
          
          
          
         threadName=repeat          threadName=repeat
         if not threadName or threadName=="":          if not threadName or threadName=="":
               thread=uploadATFfinallyThread()
               threadName=thread.getName()[0:]
   
               if (not hasattr(self,'_v_uploadATF')):
                                   self._v_uploadATF={}
                           
                         
             self._v_uploadATF=uploadATFfinallyThread()              self._v_uploadATF[threadName]=thread
   
               idTmp=self.REQUEST.SESSION['idTmp']
               stObj=getattr(self.temp_folder,idTmp)
               self._v_uploadATF[threadName].set(procedure,comment=comment,basketname=basketname,unlock=unlock,SESSION=stObj.returnValue,username=self.REQUEST['AUTHENTICATED_USER'],serverport=self.REQUEST['SERVER_PORT'])
                   
             self._v_uploadATF.set(procedure,comment=comment,basketname=basketname,unlock=unlock,SESSION=self.REQUEST.SESSION,username=self.REQUEST['AUTHENTICATED_USER'],serverport=self.REQUEST['SERVER_PORT'])              self._v_uploadATF[threadName].start()
   
             self._v_uploadATF.start()  
   
                           
             self.threadName=self._v_uploadATF.getName()[0:]  
             wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])              wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])
   
             if wait_template:              if wait_template:
                 return wait_template[0][1]()                  return wait_template[0][1]()
             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)              pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)
   
             return pt(txt='/uploadATFfinally')              return pt(txt='/uploadATFfinally',threadName=threadName)
             #_v_xmltrans.run()              #_v_xmltrans.run()
                   
         else:          else:
               #recover thread, if lost
               if not hasattr(self,'_v_uploadATF'):
                  self._v_uploadATF={}
               if not self._v_uploadATF.get(threadName,None):
                    for thread in threading.enumerate():
                            if threadName == thread.getName():
                                          self._v_uploadATF[threadName]=thread
                           
             if hasattr(self,'_v_uploadATF') and (self._v_uploadATF is not None) and (not self._v_uploadATF.end) :              if self._v_uploadATF.get(threadName,None) and (self._v_uploadATF[threadName] is not None) and (not self._v_uploadATF[threadName].end) :
   
                 wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])                  wait_template=self.aq_parent.ZopeFind(self.aq_parent,obj_ids=['wait_template'])
                 if wait_template:                  if wait_template:
                         return wait_template[0][1]()                          return wait_template[0][1]()
                                   
                 pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)                  pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','uploadATFWait.zpt')).__of__(self)
                 return pt(txt='/uploadATFfinally')                  return pt(txt='/uploadATFfinally',threadName=threadName)
             else:  
   
               if RESPONSE is not None:  
                   RESPONSE.redirect(self.aq_parent.absolute_url())  
                   
                                      
   
   
     def findObjectsFromList(self,start=None,upload=None,list=None,basketName=None,numberOfObjects=None,RESPONSE=None):  
         """findObjectsFromList (, TAB oder LINE separated)"""  
                                          
           
         if upload: # list from file upload  
             txt=upload.read()  
             txt=txt.replace(",","\n")  
             txt=txt.replace("\t","\n")  
             txt=txt.replace("\r","\n")  
             idsTmp=txt.split("\n")  
             ids=[]  
             for id in idsTmp: # make sure that no empty lines  
                 idTmp=id.lstrip().rstrip()  
                 if len(idTmp)>0:  
                       
                     ids.append(idTmp)  
                       
             #self.REQUEST.SESSION['ids']=" OR ".join(ids)  
   
             pt=getattr(self,'filelist.html')  
             self.REQUEST.SESSION['searchList']=ids  
             return pt(search=ids)  
           
         if basketName:  
             #TODO: get rid of one of these..  
               
             pt=getattr(self,'filelist.html')  
             return pt(basketName=basketName,numberOfObjects=numberOfObjects)  
           
         if list is not None: # got already a list  
             ret=[]  
             for fileId in list:  
                 if len(fileId.split("."))==1:  
                         fileId=fileId+".atf"  
   
                 ret+=self.CDLICatalog({'title':fileId})  
             #TODO: get rid of one of these..  
             self.REQUEST.SESSION['fileIds']=[x.getObject().getId() for x in ret]#store fieldIds in session for further usage  
             self.REQUEST.SESSION['searchList']=self.REQUEST.SESSION['fileIds']  
             return ret  
           
         if start:  
             RESPONSE.redirect("filelist.html?start:int="+str(start))  
                                          
   
   
     security.declareProtected('Manage','createAllFilesAsSingleFile')  
     def createAllFilesAsSingleFile(self,RESPONSE=None):  
         """download all files"""  
           
         def sortF(x,y):  
             return cmp(x[0],y[0])  
           
         catalog=getattr(self,self.default_catalog)  
         #tf,tfilename=mkstemp()  
           
           
         list=[(x.getId,x) for x in catalog()]  
         list.sort(sortF)  
           
         RESPONSE.setHeader("Content-Disposition","""attachement; filename=%s"""%"all.atf")  
         RESPONSE.setHeader("Content-Type","application/octet-stream")  
          
         for l in list:  
             obj=l[1].getObject()  
               
             if obj.meta_type=="CDLI file":  
                   
                 #os.write(tf,obj.getLastVersion().data)  
                 if RESPONSE:  
                     RESPONSE.write(obj.getLastVersion().data[0:])  
         #os.close(tf)  
         #RESPONSE.redirect(self.absolute_url()+"/downloadFile?fn="%tfilename)  
         return True  
       
     def downloadFile(self,fn):  
         """download fn - not used yet"""  
         self.REQUEST.RESPONSE.setHeader("Content-Disposition","""attachement; filename=%s"""%self.getLastVersion().getId())  
         self.REQUEST.RESPONSE.setHeader("Content-Type","application/octet-stream")  
         self.REQUEST.RESPONSE.write(file(fn).read())  
           
         
                   
     def hasParent(self):  
         """returns true falls subfolder"""  
         
         if self.aq_parent.meta_type in self.folderMetaType:  
             return True  
         else:          else:
             return False  
           
     def getFolders(self):  
         """get all subfolders"""  
         ret=[]  
         folders=self.ZopeFind(self,obj_metatypes=self.folderMetaType)  
         for folder in folders:  
             ret.append((folder[1],  
                         len(self.ZopeFind(folder[1],obj_metatypes=self.folderMetaType)),  
                         len(self.ZopeFind(folder[1],obj_metatypes=self.filesMetaType))  
                         ))  
         return ret  
           
                           
     def getFolders_OLD(self):                idTmp=self.REQUEST.SESSION['idTmp']
         """get all subfolders"""                stObj=getattr(self.temp_folder,idTmp) 
         ret=[]                self.REQUEST.SESSION['idTmp']=None
         folders=self.ZopeFind(self,obj_metatypes=self.folderMetaType)  
         for folder in folders:  
             ret.append((folder[1],  
                         len(self.ZopeFind(folder[1],obj_metatypes=self.folderMetaType)),  
                         len(getattr(self,self.default_catalog)({'path':folder[0]}))  
                         ))  
         return ret  
           
     def index_html(self):                #update changed
         """main"""                logging.debug("dir:"+repr(stObj.returnValue['changed']))
         ext=self.ZopeFind(self,obj_ids=["index.html"])                for x in stObj.returnValue['changed']:
         if ext:                      ob=self.CDLICatalog.search({'title':x[0]})
             return ext[0][1]()                      try:
                           self.cdliRoot.updateOrAddToFileBTree(ob[0].getObject())
                       except:
                   
         pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','CDLIFileFolderMain')).__of__(self)                          logging.error("uploadATFfinally - cannot update Object %s Error: %s %s"%(ob[1],sys.exc_info()[0],sys.exc_info()[1]))
         return pt()                for x in stObj.returnValue['newPs']:
                     obj=self.getFileObject(x) #updates the object in the cache
                     logging.debug("Got:"+repr(obj))
                 if RESPONSE is not None:
                     RESPONSE.redirect(self.absolute_url())
           
     def importFiles(self,comment="",author="" ,folderName="/Users/dwinter/Documents/workspace/cdli/atf", files=None,ext=None):      def importFiles(self,comment="",author="" ,folderName="/Users/dwinter/atf", files=None,ext=None):
         """import files"""          """import files"""
                   logging.debug("importFiles folderName=%s files=%s ext=%s"%(folderName,files,ext))
           root=self.cdli_main
           count=0
         if not files:          if not files:
             files=os.listdir(folderName)              files=os.listdir(folderName)
                           
         for f in files:          for f in files:
             folder=f[0:3]              folder=f[0:3]
             f2=f[0:5]              f2=f[0:5]
             obj=self.ZopeFind(self,obj_ids=[folder])              
               #check if main folder PXX already exists
               obj=self.ZopeFind(root,obj_ids=[folder])
               logging.debug("importFiles: folder=%s f2=%s obj=%s"%(folder,f2,obj)) 
             if ext:              if ext:
                   ext.result="<p>adding: %s </p>"%f+ext.result
   
       
                 ext.result+="<p>Adding: %s </p>"%f              if not obj: # if not create it
             if not obj:                  manage_addCDLIFileFolder(root,folder,folder)
                 manage_addCDLIFileFolder(self,folder,folder)                  fobj=getattr(root,folder)
                 fobj=getattr(self,folder)                  #transaction.get().commit()                           
                   
             else:              else:
                 fobj=obj[0][1]                  fobj=obj[0][1]
                           
               #check IF PYYYYY already exist
             obj2=fobj.ZopeFind(fobj,obj_ids=[f2])              obj2=fobj.ZopeFind(fobj,obj_ids=[f2])
               logging.debug("importFiles: fobj=%s obj2=%s"%(fobj,obj2)) 
                   
             if not obj2:              if not obj2:# if not create it
                 manage_addCDLIFileFolder(fobj,f2,f2)                  manage_addCDLIFileFolder(fobj,f2,f2)
                 fobj2=getattr(fobj,f2)                  fobj2=getattr(fobj,f2)
                   
             else:              else:
                 fobj2=obj2[0][1]                  fobj2=obj2[0][1]
                               
             file2=file(os.path.join(folderName,f))                 # not add the file
               file2=os.path.join(folderName,f)  
             id=f              id=f
             manage_addCDLIFile(fobj2,f,'','')              logging.debug("importFiles: addCDLIFile fobj2=%s, f=%s file2=%s"%(fobj2,repr(f),repr(file2)))
             id=f              fobj2.addFile(vC='',file=file(file2),author=author,newName=f)
             ob=fobj2._getOb(f)              logging.debug("importfiles: fobj2.add")
             ob.title=id              count+=1
                           
             manage_addCDLIFileObject(ob,id,comment,author,file2,content_type='')              #now add the file to the storage
             self.CDLICatalog.catalog_object(ob)              ob = getattr(fobj2,f)
             #self.CDLICatalog.manage_catalogFoundItems(obj_ids=[id],search_sub=1)              logging.debug("importfiles: btree_start")
             #self.CDLICatalog.manage_catalogObject(self.REQUEST, self.REQUEST.RESPONSE, 'CDLICatalog', urlparse.urlparse(ob.absolute_url())[1])              #self.cdliRoot.updateOrAddToFileBTree(ob)
                           logging.debug("importfiles: btree_end")
               if count%100==0:
                   logging.debug("importfiles: committing")
                   transaction.get().commit()
   
           logging.debug("importfiles: committing")
           transaction.get().commit()
           logging.debug("importfiles: committing done")
         return "ok"          return "ok"
           
 manage_addCDLIFileFolderForm=DTMLFile('dtml/folderAdd', globals())  
   
   manage_addCDLIRootForm=DTMLFile('dtml/rootAdd', globals())
           
 def manage_addCDLIFileFolder(self, id, title='',      
   def manage_addCDLIRoot(self, id, title='',
                      createPublic=0,                       createPublic=0,
                      createUserF=0,                       createUserF=0,
                      REQUEST=None):                       REQUEST=None):
Line 1532  def manage_addCDLIFileFolder(self, id, t Line 1465  def manage_addCDLIFileFolder(self, id, t
     value, an 'index_html' and a 'UserFolder' objects are created respectively      value, an 'index_html' and a 'UserFolder' objects are created respectively
     in the new folder.      in the new folder.
     """      """
     ob=CDLIFileFolder()      ob=CDLIRoot()
     ob.id=str(id)      ob.id=str(id)
     ob.title=title      ob.title=title
       try:
     self._setObject(id, ob)      self._setObject(id, ob)
       except:
           pass
     ob=self._getOb(id)      ob=self._getOb(id)
   
     checkPermission=getSecurityManager().checkPermission      checkPermission=getSecurityManager().checkPermission
Line 1551  def manage_addCDLIFileFolder(self, id, t Line 1487  def manage_addCDLIFileFolder(self, id, t
     if REQUEST is not None:      if REQUEST is not None:
         return self.manage_main(self, REQUEST, update_menu=1)          return self.manage_main(self, REQUEST, update_menu=1)
   
    
   import cdli_basket
   
   
   # Die folgenden Klassen sollte nicht mehr aus diesem Paket benutzt werden, sondern direkt aus
   # cdli_basket importiert werden.
   class uploadATFfinallyThread(cdli_basket.uploadATFfinallyThread):
       """depricates"""
       pass
   
   class tmpStore(cdli_basket.tmpStore):
       """depricated"""
       pass
   
   class uploadATFThread(cdli_basket.uploadATFThread):
       """depricated"""
       pass
   
   class CDLIBasketContainer(cdli_basket.CDLIBasketContainer):
       """depricated"""
       pass
   
   class CDLIBasket(cdli_basket.CDLIBasket):
       """depricated"""
       pass
   
   class CDLIBasketVersion(cdli_basket.CDLIBasketVersion):
       """depricated"""
       pass
   
   class BasketContent(cdli_basket.BasketContent):
       """depricated"""
       pass
       
Removed from v.1.19  
changed lines
  Added in v.1.117

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>