Annotation of ECHO_content/VLPExtension.py, revision 1.63

1.31      dwinter     1: """
                      2: This module contains extensions which where originally made for the VLP.
                      3: """
1.33      dwinter     4: from OFS.Cache import Cacheable
1.10      dwinter     5: from Products.ECHO_content.ECHO_collection import *
1.1       dwinter     6: from Products.PageTemplates.PageTemplateFile import PageTemplateFile
                      7: from Products.PageTemplates.PageTemplate import PageTemplate
                      8: from Products.PageTemplates.ZopePageTemplate import ZopePageTemplate
1.26      dwinter     9: from OFS.Image import File
1.13      dwinter    10: try:
1.49      dwinter    11:         from Products.zogiLib import zogiLib
1.13      dwinter    12: except:
1.49      dwinter    13:         print "Zogilib not installed, VLP_resource will not work"
1.13      dwinter    14: 
1.11      dwinter    15: import xml.dom.minidom
                     16: import urllib
1.20      dwinter    17: import xmlrpclib
1.26      dwinter    18: import vlp_xmlhelpers
1.47      dwinter    19: import sys
1.48      dwinter    20: import os
                     21: from stat import *
1.26      dwinter    22: from types import *
1.31      dwinter    23: from Globals import package_home
1.62      casties    24: import transaction
1.20      dwinter    25: 
                     26: 
                     27: def lemmatize(str):
1.49      dwinter    28:         """takes a str and addes links the dictionary service"""
                     29:         server = xmlrpclib.ServerProxy("http://archimedes.fas.harvard.edu/cgi-bin/donatus-rpc")
                     30:         if server:
                     31:                 splitted=str.split(" ")
                     32:                 wordlist=["<w>%s</w>"%split for split in splitted].join()
                     33:         return wordlist
1.20      dwinter    34: 
1.49      dwinter    35:                 
1.20      dwinter    36: 
1.49      dwinter    37:                 
1.14      dwinter    38: def makeXML(str):
1.49      dwinter    39:           
                     40:             try:
                     41:                     dom=xml.dom.minidom.parseString(str)
                     42:                     return str
                     43:             except:
                     44:                     str=str.replace("& ","&amp; ")
                     45:                     return """<?xml version="1.0" encoding="utf-8" ?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><page>
                     46:                               %s
                     47:                               </page>"""%str
                     48:             
                     49:                      
                     50:             
1.1       dwinter    51: def getText(nodelist):
                     52: 
                     53:     rc = ""
                     54:     for node in nodelist:
1.49      dwinter    55:         if node.nodeType == node.TEXT_NODE:
1.1       dwinter    56:            rc = rc + node.data
                     57:     return rc
                     58: 
1.29      dwinter    59: class sendMailForm(ZopePageTemplate):
1.49      dwinter    60:         """sendMailForm"""
                     61:         meta_type="sendMailForm"
1.29      dwinter    62: 
1.49      dwinter    63:         _default_content_fn = os.path.join(package_home(globals()), 'vlp','sendMail_template.zpt')
1.29      dwinter    64: 
1.49      dwinter    65:         manage_options = ZopePageTemplate.manage_options+(
1.29      dwinter    66:         {'label':'Main Config','action':'main_configForm'},
                     67:         )
                     68: 
1.49      dwinter    69:         main_configForm = PageTemplateFile(
1.29      dwinter    70:     'vlp/changeSendMailForm', globals())
                     71: 
1.49      dwinter    72:         def main_config(self, toAddrs,mailServer, subjectAdd=None, RESPONSE=None):
                     73:                 """main_config"""
                     74:                 self.toAddrs=toAddrs.split("\n")
                     75:                 self.mailServer=mailServer
                     76:                 self.subjectAdd=subjectAdd
                     77:                 if RESPONSE:
                     78:                         RESPONSE.redirect('manage_main')
                     79: 
                     80:         def sendForm(self,fromaddr,subject,content,nextPage="index_html",RESPONSE=None):
                     81:                 """sendform"""
                     82:                 fromaddr=fromaddr.strip("\r\n\t") # sicherstellen dass keine zusaetzlichen headerzeilen eingefuegt werden
                     83:                 subject=subject.strip("\r\n\t") # sicherstellen dass keine zusaetzlichen headerzeilen eingefuegt werden
                     84:                 toaddrs=self.toAddrs
1.29      dwinter    85: 
1.49      dwinter    86:                 subject="%s %s"%(self.subjectAdd,subject)
                     87:                 
                     88:                 msg = ("From: %s\r\nSubject: %s\r\nTo: %s\r\n\r\n"
                     89:                        % (fromaddr, subject, ", ".join(toaddrs)))
                     90:                 server = smtplib.SMTP(self.mailServer)
                     91:                 #server.set_debuglevel(1)
                     92:                 msg=msg+content
                     93:                 server.sendmail(fromaddr, toaddrs, msg)
                     94:                 server.quit()
                     95: 
                     96:                 if RESPONSE:
                     97:                         RESPONSE.redirect(nextPage)
1.29      dwinter    98: 
                     99: manage_addSendMailFormForm = PageTemplateFile(
                    100:     'vlp/addSendMailForm', globals(), __name__='manage_addSendMailFormFrom')
                    101: 
                    102: from urllib import quote
                    103: 
                    104: def manage_addSendMailForm(self, id, toAddrs,mailServer, title=None, text=None, subjectAdd=None,
                    105:                            REQUEST=None, submit=None):
                    106:     "Add a Page Template with optional file content."
                    107:     toAddrsList=toAddrs.split("\n")
                    108:     id = str(id)
                    109:     if REQUEST is None:
                    110:         self._setObject(id, sendMailForm(id, text))
                    111:         ob = getattr(self, id)
                    112:         if title:
                    113:             ob.pt_setTitle(title)
1.49      dwinter   114:         setattr(ob,'toAddrs',toAddrsList)
                    115:         setattr(ob,'mailServer',mailServer)
                    116:         setattr(ob,'subjectAdd',subjectAdd)
1.29      dwinter   117:         return ob
                    118:     else:
                    119:         file = REQUEST.form.get('file')
                    120:         headers = getattr(file, 'headers', None)
                    121:         if headers is None or not file.filename:
                    122:             zpt = sendMailForm(id)
                    123:         else:
                    124:             zpt = sendMailForm(id, file, headers.get('content_type'))
                    125: 
                    126:         self._setObject(id, zpt)
                    127: 
                    128:         try:
                    129:             u = self.DestinationURL()
                    130:         except AttributeError:
                    131:             u = REQUEST['URL1']
                    132: 
                    133:         if submit == " Add and Edit ":
                    134:             u = "%s/%s" % (u, quote(id))
1.49      dwinter   135:             
                    136:         ob = getattr(self, id)
1.29      dwinter   137:         if title:
                    138:             ob.pt_setTitle(title)
1.49      dwinter   139:             
                    140:         setattr(ob,'toAddrs',toAddrsList)
                    141:         setattr(ob,'mailServer',mailServer)
                    142:         setattr(ob,'subjectAdd',subjectAdd)
1.29      dwinter   143:         REQUEST.RESPONSE.redirect(u+'/manage_main')
                    144:     return ''
                    145: 
1.49      dwinter   146:         
1.6       dwinter   147: class VLP_essay(Folder):
1.61      casties   148:     """classe fr VLP essays"""
1.6       dwinter   149: 
                    150:     meta_type="VLP_essay"
                    151: 
1.8       dwinter   152:     manage_options = Folder.manage_options+(
1.49      dwinter   153:                 {'label':'Main Config','action':'ConfigVLP_essayForm'},
                    154:                 {'label':'Generate Essay Template','action':'generateEssayTemplateHTML'},
1.8       dwinter   155:                 )
                    156: 
1.9       dwinter   157:     def content_html(self,type='collection'):
                    158:         """template fuer content"""
                    159:         #templates = self.ZopeFind(self.aq_parent,obj_ids=[type+"_template"])
                    160:         #
                    161:         #if templates:
                    162:         #    return templates[0][1]()
1.49      dwinter   163:         
1.9       dwinter   164:         if hasattr(self,type+"_template"):
                    165:             obj=getattr(self,type+"_template")
                    166:             return obj()
                    167:         else:
1.31      dwinter   168:             pt=PageTemplateFile(os.path.join(package_home(globals()),'zpt','ECHO_%s_template_standard.zpt'%type)).__of__(self)
1.9       dwinter   169:             pt.content_type="text/html"
                    170:             return pt()
                    171: 
1.8       dwinter   172:     def ConfigVLP_essayForm(self):
                    173:         """Form for adding"""
1.31      dwinter   174:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','ChangeVLP_essay.zpt')).__of__(self)
1.8       dwinter   175:         return pt()
                    176: 
                    177:     def ChangeVLP_essay(self,title,label,description,RESPONSE=None):
                    178:         """Change vlp_essay"""
                    179:         self.title=title
                    180:         self.label=label
                    181:         self.description=description
                    182: 
                    183:         if RESPONSE is not None:
                    184:             RESPONSE.redirect('manage_main')
                    185: 
1.6       dwinter   186:     def __init__(self,id,title,label):
                    187:         """init"""
                    188:         self.id=id
                    189:         self.title=title
                    190:         self.label=label
                    191: 
1.17      dwinter   192:     def index_html(self):
1.49      dwinter   193:         
                    194:             """show the rendered file"""
                    195:             
                    196:             if hasattr(self,'essayTemplate.html'):
                    197:                         return getattr(self,'essayTemplate.html')()
                    198: 
                    199:             pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','essay_template.zpt')).__of__(self)
                    200:             pt.content_type="text/html"
                    201:             return pt()
1.17      dwinter   202: 
                    203:     def generateEssayTemplateHTML(self,RESPONSE=None):
                    204:         """lege standard index.html an"""
                    205: 
1.49      dwinter   206:         if not hasattr(self,'essayTemplate.html'):
1.17      dwinter   207:             zt=ZopePageTemplate('essayTemplate.html')
                    208:             self._setObject('essayTemplate.html',zt)
                    209:             default_content_fn = os.path.join(package_home(globals()),
                    210:                                                'vlp/essay_template.zpt')
                    211:             text = open(default_content_fn).read()
                    212:             zt.pt_edit(text, 'text/html')
                    213: 
                    214:         else:
                    215:             return "already exists!"
                    216:         
                    217:         if RESPONSE is not None:
                    218:             RESPONSE.redirect('manage_main')
                    219: 
                    220: 
1.6       dwinter   221:     def getPage(self,pagenum):
                    222:         """gibt essay page mit num aus"""
                    223:         def sortFind(x,y):
                    224:             return cmp(x[0],y[0])
1.16      dwinter   225:         pages=[]
                    226:         pagestmp=self.ZopeFind(self,obj_metatypes=['DTML Document','File'])
1.49      dwinter   227:         for page in pagestmp:
                    228:                 if not (page[1].getId()[0]=="."):
                    229:                         pages.append(page)
                    230:                         
1.6       dwinter   231:         pages.sort(sortFind)
                    232:         #print str(pages[int(pagenum)][1]())
1.52      dwinter   233:         
1.6       dwinter   234:         if pages[int(pagenum)-1][1].meta_type=='File':
1.49      dwinter   235:                 
                    236:                 #return makeXML(str(pages[int(pagenum)-1][1]))
                    237:                 #txt=pages[int(pagenum)-1][1].data.decode('utf-8')
                    238:                 txt=pages[int(pagenum)-1][1].data
                    239:                 #print txt.encode('utf-8')
                    240:                 
                    241:                 return self.xml2html(makeXML(txt),quote="no")
1.6       dwinter   242:         else:
1.49      dwinter   243:                 
                    244:                 
1.27      dwinter   245: 
1.49      dwinter   246:                 return self.xml2html(makeXML(pages[int(pagenum)-1][1]()),quote="no")
1.6       dwinter   247:         
                    248:     def nextPage(self,pagenum,url):
1.7       dwinter   249:         pages=len(self.ZopeFind(self,obj_metatypes=['DTML Document','File'])) # teste ob performance ok, sonst in variable
1.6       dwinter   250:         if int(pagenum)+1 <= pages:
                    251:             retstr=url+"?p="+str(int(pagenum)+1)
                    252:             return """<td align="right" <a href="%s">next</a></td>"""%retstr
                    253:         
                    254:     def previousPage(self,pagenum,url):
1.7       dwinter   255:         
1.6       dwinter   256:         if int(pagenum)-1 > 0:
                    257:             retstr=url+"?p="+str(int(pagenum)-1)
                    258:             return """<td align="left" <a href="%s">previous</a></td>"""%retstr
                    259:         
1.19      dwinter   260:     def nextURL(self,pagenum,url):
                    261:         pages=len(self.ZopeFind(self,obj_metatypes=['DTML Document','File'])) # teste ob performance ok, sonst in variable
                    262:         if int(pagenum)+1 <= pages:
                    263:             retstr=url+"?p="+str(int(pagenum)+1)
                    264:             return retstr
                    265:         
1.61      casties   266:     def lastURL(self,pagenum,url):
                    267:         # teste ob performance ok, sonst in variable
                    268:         pages=len(self.ZopeFind(self,obj_metatypes=['DTML Document','File'])) 
                    269:         
                    270:         return url+"?p="+str(pages)
                    271:             
1.19      dwinter   272:     def previousURL(self,pagenum,url):
                    273:         
                    274:         if int(pagenum)-1 > 0:
                    275:             retstr=url+"?p="+str(int(pagenum)-1)
                    276:             return retstr
                    277:         
1.6       dwinter   278:         
                    279: def manage_addVLP_essayForm(self):
                    280:     """Form for adding"""
1.31      dwinter   281:     pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','AddVLP_essay.zpt')).__of__(self)
1.6       dwinter   282:     return pt()
                    283: 
                    284: def manage_addVLP_essay(self, id,title,label,RESPONSE=None):
1.49      dwinter   285:         """add the copyright"""
1.6       dwinter   286: 
1.49      dwinter   287:         
                    288:         self._setObject(id, VLP_essay(id, title,label))
1.6       dwinter   289: 
1.49      dwinter   290:         if RESPONSE is not None:
                    291:                 RESPONSE.redirect('manage_main')
                    292:         
1.6       dwinter   293: 
1.26      dwinter   294: class VLP_encyclopaedia(VLP_essay):
1.49      dwinter   295:         """essay"""
                    296: 
                    297:         meta_type="VLP_encyclopaedia"
                    298:         
                    299:         manage_options = VLP_essay.manage_options+(
                    300:                 {'label':'Load File','action':'loadNewFileForm'},
                    301:                 )
1.26      dwinter   302: 
1.49      dwinter   303:         
                    304:         def loadNewFileForm(self):
                    305:                 """Neues XML-File einlesen"""
                    306:                 pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','VLP_newfile.zpt')).__of__(self)
                    307:                 return pt()
                    308: 
                    309:         def loadNewFile(self,RESPONSE=None):
                    310:                 """einlesen des neuen files"""
                    311:                 fileupload=self.REQUEST['fileupload']
                    312:                 if fileupload:
                    313:                         file_name=fileupload.filename
                    314:                         filedata=fileupload.read()
                    315: 
                    316:                         argv=vlp_xmlhelpers.proj2hash(self,filedata)
                    317:                         textsStr=string.join(argv['text']).encode('utf-8')
                    318:                         
                    319:                         texts=textsStr.split("<pb/>")
                    320:                         
                    321:                         i=0
                    322:                         for text in texts:
                    323:                                 i+=1
                    324:                                 pageName='page%03d.xml'%i
                    325:                                 pages=self.ZopeFind(self,obj_ids=[pageName])
                    326:                                 if pages:
                    327:                                         pages[0][1].update_data(text)
                    328: 
                    329:                                 else:
                    330:                                         zt=File(pageName,pageName,text,content_type="text/plain")
                    331:                                         self._setObject(pageName,zt)
                    332:                                 
                    333:                 if RESPONSE is not None:
                    334:                         RESPONSE.redirect('manage_main')
                    335:                         
                    336:         
1.26      dwinter   337: def manage_addVLP_encycForm(self):
                    338:     """Form for adding"""
1.31      dwinter   339:     pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','AddVLP_encyc.zpt')).__of__(self)
1.26      dwinter   340:     return pt()
                    341: 
                    342: def manage_addVLP_encyc(self, id,title,label,RESPONSE=None):
1.49      dwinter   343:         """add the copyright"""
1.26      dwinter   344: 
1.49      dwinter   345:         
                    346:         self._setObject(id, VLP_encyclopaedia(id, title,label))
1.26      dwinter   347: 
1.49      dwinter   348:         if RESPONSE is not None:
                    349:                 RESPONSE.redirect('manage_main')
                    350:         
1.41      dwinter   351: class VLP_subcollection(ECHO_collection):
1.49      dwinter   352:         """ subcollection of elements"""
                    353: 
                    354:         meta_type="VLP_subcollection"
                    355:         
1.53      dwinter   356:         def getVLPSubcollectionToc(self,type):
                    357:             
                    358:             #different ordering depending on the type
                    359:             if(type == "(Collection)"):
                    360:                sort= "shortreference"
                    361:             else:
                    362:                sort = "startpages"
                    363:            
                    364:            #content of journals also displayed if not online
                    365:            
1.54      dwinter   366:             if (type == "(JournalVolume)"):
1.53      dwinter   367:                online =""
                    368:             else:
                    369:                online ="AND online = 1"
                    370:             sort=self.collectionSort(type)
                    371:         
                    372:             item = [x for x in self.ZSQLSimpleSearch("""SELECT * FROM vl_literature 
1.58      dwinter   373:                                  WHERE volumeid ~ '%s\\\\M' """%self.getId()
1.53      dwinter   374:                                  + """ %s AND not referenceType='%s' """%(online,type)
                    375:                                  + """ORDER BY """ + sort)]
                    376:         
                    377:             tocItem = [x for x in self.ZSQLSimpleSearch("""SELECT * FROM vl_literature 
1.56      dwinter   378:                                  WHERE reference = '%s' """%self.getId()
1.53      dwinter   379:                                  + """AND online = 1 AND referenceType='%s' """%type
                    380:                                  + """ORDER BY """ + sort)]
                    381:             
                    382:             
                    383: 
                    384:             return tocItem+item
                    385:             
1.49      dwinter   386:         def checkForFrontMatter(self,item):
                    387:                 """Teste ob Frontmatter exists"""
                    388:                 if not item==self.getId():
                    389:                         return False
                    390:                 
                    391:                 if self.ZopeFind(self,obj_ids=[self.getId()]):
                    392:                         return True
                    393:                 else:
                    394:                         return False
                    395:                 
                    396:         def generateSubCollectionFromDB(self):
                    397:                 """erzeuge subcollection"""
                    398:                 for item in self.ZSQLSimpleSearch("select * from vl_literature where volumeid like '%s'"%self.id):
                    399:                         manage_addECHO_link(self,item.reference,item.titlerefdisplay,item.titlerefdisplay)
                    400: 
1.41      dwinter   401: 
1.49      dwinter   402:         def index_html(self):
                    403:                 """erzeuge darstellung"""
                    404:                 
                    405:                 if hasattr(self,'subCollection_template.html'):
                    406:                         return getattr(self,'subCollection_template.html')()
1.43      dwinter   407: 
1.49      dwinter   408:                 pt=zptFile(self, 'vlp/subCollection_template.zpt')
                    409:                 return pt()
1.41      dwinter   410: 
                    411: 
                    412: def manage_addVLP_subCollection(self,id,title,label,RESPONSE=None):
                    413: 
1.49      dwinter   414:         self._setObject(id,VLP_subcollection(id,title,label))
1.41      dwinter   415: 
1.49      dwinter   416:         if RESPONSE is not None:
                    417:                 RESPONSE.redirect('manage_main')
1.41      dwinter   418: 
1.6       dwinter   419: 
1.2       dwinter   420: class VLP_collection(ECHO_collection):
                    421:     """VLP spezifische Erweiterung der Collection"""
                    422: 
1.41      dwinter   423:     
1.3       dwinter   424:     meta_type="VLP_collection"
                    425:     manage_options=ECHO_collection.manage_options+(
                    426:         {'label':'Change Path','action':'VLP_path_configForm'},
                    427:         {'label':'Update Library','action':'updateCollection'},
                    428:         {'label':'Update Metadata','action':'updateCollectionMD'},
                    429:         )
                    430: 
1.41      dwinter   431: 
1.44      dwinter   432: 
1.47      dwinter   433:     def generateSubCollections(self,errorsTXT=""):
1.63    ! casties   434:         """erzeuge subcollectionen"""
        !           435:         logging.debug("generateSubCollections")
        !           436:         founds=self.ZSQLSimpleSearch("select * from vl_literature where referencetype in ('(Edited Book)','(Book)','(Collection)','(JournalVolume)','(Generic Container)')")
        !           437:         
        !           438:         self.REQUEST.RESPONSE.write("<h2>Create Subcollections</h2>\n")
        !           439:         for found in founds:
1.55      dwinter   440: 
1.63    ! casties   441:             try:
        !           442:                 litid = str(found.reference)
        !           443:                 foundCol=self.ZopeFind(self,obj_ids=[litid])
        !           444:                 if foundCol:
        !           445:                     logging.debug("generateSubCollections: recreating collection %s"%found.reference)
        !           446:                     self.manage_delObjects([foundCol[0][0]])
1.49      dwinter   447: 
1.63    ! casties   448:                     manage_addVLP_subCollection(self,litid,found.titlerefdisplay,found.titlerefdisplay)
1.49      dwinter   449:                             #getattr(self,found.reference).generateSubCollectionFromDB()
                    450:                             #teste ob es Images auf dem Server gibt mit gleichem Namen (frontmatter)
1.63    ! casties   451:                     if os.path.exists(os.path.join(self.vlp_basis,litid)):
        !           452:                         logging.debug("generateSubCollections: found collection dir %s"%litid)
1.49      dwinter   453: 
1.63    ! casties   454:                         obj=getattr(self,litid)
        !           455:                         if not self.ZopeFind(obj,obj_ids=[litid]):
        !           456:                             metalink=self.REQUEST['URL1']+"/"+litid+"/"+litid+"/index_meta"
        !           457:                             newObj=VLP_resource(litid,'',metalink,litid,litid,litid,'generated','book','','','','','','')
        !           458:                             obj._setObject(litid,newObj)
        !           459:                             genObj=getattr(obj,litid)
        !           460:                             genObj.createIndexFile()
1.49      dwinter   461: 
1.63    ! casties   462:                             self.REQUEST.RESPONSE.write("<p>%s</p>\n"%litid)
        !           463:             except:
        !           464:                 error=sys.exc_info()[0:2]
        !           465:                 logging.error("generateSubCollections: ERROR in %s"%litid)
        !           466:                 #logging.error("generateSubCollections: %s %s"%error)
        !           467:                 #self.REQUEST.RESPONSE.write("(ERROR (%s): %s %s)\n"%(litid,repr(error[0]),repr(error[1])))
        !           468:                 errorsTXT+="<p>No subcollection of %s  "%litid
        !           469:                 #errorsTXT+="<p>No subcollection of %s  "%litid+"(ERROR: %s %s)</p>"%error
        !           470:                 
        !           471:         return errorsTXT
1.49      dwinter   472:             
1.3       dwinter   473:     def VLP_path_configForm(self):
1.5       dwinter   474:         """change pt"""
1.44      dwinter   475:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','ChangeVLPPath.zpt')).__of__(self)
1.3       dwinter   476:         return pt()
                    477: 
                    478:     def VLP_path_config(self,path,RESPONSE=None):
                    479:         """config"""
1.44      dwinter   480:         self.vlp_basis=path
1.3       dwinter   481:         if RESPONSE is not None:
                    482:             RESPONSE.redirect('manage_main')
                    483: 
                    484:     def updateCollection(self,RESPONSE=None):
                    485:         """liest verzeichnisse aus dem pfad und legt sie dann als objekte in den ordner"""
1.49      dwinter   486:         errorsTXT="<h2>Errors</h2>"
                    487:         RESPONSE.write("<html><body>")
1.44      dwinter   488:         files=os.listdir(self.vlp_basis)
1.47      dwinter   489: 
1.49      dwinter   490:         errorsTXT+="<h3>New Ressources</h3>"
1.55      dwinter   491: 
1.3       dwinter   492:         for fileName in files:
                    493:             
                    494:             if fileName[0:3]=="lit":
                    495:                 
                    496:                 metalink=self.REQUEST['URL1']+"/"+fileName+"/index_meta"
1.49      dwinter   497:                 try:
1.63    ! casties   498:                     if not hasattr(self,fileName):
        !           499:                         logging.debug("updateCollection: new %s"%fileName)
        !           500:                         RESPONSE.write("<p>new: %s\n</p>"%fileName)
        !           501:                         newObj=VLP_resource(fileName,'',metalink,fileName,fileName,fileName,'generated','book','','','','','','')
        !           502:                         self._setObject(fileName,newObj)
1.49      dwinter   503:                 
1.63    ! casties   504:                     RESPONSE.write("<p>got: %s\n</p>"%fileName)
        !           505:                     genObj=getattr(self,fileName)
        !           506:                     logging.debug("updateCollection: inspecting %s"%fileName)
        !           507:                     if hasattr(genObj,'createIndexFile'):
        !           508:                         try:
        !           509:                             logging.debug("updateCollection: creating index for %s"%fileName)
        !           510:                             genObj.createIndexFile()
        !           511:                         except:
        !           512:                             error=sys.exc_info()[0:2]
        !           513:                             RESPONSE.write("<p>(ERROR (%s): %s %s)</p>\n"%(fileName,error[0],error[1]))
        !           514:                             errorsTXT+="<p>No indexfile of %s  "+"(ERROR: %s %s)</p>"%error
        !           515: 
        !           516:                     if genObj.meta_type=="VLP_subcollection":
        !           517:                         logging.debug("updateCollection: %s is subcollection"%fileName)
        !           518:                         genObj.pageSizeSum=getattr(genObj,fileName).getPageSizeSum()
        !           519:                     else:
        !           520:                         genObj.pageSizeSum=genObj.getPageSizeSum()
1.49      dwinter   521:                         
                    522:                 except:
1.63    ! casties   523:                     error=sys.exc_info()[0:2]
        !           524:                     RESPONSE.write("<p>(ERROR (%s): %s %s)</p>\n"%(fileName,error[0],error[1]))
        !           525:                     errorsTXT+="<p>File not created:%s  (ERROR: %s %s)</p>"%(fileName,error[0],error[1])
1.49      dwinter   526:                                 
                    527:         errorsTXT+=self.generateSubCollections()
1.60      casties   528:         errorsTXT+="\n"
1.49      dwinter   529:         RESPONSE.write(errorsTXT)
1.63    ! casties   530: 
1.3       dwinter   531: 
                    532:     def updateCollectionMD(self,RESPONSE=None):
                    533:         """updateMD"""
1.44      dwinter   534:         files=os.listdir(self.vlp_basis)
1.3       dwinter   535:         for fileName in files:
1.4       dwinter   536:             if fileName[0:3]=="lit":
1.3       dwinter   537:                 genObj=getattr(self,fileName)
                    538:                 genObj.copyIndex_meta2echo_resource()
                    539:                 genObj.generate_title()
                    540: 
                    541:         if RESPONSE is not None:
                    542:             RESPONSE.redirect('manage_main')
                    543: 
1.20      dwinter   544:     def copyFullTextsFromDB(self,RESPONSE=None):
1.49      dwinter   545:             """copy fulltext aus DB"""
1.2       dwinter   546: 
1.49      dwinter   547:             ress=self.ZopeFind(self,obj_metatypes=['VLP_resource'])
                    548:             ret=""
                    549:             for res in ress:
                    550:                     tmp=res[1].copyTranscriptionFromDB()
                    551:                     ret+=tmp
                    552: 
                    553:                     if RESPONSE:
                    554:                             RESPONSE.write(tmp+"\n")
                    555:             if not RESPONSE:                
                    556:                     return ret
                    557:             else:
                    558:                     RESPONSE.write("END\n")
                    559:                     
                    560:             
1.2       dwinter   561: def manage_addVLP_collectionForm(self):
                    562:         """Form for adding a ressource"""
1.31      dwinter   563:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','AddVLP_collectionForm.zpt')).__of__(self)
1.2       dwinter   564:         return pt()
                    565: 
                    566: 
                    567: 
1.3       dwinter   568: def manage_addVLP_collection(self,id,title,label,description,contentType,responsible,weight,sortfield,path,coords="",secondaryLinkTitle="",secondaryLink="",credits=None,RESPONSE=None,imageTag="",bgcolour=""):
1.2       dwinter   569:     """add a echo collection"""
                    570:     
                    571: 
                    572:     newObj=VLP_collection(id,title,label,description,contentType,responsible,credits,weight,sortfield,coords,secondaryLinkTitle=secondaryLinkTitle,secondaryLink=secondaryLink,imageTag=imageTag,bgcolour="")
                    573: 
                    574:     self._setObject(id,newObj)
1.3       dwinter   575:     setattr(newObj,'path',path)
1.2       dwinter   576: 
                    577:     if RESPONSE is not None:
                    578:         RESPONSE.redirect('manage_main')
                    579: 
                    580: 
1.1       dwinter   581: 
1.33      dwinter   582: class VLP_resource(ECHO_resource,Cacheable):
1.1       dwinter   583:     """VLP spezifische Erweiterung"""
                    584: 
                    585:     meta_type="VLP_resource"
                    586: 
1.44      dwinter   587:     #vlp_basis="/mpiwg/online/permanent/vlp"
1.1       dwinter   588: 
                    589:     
                    590:     referencetypes=[]
                    591: 
1.35      dwinter   592:     manage_options=ECHO_resource.manage_options+Cacheable.manage_options+(
1.1       dwinter   593:         {'label':'Update Index','action':'createIndexFile'},
                    594:         {'label':'Reset MetaLink','action':'resetMetaLink'},
                    595:         {'label':'Generate Title','action':'generate_title'},
1.49      dwinter   596:         {'label':'Generate Library Template','action':'generateLibraryTemplateHTML'},
1.1       dwinter   597:         )
                    598: 
1.36      dwinter   599: 
                    600:     def getImagePath(self):
1.49      dwinter   601:             """Pfad zu den Images"""
                    602:             
                    603:             if os.path.isdir(os.path.join(self.vlp_basis,self.resourceID,'pageimg')):
                    604:                     return os.path.join(self.vlp_basis,self.resourceID,'pageimg')
                    605:             elif os.path.isdir(os.path.join(self.vlp_basis,self.resourceID,'pagesHi')):
                    606:                     return os.path.join(self.vlp_basis,self.resourceID,'pagesHi')
                    607:             else:
                    608:                     return "<error>no images </error>"
1.20      dwinter   609:     
1.36      dwinter   610: 
1.49      dwinter   611:             
1.20      dwinter   612:     def transcription(self):
1.49      dwinter   613:             """show the rendered transcriptiofile"""
                    614:             
                    615:             if hasattr(self,'libraryTranscriptionTemplate.html'):
                    616:                         return getattr(self,'libraryTranscriptionTemplate.html')()
                    617: 
                    618:             pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','library_transcriptionTemplate.zpt')).__of__(self)
                    619:             pt.content_type="text/html"
                    620:             return pt()
1.20      dwinter   621: 
                    622: 
                    623: 
                    624:     def copyTranscriptionFromDB(self):
1.49      dwinter   625:             """checks if transcription exits in DB"""
                    626:             founds=self.ZSQLSimpleSearch('select * from vl_transcript where source=\''+self.resourceID+'\' order by id')
1.38      dwinter   627: 
1.20      dwinter   628: 
1.49      dwinter   629:             ret="""<?xml version="1.0" encoding="utf-8"?>
1.20      dwinter   630:                <text>"""
                    631:         
1.49      dwinter   632:             if founds:
                    633:                     
                    634:                     for found in founds:
                    635:                         
                    636:                             text=found.transcript
                    637:                             if not text: text=""
                    638:                             ret+="<page><pb/>"+text+"</page>"
                    639: 
                    640:                     ret+="</text>"
                    641:                     re2=ret[0:]
                    642:                     re3=re2.decode('latin-1').encode('utf-8')
                    643:                     #re3=re2
                    644:                     ft=self.ZopeFind(self,obj_metatypes=['ECHO_fullText'])
                    645:                     
                    646:                     if ft:
                    647:                         
                    648:                             ft[0][1].pt_edit(re3,'text/xml')
                    649:                         
                    650:                     else:
                    651:         
                    652:                             self._setObject('fulltext',ECHO_fullText(id,''))
                    653: 
                    654:                             try:
                    655:                                 getattr(self,'fulltext').pt_edit(re3.encode('utf-8','ignore'),'text/xml')
                    656:                             except:
1.40      dwinter   657:                                 getattr(self,'fulltext').pt_edit(re3.encode('latin-1').decode('utf-8'),'text/xml')
                    658: 
1.49      dwinter   659:                     return "FT: %s"%self.getId()
                    660:             else:
                    661:                     return "no: %s"%self.getId()
                    662:             
1.1       dwinter   663:     def resetMetaLink(self,all="no",RESPONSE=None):
                    664:         """resets metalink to standard resp. in case of server change it sets to the new server url"""
                    665:         if all=="yes":
                    666:             self.metalink=self.absolute_url()+"/index_meta"
                    667:         else:
                    668:             splitted=self.metalink.split("/")
                    669:             if (len(splitted)>1) and (splitted[len(splitted)-1]=="index_meta") and (splitted[len(splitted)-2]==self.getId()): # heuristic nur generische Metadatafiles andern
                    670:                 self.metalink=self.absolute_url()+"/index_meta"
                    671: 
                    672:         if RESPONSE:
                    673:             return "done"
                    674:             
                    675:     def show(self):
                    676:         """show the rendered file"""
1.11      dwinter   677: 
                    678:         if self.REQUEST.get('p',None):
1.28      dwinter   679:             #self.REQUEST.set('pn',self.file2page(self.REQUEST.get('p',None)))
1.49      dwinter   680:             self.REQUEST.RESPONSE.redirect(self.REQUEST['URL']+"?pn="+self.file2page(self.REQUEST.get('p',None)))
1.28      dwinter   681: 
1.12      dwinter   682:            
1.49      dwinter   683:         if hasattr(self,'libraryTemplate.html'):
                    684:                 return getattr(self,'libraryTemplate.html')()
                    685:         
1.31      dwinter   686:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','library_template.zpt')).__of__(self)
1.1       dwinter   687:         pt.content_type="text/html"
                    688:         return pt()
1.37      dwinter   689: 
                    690:     def index_html(self):
1.49      dwinter   691:             """index_html"""
                    692:             #return self.REQUEST
                    693:             if not self.REQUEST.has_key("ws"):
                    694:                     self.REQUEST.form["ws"]="1.5"
1.37      dwinter   695: 
1.49      dwinter   696:             return self.show()
1.14      dwinter   697: 
                    698:     def generateLibraryTemplateHTML(self,RESPONSE=None):
                    699:         """lege standard index.html an"""
                    700: 
1.49      dwinter   701:         if not hasattr(self,'libraryTemplate.html'):
1.14      dwinter   702:             zt=ZopePageTemplate('libraryTemplate.html')
                    703:             self._setObject('libraryTemplate.html',zt)
                    704:             default_content_fn = os.path.join(package_home(globals()),
                    705:                                                'vlp/library_template.zpt')
                    706:             text = open(default_content_fn).read()
                    707:             zt.pt_edit(text, 'text/html')
                    708: 
                    709:         else:
                    710:             return "already exists!"
                    711:         
                    712:         if RESPONSE is not None:
                    713:             RESPONSE.redirect('manage_main')
                    714: 
                    715: 
1.1       dwinter   716:     def index_meta(self):
                    717:         """index_meta"""
1.11      dwinter   718:         
1.31      dwinter   719:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','index_meta.zpt')).__of__(self)
1.1       dwinter   720:         pt.content_type="text/html"
                    721:         return pt()
1.11      dwinter   722: 
                    723:     def file2page(self,p):
                    724:         """converts filename to pagenumber"""
1.21      dwinter   725:         dom=xml.dom.minidom.parse(ECHO_helpers.urlopen(getattr(self,'index.xml').absolute_url()))
1.11      dwinter   726:         
                    727:         for page in dom.getElementsByTagName('page'):
1.49      dwinter   728:                  # pageummer mit lo oder hi sind aequivalent
                    729:                  if (page.getAttribute('file')==p) or ("%slo"%page.getAttribute('file')==p) or ("%shi"%page.getAttribute('file')==p):
                    730:                          return page.getAttribute('nr')
1.11      dwinter   731:             
                    732:         return 0
1.48      dwinter   733: 
                    734:     def getPageSizeSum(self):
1.49      dwinter   735:             """generate average page size"""
1.48      dwinter   736: 
1.49      dwinter   737:             #size of hi resolution
                    738:             files=[]
                    739:             try:
                    740:                     pathHi=os.path.join(self.vlp_basis,self.resourceID,'pagesHi')
                    741:                     files=os.listdir(pathHi)
                    742:                     hi=0
                    743:                     for f in files:
                    744:                             hi+=os.stat(os.path.join(pathHi,f))[ST_SIZE]
                    745: 
                    746:             except:
                    747:                     hi=0
                    748: 
                    749:             #size of hi resolution
                    750:             try:
                    751:                     pathHi=os.path.join(self.vlp_basis,self.resourceID,'pagesLo')
                    752:                     files=os.listdir(pathHi)
                    753:                     lo=0
                    754:                     for f in files:
                    755:                             lo+=os.stat(os.path.join(pathHi,f))[ST_SIZE]
                    756: 
                    757:             except:
                    758:                     lo=0
                    759: 
                    760:             
                    761:             return (hi,lo,len(files))
                    762:                     
1.48      dwinter   763: 
                    764:     def getPageWeights(self):
1.49      dwinter   765:             """average Page sizes in kBytes"""
1.1       dwinter   766:     
1.49      dwinter   767:             res=getattr(self,'pageSizeSum',(0,0,1))
                    768:             return (res[0]/(1024*res[2]),res[1]/(1024*res[2]))
                    769:                             
                    770:             
                    771:             
1.1       dwinter   772:     def dir2index(self):
                    773:         """dir to index"""
                    774: 
1.62      casties   775:         excludeNames=['Icon']
1.49      dwinter   776:                 
                    777:         
1.1       dwinter   778:         def calculateName(str):
1.49      dwinter   779:             name=os.path.splitext(str[1:])[0]
1.31      dwinter   780:             ret="%s: %s"%(str[0],name)
1.1       dwinter   781:             return ret
1.2       dwinter   782: 
                    783:         try:
                    784:             ret=os.listdir(os.path.join(self.vlp_basis,self.resourceID,'pageimg'))
                    785:             self.imagePath='pageimg'
                    786:         except:
                    787:             ret=os.listdir(os.path.join(self.vlp_basis,self.resourceID,'pagesHi'))
                    788:             self.imagePath='pagesHi'
1.1       dwinter   789:         temp=[]
1.49      dwinter   790:         ret.sort()
1.1       dwinter   791:         for x in ret:
1.62      casties   792:             if (not (x[0] in ('.',':'))) and (not x[0:4] in excludeNames):
1.11      dwinter   793:                 temp.append((calculateName(x),os.path.splitext(x)[0]))
1.1       dwinter   794:         return temp
                    795: 
1.11      dwinter   796:     
1.1       dwinter   797:     def firstPage(self,url=None):
                    798:         """showlink to the first image"""
1.24      dwinter   799:         if self.REQUEST.get('pn','1')=="1": #erste seinte dann kein a tag
1.1       dwinter   800:             return """<img src="../../images/first.gif" alt="first" width="14" height="14" border="0"><br>first"""
                    801: 
                    802:         else:
1.49      dwinter   803:                 ws=self.REQUEST.get('ws','1')
                    804:                 return """<a href=%s>
1.1       dwinter   805:                          <img src="../../images/first.gif" alt="first" width="14" height="14" border="0"><br>first
                    806:                          </a>
1.30      dwinter   807:                          """%(self.REQUEST['URL']+"?pn=1&ws=%s"%ws)
1.1       dwinter   808: 
                    809:     def lastPage(self,url=None):
                    810:         """showlink to the first image"""
                    811:         pages=self.readIndexFile(url)
                    812:         if pages:
                    813:             ln=len(pages)
                    814:         
1.24      dwinter   815:         if (self.REQUEST.get('pn')==str(ln)) or (ln==1): #letzte seite dann kein a tag oder nur eine Seite
1.1       dwinter   816:             return """<img src="../../images/last.gif" alt="last" width="14" height="14" border="0"><br>last"""
                    817: 
                    818:         else:
1.49      dwinter   819:                 ws=self.REQUEST.get('ws','1')
                    820:                 return """<a href=%s>
                    821:                          <img src="../../images/last.gif" alt="last" width="14" height="14" border="0"><br>last
1.1       dwinter   822:                          </a>
1.30      dwinter   823:                          """%(self.REQUEST['URL']+"?pn="+str(ln)+"&ws="+ws)
1.1       dwinter   824:             
                    825:     def prevPage(self,url=None):
                    826:         """showlink to the first image"""
                    827:         
                    828: 
                    829:         nn = int(self.REQUEST.get('pn','1'))-1
                    830:         if nn < 1: #letzte  seite dann kein a tag
1.22      dwinter   831:             return """<img src="../../images/lisePrev.gif" alt="prev" width="14" height="14" border="0"><br>prev"""
1.1       dwinter   832: 
                    833:         else:
1.49      dwinter   834:                 ws=self.REQUEST.get('ws','1')
                    835:                 return """<a href=%s>
1.22      dwinter   836:                          <img src="../../images/lisePrev.gif" alt="prev" width="14" height="14" border="0"><br>prev
1.1       dwinter   837:                          </a>
1.30      dwinter   838:                          """%(self.REQUEST['URL']+"?pn="+str(nn)+"&ws="+ws)
1.1       dwinter   839: 
                    840:     def nextPage(self,url=None):
                    841:         """showlink to the first image"""
                    842:         pages=self.readIndexFile(url)
                    843:         if pages:
                    844:             ln=len(pages)
                    845: 
                    846:         nn = int(self.REQUEST.get('pn','1'))+1
1.24      dwinter   847:         if (nn>int(ln)) or (ln==1): #letzte  seite dann kein a tag
1.22      dwinter   848:             return """<img src="../../images/liseNext.gif" alt="next" width="14" height="14" border="0"><br>next"""
1.1       dwinter   849: 
                    850:         else:
1.49      dwinter   851:                 ws=self.REQUEST.get('ws','1')
                    852:                 return """<a href=%s>
1.22      dwinter   853:                          <img src="../../images/liseNext.gif" alt="next" width="14" height="14" border="0"><br>next
1.1       dwinter   854:                          </a>
1.30      dwinter   855:                          """%(self.REQUEST['URL']+"?pn="+str(nn)+"&ws="+ws)
1.1       dwinter   856:         
                    857:     
                    858:     def readIndexFile(self,url=None):
                    859:         """reads the indexfile. presently url not None isn't implemented. In the future url can be defined."""
1.49      dwinter   860:         if not url:
1.50      dwinter   861:             urlTmp=self.absolute_url()+"/index.xml"
1.1       dwinter   862: 
1.49      dwinter   863:         if self.ZCacheable_isCachingEnabled():
1.51      dwinter   864: 
1.50      dwinter   865:             result = self.ZCacheable_get(view_name=urlTmp)
1.33      dwinter   866:             if result is not None:
                    867:                 # Got a cached value.
                    868:                 return result
                    869: 
                    870:         pagelist=[]
1.50      dwinter   871:         
                    872:         if not url:
1.51      dwinter   873: 
1.50      dwinter   874:             xmlTxt=getattr(self,'index.xml')()
                    875:             dom=xml.dom.minidom.parseString(xmlTxt)
                    876:         else:            
                    877:             fh=ECHO_helpers.urlopen(urlTmp)
                    878:             dom=xml.dom.minidom.parse(fh)
1.1       dwinter   879:         
                    880:         
                    881:         for page in dom.getElementsByTagName('page'):
                    882:             text=getText(page.childNodes)
                    883:             pageNum=page.getAttribute('nr')
1.49      dwinter   884:             fileName=page.getAttribute('file')
1.22      dwinter   885:             pagelist.append((pageNum,text,fileName))
1.1       dwinter   886: 
1.50      dwinter   887:         self.ZCacheable_set(pagelist,view_name=urlTmp)
1.33      dwinter   888:         return pagelist 
1.22      dwinter   889: 
                    890:     def getFileName(self):
1.49      dwinter   891:            """getNameOfCurrentFile"""
                    892:            try:
                    893:             pn=int(self.REQUEST.get('pn','1'))
                    894:            except:
                    895:             pn=1
                    896:            pageinfo=self.readIndexFile()[pn-1]
                    897:            return pageinfo[2]
1.22      dwinter   898:    
1.1       dwinter   899:     def createIndexFile(self,RESPONSE=None):
                    900:         """create index file"""
                    901: 
1.62      casties   902:         logging.debug("createindexfile of %s"%self.id)
1.31      dwinter   903:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','index_template.zpt')).__of__(self)()
1.1       dwinter   904: 
                    905:         if not hasattr(self,'index.xml'):
                    906:             zt=ZopePageTemplate('index.xml')
                    907:             self._setObject('index.xml',zt)
                    908:         else:
                    909:             zt=getattr(self,'index.xml')
                    910:             
1.62      casties   911:         #logging.debug("createindexfile uses %s"%pt)
1.1       dwinter   912:         zt.pt_edit(pt, 'text/xml')
1.62      casties   913:         transaction.get().commit()
1.1       dwinter   914: 
                    915:         if RESPONSE is not None:
                    916:             RESPONSE.redirect('manage_main')
                    917: 
                    918:         
                    919: def manage_addVLP_resourceForm(self):
                    920:         """Form for adding a ressource"""
1.31      dwinter   921:         pt=PageTemplateFile(os.path.join(package_home(globals()),'vlp','AddVLP_resourceForm.zpt')).__of__(self)
1.1       dwinter   922:         return pt()
                    923: 
                    924: 
                    925: 
                    926: def manage_addVLP_resource(self,id,title,label,description,responsible,link,metalink,weight,resourceID=None,contentType=None,renderingType=None,credits=None,coords=None,RESPONSE=None):
                    927:     """addaresource"""
                    928: 
                    929:     
1.2       dwinter   930:     if metalink=='':
                    931:         metalink=self.absolute_url()+"/"+id+"/index_meta"
                    932:             
1.1       dwinter   933:     newObj=VLP_resource(id,link,metalink,resourceID,title,label,description,contentType,renderingType,responsible,credits,weight,coords)
                    934: 
                    935:     self._setObject(id,newObj)
                    936: 
                    937:     if RESPONSE is not None:
                    938:         RESPONSE.redirect('manage_main')
                    939:  

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>