- Dieses Thema hat 3 Antworten sowie 3 Teilnehmer und wurde zuletzt vor vor 1 Woche, 3 Tage von
Annika Biere aktualisiert.
- Beitrag
-
- 17. September 2025 um 9:44 Uhr
Hallo,wir stehen vor der Aufgabe ein altes Archivierungstool (basierend auf Windows-Batch Scripten und WinRar) abzulösen. Wir sind gerade dabei, die Möglichkeiten von Transconnect zu diesem Thema auszuloten. Eine Zip-Kompression einzelner Dateien bzw. auch ganzer Verzeichnisbäume war als Prototyp in TC schnell realisiert. Leider steigt damit auch die Größe einer Nachricht extrem schnell an und das Testsystem stürzte mit Java – Fehler „Out of Memory“ ab.
Jetzt ist meine Frage, ob es Möglichkeiten gibt, die Attachments einer Nachricht außerhalb zu händeln? Es erscheint nicht sinnvoll und möglich, die Archivdateien im Attachment einer Nachricht zu halten (und somit auch in der Repo-DB) …
Mit freundlichen Grüßen
Henrik Teuscher
Hochgeladene Dateien sind nur für angemeldete und verifizierte Nutzer sichtbar.
00
- Antworten
-
- 18. September 2025 um 11:04 Uhr
Eventuell als Tipp:Wir haben ein ähnliches Problem gehabt, da ein System alle verarbeiteten Dateien (200k+) auf einmal bereitstellt:
Statt die Daten direkt über die Aufgabe abzuholen läuft zunächst ein LISTFOLDER, um alle Dateien zu listen.
Dadurch erhalten wir eine Nachricht mit der Struktur
<ROOT>
<ITEM…/>
<ITEM…/>
…
</ROOT>Anschließen splittet eine Transformation die Daten in Gruppen von je 5 Dateien.
Die folgende Nachricht hat diese Struktur:
<ROOT>
<GROUP>
<FILE…/>
<FILE…/>
</GROUP>
<GROUP>
<FILE…/>
…Anschließend wird die Nachricht an eine XML Iteration übergeben, die nach dem Knoten GROUP durchgeht.
Erst innerhalb der Iteration erfolgt die Abholung der Daten und die eigentliche Verarbeitungslogik.Dadurch kann ich die Anzahl an Schritten, die mit Anhängen arbeitet und diesen Fehler provoziert klein halten und auch die Anhanggröße recht überschaubar.
Vielleicht hilft Ihnen das als Idee weiter
Hochgeladene Dateien sind nur für angemeldete und verifizierte Nutzer sichtbar.
10- 18. September 2025 um 11:46 Uhr
Hallo Herr Roth,vielen Dank für die Idee! Das sollte die Datengröße einer Transconnect-Nachricht verringern.
Heute morgen hatte ich noch die Idee, einen neuen Adapter zu entwickeln. Ich würde diesen mal als „zipFile – Adapter/Connector bezeichnen.
Funktional grob skizziert könnte der so aussehen:
Der Adapter/Connector schreibt (vlt. auch liest) dann die Files in neues oder vorhandenes Zip-Archiv repräsentiert durch eine Datei in einem Filesystem. Diese könnte dann (fast) beliebig groß sein. (in unserem Fall >100GB!)
Ich könnet mir vorstellen, das man diese Funktionalität relativ einfach „nachrüsten“ könnte …
Java unterstützt das ja problemlos. (z.B. die Klasse: java.util.zip)Da ich das neue Connector-SDK nicht kenne, würde ich die Veröffentlichung abwarten. Vielleicht kann ja ein „Insider“ hier mal die Machbarkeit der Idee beurteilen.
Mit freundlichen Grüßen
Henrik Teuscher
Hochgeladene Dateien sind nur für angemeldete und verifizierte Nutzer sichtbar.
00- 22. Oktober 2025 um 10:09 Uhr
Hallo Herr Teuscher,im Moment gibt es keine Standardfunktionalität, die es erlauben würde, Anhänge auszulagern.
Der Vorschlag von Herrn Roth, die Daten zu zerteilen, ist natürlich eine gute Möglichkeit. Zusätzlich sehen wir noch folgende Ansätze um die Problematik zumindest abzuschwächen:
- Dem TC Server Prozess mehr Speicher geben
- In den Einstellungen des Managers das Speichern der Zwischenschritte deaktivieren (in der Serverkonfiguration unter „Prozesszustände speichern“), hierdurch verschlechtert sich allerdings das Fehlerhandling
- Das Einbauen eines Zwischenschritts mit einem File Adapter, der den Anhang für die Zwischenschritte außerhalb von TC ablegt und nur den Pfad im System hält
Wenn die volle Datenbank noch ein zusätzliches Problem darstellt, gäbe es zusätzlich noch die Möglichkeit, die Beräumungsgrenze herunterzusetzen, sodass archivierte Nachrichten weniger lange im Speicher aufbewahrt werden.
Hoffentlich kommen Sie damit erstmal weiter!
Viele Grüße,
Ihr TRANSCONNECT-Team
<p style=“margin: 0in; font-family: Calibri; font-size: 11.0pt;“></p>Hochgeladene Dateien sind nur für angemeldete und verifizierte Nutzer sichtbar.
00
- Du musst angemeldet sein, um auf dieses Thema antworten zu können.