Dokumente archivieren unter Linux
Da wir einen neuen Multifunktionsdrucker haben, der eine automatische Dokumentenzufuhr für bis zu 40 Blatt hat, habe ich mir Gedanken zur Dokumentenarchivierung gemacht.
Man könnte meinen, dass man einfach alles einscannt, als PDF speichert und fertig. Die Ergebnisse waren jedoch durchwachsen. Man möchte die Vorlagen noch richtig gedreht haben (der Einzug ist nicht perfekt), Weiß soll Weiß sein und Schwarz soll Schwarz sein, etc.
Hier also mein aktueller Workflow:
Scannen mit Xsane:
Ich habe einige Backends durchprobiert, bin dann aber doch bei Xsane geblieben. Alle Dokumente werden mit 300 dpi als Graustufenbild eingescannt und als TIFF gespeichert. Die Einstellungen sieht man rechts auf dem Foto. Die Dateien werden selbstständig nummeriert. Wenn man doppelseitige Dokumente scannen möchte, kann man z. B. den Wert zur Erhöhung auf +2 statt +1 stellen. Man kann aber auch später die Dokumente mit pdftk abwechselnd in ein neues PDF speichern.Bearbeitung mit scantailor
Scantailor ist ein Frontend für unpaper. Man könnte alle Schritte vollautomatisieren, jedoch benötigt die Bearbeitung der Seiten doch schon mal ein bisschen Handarbeit, daher ist scantailor meine Wahl geworden. Fix Orientation würde die Seiten richtig ausrichten, aber ich lege die Dokumente schon richtig in den Dokumenteneinzug :) Split Pages ist nützlich, sollten zwei Seiten auf ein DIN-A4-Dokument gedruckt worden sein. Ich brauche es nicht. Ich klicke direkt auf Deskew, welches dafür zuständig ist, die Dokumente so zu drehen, dass der Inhalt "gerade" ist. Der Dokumenteneinzug liest die Blätter nicht perfekt ein, wodurch die Bilder schon mal um 1-2° gedreht werden müssen. Dies ist der Hauptgrund, warum ich scantailor nutze! Select Content erkennt die Stellen mit Inhalt. Erst wenn dies durchgeführt wurde, kann man unter Output alle Bilder speichern. Dort wähle ich 300 dpi und wieder Graustufen.Bearbeitung mit Gimp
Ich nutze Gimp, um die Gradationskurve zu ändern. Alle Programme, die ich gefunden habe, konvertieren die Dokumente in Schwarz/Weiß, ich möchte jedoch Graustufen, da ich damit bessere Ergebnisse erziele. Trotzdem soll Weiß Weiß sein und Schwarz Schwarz. Nach dem Scannen ist jedoch der eigentlich weiße Hintergrund grau. Dies händisch zu machen, wäre natürlich viel zu viel Arbeit, daher kommt nun ein Skript von mir ins Spiel, welches per Bash aufgerufen werden kann und mir diese Arbeit abnimmt.
(define (color-curve pattern)
(let* ((filelist (cadr (file-glob pattern 1))))
(while (not (null? filelist))
(let* ((filename (car filelist))
(image (car (file-tiff-load RUN-NONINTERACTIVE filename filename)))
(write filename)
(drawable (car (gimp-image-get-active-layer image))))
(gimp-curves-spline drawable 0 12 #(0 0 51 0 102 85 153 170 204 255 255 255 ))
(file-tiff-save RUN-NONINTERACTIVE image drawable filename filename 1)
(gimp-image-delete image))
(set! filelist (cdr filelist)))))
Man speichere es unter #~.gimp2-6/scripts/ als color-curve.scm ab.
Aufgerufen wird es mit:
gimp-console-2.6 -i -b '(color-curve "*.tif")' -b '(gimp-quit 0)'Zusammenfügen der TIFF-Dateien zu einer einzigen Multilayer-TIFF-Datei
Dazu benötigt man das Programm tiffcp, welches es in fast allen Distributionen gibt.tiffcp -c lzw *.tif temp.tifKonvertierung von TIFF zu PDF
tiff2pdf -z temp.tif -o Dateiname.pdf
Auch tiff2pdf ist fast überall verfügbar.
Nun hat man eine PDF-Datei mit allen Dokumenten in guter Qualität. Bei mir verbraucht eine Seite zwischen 500 kB und 1 MB.
Die letzten drei Schritte habe ich in einem Bash-Skript vereinigt:
Zum Erstellen:
sudo vi /usr/local/bin/dokumente2pdf.sh
i drücken und Folgendes einfügen:
#!/bin/bash
#**************************
#* visit: www.freanki.net *
#**************************
# dokumente2pdf.sh
if [ $# -ne 1 ] ; then
echo "Aufruf:"
echo "dokumente2pdf.sh [Name des pdf]"
exit 32
fi
#Weiß wird weiß und Schwarz wird Schwarz. Umgehung von Schwarz/Weiß Palette. Genutzt wird curve von gimp, das sieht schöner aus :)
gimp-console-2.6 -i -b '(color-curve "*.tif")' -b '(gimp-quit 0)'
#Alle tif's zu einem tif zusammen fassen
tiffcp -c lzw *.tif temp.tif
#Nun dieses Multiplepages tif zu einem pdf umwandeln
tiff2pdf -z temp.tif -o $1
rm temp.tif
Das Skript muss nun noch ausführbar gemacht werden:
sudo chmod +x /usr/local/bin/dokumente2pdf.sh
Aus dem damaligen Austausch
Historische Kommentare
Das ist ja irre umstaendlich!
Das ist ja irre umstaendlich!
Das ist ja irre umstaendlich!
Die Einrichtung dauerte ein bisschen, weil ich mit allen anderen Lösungen nicht zufrieden war.
Da ist zwar viel Text, aber eigentlich sind es nur 2 klicks und die Qualitätsprüfung bei scantailor. (scantailor könnte man noch in das Script einbauen, aber dem traue ich nicht so ganz...)
Die Einrichtung dauerte ein bisschen, weil ich mit allen anderen Lösungen nicht zufrieden war.
Da ist zwar viel Text, aber eigentlich sind es nur 2 klicks und die Qualitätsprüfung bei scantailor. (scantailor könnte man noch in das Script einbauen, aber dem traue ich nicht so ganz...)
Die Einrichtung dauerte ein bisschen, weil ich mit allen anderen Lösungen nicht zufrieden war.
Da ist zwar viel Text, aber eigentlich sind es nur 2 klicks und die Qualitätsprüfung bei scantailor. (scantailor könnte man noch in das Script einbauen, aber dem traue ich nicht so ganz...)
Ich probier schon seit ein paar Jahren mit verschiedenen Programmen zur Dokumentenarchivierung rum und hab fuer mich persoenlich festgestellt: Wenn es mehr Arbeit ist als nur einen Knopf druecken mach ich es am Ende nicht. Ich hab jetzt keinen Einzugsscanner, was die Sache schon von sich aus umstaendlich macht; aber so eine Kombination aus nem ScanSnap oder Doxie und dazu Evernote koennte funktionieren. Dann hat man auch automatisch ne OCR und kann nach Stichworten suchen ohne alles taggen zu muessen.
Ich probier schon seit ein paar Jahren mit verschiedenen Programmen zur Dokumentenarchivierung rum und hab fuer mich persoenlich festgestellt: Wenn es mehr Arbeit ist als nur einen Knopf druecken mach ich es am Ende nicht. Ich hab jetzt keinen Einzugsscanner, was die Sache schon von sich aus umstaendlich macht; aber so eine Kombination aus nem ScanSnap oder Doxie und dazu Evernote koennte funktionieren. Dann hat man auch automatisch ne OCR und kann nach Stichworten suchen ohne alles taggen zu muessen.
Ich probier schon seit ein paar Jahren mit verschiedenen Programmen zur Dokumentenarchivierung rum und hab fuer mich persoenlich festgestellt: Wenn es mehr Arbeit ist als nur einen Knopf druecken mach ich es am Ende nicht. Ich hab jetzt keinen Einzugsscanner, was die Sache schon von sich aus umstaendlich macht; aber so eine Kombination aus nem ScanSnap oder Doxie und dazu Evernote koennte funktionieren. Dann hat man auch automatisch ne OCR und kann nach Stichworten suchen ohne alles taggen zu muessen.
Wäre der Dokumenteneinzug besser, wäre es ein einziger Klick (bzw. ein Scriptaufruf).
Für mich störend sind die schrägen Einzüge vom ADF, daher habe ich scantailor drin.
OCR habe ich erstmal außen vor gelassen. Mich hat noch nix überzeugt (was auch an den Dokumenten liegt, Steuererklärungen, Gehaltsabrechnung, etc. sind dafür wohl eher weniger geeignet...)
Ich bin mal gespannt, wieviel ich jetzt wirklich archiviere und ob der Workflow sich gut bewährt :)
Wäre der Dokumenteneinzug besser, wäre es ein einziger Klick (bzw. ein Scriptaufruf).
Für mich störend sind die schrägen Einzüge vom ADF, daher habe ich scantailor drin.
OCR habe ich erstmal außen vor gelassen. Mich hat noch nix überzeugt (was auch an den Dokumenten liegt, Steuererklärungen, Gehaltsabrechnung, etc. sind dafür wohl eher weniger geeignet...)
Ich bin mal gespannt, wieviel ich jetzt wirklich archiviere und ob der Workflow sich gut bewährt :)
Wäre der Dokumenteneinzug besser, wäre es ein einziger Klick (bzw. ein Scriptaufruf).
Für mich störend sind die schrägen Einzüge vom ADF, daher habe ich scantailor drin.
OCR habe ich erstmal außen vor gelassen. Mich hat noch nix überzeugt (was auch an den Dokumenten liegt, Steuererklärungen, Gehaltsabrechnung, etc. sind dafür wohl eher weniger geeignet...)
Ich bin mal gespannt, wieviel ich jetzt wirklich archiviere und ob der Workflow sich gut bewährt :)
Mir geht es bei der OCR weniger um die perfekte Erkennung von Textbloecken, sondern mehr um Stichwoerter. Es reicht ja schon, wenn die OCR das Wort "Gehaltsabrechnung" erkennt. Dann kannst du danach als Stichwort suchen ohne selbst Taglisten anzulegen "Dortmund, Uni, Gehaltsabrechnung, Mai, 2010" oder sowas.
Mir geht es bei der OCR weniger um die perfekte Erkennung von Textbloecken, sondern mehr um Stichwoerter. Es reicht ja schon, wenn die OCR das Wort "Gehaltsabrechnung" erkennt. Dann kannst du danach als Stichwort suchen ohne selbst Taglisten anzulegen "Dortmund, Uni, Gehaltsabrechnung, Mai, 2010" oder sowas.
Mir geht es bei der OCR weniger um die perfekte Erkennung von Textbloecken, sondern mehr um Stichwoerter. Es reicht ja schon, wenn die OCR das Wort "Gehaltsabrechnung" erkennt. Dann kannst du danach als Stichwort suchen ohne selbst Taglisten anzulegen "Dortmund, Uni, Gehaltsabrechnung, Mai, 2010" oder sowas.
Das ist es ja am Ende, was die meiste Zeit brauchst: Wie sortierst du die ganzen PDFs, dass du auch wieder etwas daran findest? Wenn man das manuell machen will, ist es viel zu umstaendlich. Da seh ich das grosse Problem darin.
Das ist es ja am Ende, was die meiste Zeit brauchst: Wie sortierst du die ganzen PDFs, dass du auch wieder etwas daran findest? Wenn man das manuell machen will, ist es viel zu umstaendlich. Da seh ich das grosse Problem darin.
Das ist es ja am Ende, was die meiste Zeit brauchst: Wie sortierst du die ganzen PDFs, dass du auch wieder etwas daran findest? Wenn man das manuell machen will, ist es viel zu umstaendlich. Da seh ich das grosse Problem darin.
Gibt es denn schon Lösungen, die bei sowas zuverlässig genug arbeiten? Wenn es klappt, verlässt man sich ja auch drauf. Dann wird gerade Gehaltsabrechnung nicht richtig erkannt und man darf manuell alles durchsuchen, weil man keine alternative Sortierung implementiert hat :/
Aktuell kommen bei mir z.B. alle Gehaltsabrechnungen von der Uni in ein pdf. Ist quasi die gleiche Sortierung wie im Ordner.
Gibt es denn schon Lösungen, die bei sowas zuverlässig genug arbeiten? Wenn es klappt, verlässt man sich ja auch drauf. Dann wird gerade Gehaltsabrechnung nicht richtig erkannt und man darf manuell alles durchsuchen, weil man keine alternative Sortierung implementiert hat :/
Aktuell kommen bei mir z.B. alle Gehaltsabrechnungen von der Uni in ein pdf. Ist quasi die gleiche Sortierung wie im Ordner.
Gibt es denn schon Lösungen, die bei sowas zuverlässig genug arbeiten? Wenn es klappt, verlässt man sich ja auch drauf. Dann wird gerade Gehaltsabrechnung nicht richtig erkannt und man darf manuell alles durchsuchen, weil man keine alternative Sortierung implementiert hat :/
Aktuell kommen bei mir z.B. alle Gehaltsabrechnungen von der Uni in ein pdf. Ist quasi die gleiche Sortierung wie im Ordner.
Die OCR ist nicht das Problem; die ist z.B. in Evernote fast perfekt. Aber es stimmt schon, wenn das mal aus einem Grund nicht funktioniert findest du nichts mehr. Bei manueller Sortierung seh ich allerdings kaum noch einen Zeitvorteil gegenueber "Abheften und bei Bedarf kopieren".
Die OCR ist nicht das Problem; die ist z.B. in Evernote fast perfekt. Aber es stimmt schon, wenn das mal aus einem Grund nicht funktioniert findest du nichts mehr. Bei manueller Sortierung seh ich allerdings kaum noch einen Zeitvorteil gegenueber "Abheften und bei Bedarf kopieren".
Die OCR ist nicht das Problem; die ist z.B. in Evernote fast perfekt. Aber es stimmt schon, wenn das mal aus einem Grund nicht funktioniert findest du nichts mehr. Bei manueller Sortierung seh ich allerdings kaum noch einen Zeitvorteil gegenueber "Abheften und bei Bedarf kopieren".
Bei den Abrechnungen, etc. hast du Recht, aber ich will aus sentimentalen Gründen meine alten Schulhefte automatisch einscannen lassen und sie danach weg schmeißen.
Des weiteren haben sie schon eine Überschwemmung des Kellers mitgemacht, genauso wie viele meiner älteren Dokumente, die im alten Keller lagerten (die haben im übrigen das Schloss aufgeknackt und den Keller versucht trocken zu legen und uns nicht Bescheid gesagt... Ich habs 3 Wochen danach durch zufall entdeckt und mich schon gewundert gehabt, warum das Schloss aufgebrochen war und nix fehlte...).
Das Ganze geht dann in Richtung Backup :)
Wenn ich danach die Originale weg schmeiße, soll die Qualität natürlich stimmen, daher auch das bisschen Aufwand
Bei den Abrechnungen, etc. hast du Recht, aber ich will aus sentimentalen Gründen meine alten Schulhefte automatisch einscannen lassen und sie danach weg schmeißen.
Des weiteren haben sie schon eine Überschwemmung des Kellers mitgemacht, genauso wie viele meiner älteren Dokumente, die im alten Keller lagerten (die haben im übrigen das Schloss aufgeknackt und den Keller versucht trocken zu legen und uns nicht Bescheid gesagt... Ich habs 3 Wochen danach durch zufall entdeckt und mich schon gewundert gehabt, warum das Schloss aufgebrochen war und nix fehlte...).
Das Ganze geht dann in Richtung Backup :)
Wenn ich danach die Originale weg schmeiße, soll die Qualität natürlich stimmen, daher auch das bisschen Aufwand
Bei den Abrechnungen, etc. hast du Recht, aber ich will aus sentimentalen Gründen meine alten Schulhefte automatisch einscannen lassen und sie danach weg schmeißen.
Des weiteren haben sie schon eine Überschwemmung des Kellers mitgemacht, genauso wie viele meiner älteren Dokumente, die im alten Keller lagerten (die haben im übrigen das Schloss aufgeknackt und den Keller versucht trocken zu legen und uns nicht Bescheid gesagt... Ich habs 3 Wochen danach durch zufall entdeckt und mich schon gewundert gehabt, warum das Schloss aufgebrochen war und nix fehlte...).
Das Ganze geht dann in Richtung Backup :)
Wenn ich danach die Originale weg schmeiße, soll die Qualität natürlich stimmen, daher auch das bisschen Aufwand
Auch wenn's nicht mehr aktuell ist:
convert -density 300 -compress none blubb.pdf BMP3:blubb.bmp
cuneiform -l ger -f hocr -o blubb.hocr blubb.bmp
hocr2pdf -i blubb.bmp -o ausgabe-durchsuchbar.pdf < blubb.hocr
führt ein lustiges OCR aus (cuneiform) und macht daraus ein durchsuchbares PDF (hocr2pdf). Und mit LogicalDOC gibt's ein kostenloses DMS, das man per SOAP-Webservice ansprechen kann und somit ließe sich alles in einen Batch packen.
Bislang habe ich das OCR aber nur mit den Word-Briefen vom Vermieter ausprobiert und den SOAP-Upload für die eh schon maschinell (iText) erzeugten Kontoauszüge. Aber prinzipell müsste es gehen.
Siehe auch: http://blog.konradvoelkel.de/2010/01/linux-ocr-and-pdf-problem-solved/
[Kommentar vom Blog importiert]
[Kommentar vom Blog importiert]
[Kommentar vom Blog importiert]