Matomo-Updater
Ich habe bei meinem Hoster ein shared Hosting. Dort läuft seit (gefühlt) “ewig” eine Piwik-Instanz. Heute Matomo.
Das aktuellste Matomo Zipfile enthält das Unterverzeichnis “matomo”. Aber meine Instanz liegt noch in einem andersnamigen Verzeichnis.
Damit ich auch künftig weiter automatisiert auf die aktuelle Matomo Version aktualisieren kann, habe ich ein Shellskript geschrieben, was das entpackte Achiv ins eigentliche Installverzeichnis schiebt.
Falls dies noch wer gebrauchen kann … bitteschön :-) Anzupassen ist der Bereich Config…
Linux: Cleanup-Jobs mit IML CLEANUP
Wir verwenden Puppet als Werkzeug zum Verteilen unserer Server-Konfigurationen auf Linux-Systeme. Für das Löschen von Dateien älterer N Tage in einem Startordner haben wir oft mehrere angepasste Shell-Skripte mit einem Suchbefehl verwendet.
Das IML CLEANUP macht einfach eine Aufteilung von Logik- und Konfigurationsdaten. Es ist einfacher, eine kleine Konfigurationsdatei zu erzeugen (besonders, wenn Sie Automatisierungswerkzeuge wie Puppet, Ansible oder Chef verwenden) anstatt mehrere Bereinigungsskripte zu bearbeiten.
Man kann mehrere Konfigurationsdateien anlegen, die jeweils etwa so aussehen:
dir = /your/starting/path filemask = *.log,*.gz maxage = 180 maxdepth = deleteemptydirs = 1 runas = root
Jene Angaben werden aus den Konfigurationen geparst und in Parameter des find-Kommandos übersetzt.
Wie man es zum Laufen bringt:
- In der Datei /etc/imlcleanup.d/ können Sie (beliebig viele) Konfigurationsdateien wie das obige Snippet ablegen.
- ein Shell-Skript durchläuft alle Konfigurationsdateien und führt die Aktionen aller conf-Dateien aus.
- Sie müssen zusätzlich einen Cronjob erstellen, um dieses Skript regelmäßig (z.B. einmal pro Tag) auszuführen.
Genaueres ist auf Github zu finden. Bitte auch die dortigen Security-Hinweise beachten.
weiterführende Links:
Bash: Ini Dateien Parsen/ Lesen
Bei einigen Servern habe ich einen Cronjob, der ruft ein Shellskript auf, welches den IST Zustand einiger Dienste auflistet. Also, auf einem Server, welche Mysql- und Postgres-Datenbankschemata es gibt, auf dem nächsten welche Apache VHosts exitieren und auf dem Fileserver welche Samba-Shares usw.
Schlussendlich landet es auf einem Wiki (Dokuwiki in diesem Fall - hier sind die Seiten Txt-Dateien im Filesystem - das macht die Sache sehr einfach).
Beim Samba Server war es bis anhin recht unschön, weil umständlich gecodet. Nun habe ich 3 kleine Funktionen hinzugefügt, mit denen ich (endlich :-)) eine INI Datei parsen kann.
Die Funktionen kann man in eine Datei mit Leserechten (ohne Execute-Recht) auslagern, die man im Skript sourct (per source oder Punkt-Kommando).
- _getInisections [Name der Ini-Datei]
listet alle Sektionstitel auf - _getInisectiondata [Name der Ini-Datei] [Name der Sektion]
listet die angegebene Sektion auf. Mit dieser Ausgabe sieht man eine Sektion alleinstehend - und kann sich die Variablen herausziehen … aber wenn man die Variablen kennt, gibt es noch die nächste Funktion - _getIniValue [Name der Ini-Datei] [Name der Sektion] [Name der Variable]
gibt den Wert einer Variable aus der angegebenen Sektion zurück
In der Samba-Konfiguration (/etc/samba/smb.conf) sind die Variablen und Werte nicht zwingend ab Zeilenanfang - daher sind im Regex Leerzeichen und Tabs hinzugefügt.
# Helper for ini files: get all sections
# param1 - name of the ini file
function _getInisections(){
myfile=$1
grep "^\[" $myfile | sed 's,^\[,,' | sed 's,\],,'
}
# Helper for ini files: get all content inside a section
# param1 - name of the ini file
# param2 - name of the section in ini file
function _getInisectiondata(){
myfile=$1
mysection=$2
sed -e "0,/\[${mysection}\]/ d" -e '/\[/,$ d' $myfile | grep -v "#"
}
# Helper for ini files: get a value of a variable in a given section
# param1 - name of the ini file
# param2 - name of the section in ini file
# param3 - name of the variable to read
function _getIniValue(){
myfile=$1
mysection=$2
myvarname=$3
_getInisectiondata ${myfile} ${mysection} | grep "^[\ \t]*${myvarname}[\ \t]*=.*" | cut -f 2 -d "=" | sed -e 's,^\ *,,'
}
Und als Anwendungsbeispiel: ein Snippet mit einem Loop über die Samba-Konfiguration. Ausgegeben wird eine Tabelle mit Name des Shares, Beschreibung (Wert “comment”) und Pfad des Shares (Wert “path”):
smbconf=/etc/samba/smb.conf
# Ausgabe des Tabellen-Header in Wiki-Syntax
echo "^Share^Kommentar^Pfad^"
# Loop ueber alle Sektionen
for mysection in `_getInisections $smbconf | grep -v global`
do
# Ini-Werte aus der Sektion lesen
myComment=`_getIniValue ${smbconf} ${mysection} "comment"`
mypath=`_getIniValue ${smbconf} ${mysection} "path"`
# Ausgabe der Tabellen-Zeile - Pipes sind Spaltentrenner
echo "|${mysection}|${myComment}|${mypath}|"
done
UPDATES:
- 15.05.2019: Korrektur der fehlenden Backslahes (die wirft das Blogtool immer raus, wenn man es nicht als Html-Entity schreibt) plus verbessertes Handling mit laschen Regex und Leerzeichen. Danke an Frank!
Cygwin - Installation per Kommandozeile: apt-cyg
Mit Cygwin holt man sich Linux Tools auf MS Windows. Nicht nur die Linux-Befehle, auch Dienste lassen sich installieren, wie z.B. OpenSSH.
Allgemein erfolgt die Installation mit der setup.exe und einer Paketauswahl per Mausklick (ja, es gibt natürlich auch einen Filter, wo man seinen Suchtext eingeben kann). Aber dennoch fehlt ein Kommandozeilen-Tool zum Suchen und installieren neuer Pakete, wie bei den Distributionen.
Just getestet und für gut befunden habe ich apt-cyg.
In der Bash ist es mit 2 Kommandos schnell installiert:
$ lynx -source rawgit.com/transcode-open/apt-cyg/master/apt-cyg > apt-cyg $ install apt-cyg /bin
Und dann hat man, wie in Ubuntu, ein apt ähnliches Programm.
$ apt-cyg usage: apt-cyg [command] [options] [packages] Commands: install Install packages remove Remove packages update Update setup.ini download Download only - do NOT install or unpack archives show Displays the package records for the named packages depends Performs recursive dependency listings rdepends Display packages which require X to be installed, AKA show reverse dependencies list List packages matching given pattern. If no pattern is given, list all installed packages. category List packages matching given category listfiles List files owned by packages search Search for a filename from installed packages searchall Search for a filename from all available packages Options: -c, --cache <dir> set cache -f, --file <file> read package names from file -m, --mirror <url> set mirror --help --version
Nun sind Pakete schneller installierbar … man sucht in der Liste der vorhandenen Pakete
$ apt-cyg searchall [Begriff]
… und installiert es
$ apt-cyg install ncftp
Fertig :-)
apt-cyg selbst ist ein Bash-Skript. Es läuft somit auf der 32-bit und 64-Bit Version von Cygwin gleichermassen.
Weiterführende Links
Chocolatey: Ersatz für choco list mit lokalem Cache
Ich habe mich mit Chocolatey angefreundet, verfluche aber die langsame Paketsuche.
Was man da machen kann? Nun, eine Batch-Datei schreiben, die die Paketliste lokal speichern kann und diesen Cache durchsucht.
Die Funktion ist nicht mit choco list [Suchbegriff] identisch, da hier auch Metainformationen gesucht werden - die Suche in meinem Skript geht rein auf Paketnamen, ist dafür aber wirklich massiv schneller!!
Der Cache wird 1 x pro Tag erneuert - oder bei manuellem Aufruf mit Parameter -u (=update).
Die Hilfe erscheint bei Aufruf ohne einen Parameter:
===== CHOCO PACKAGE SEARCH WITH LOCAL CACHE ===== DESCRIPTION: clist2 is a choco list to search public packages that uses a local cache SYNTAX: clist2 [searchstring] searchstring: part of a package, case insensitive, regex allowed i.e. "^fire" to find the firefox clist2 "^fire" clist2 -i infos about cachefile clist2 -u force update of local package list (it takes a while)