hoch

Linux: Cleanup-Jobs mit IML CLEANUP

Wir verwenden Puppet als Werkzeug zum Verteilen unserer Server-Konfigurationen auf Linux-Systeme. Für das Löschen von Dateien älterer N Tage in einem Startordner haben wir oft mehrere angepasste Shell-Skripte mit einem Suchbefehl verwendet.

Das IML CLEANUP macht einfach eine Aufteilung von Logik- und Konfigurationsdaten. Es ist einfacher, eine kleine Konfigurationsdatei zu erzeugen (besonders, wenn Sie Automatisierungswerkzeuge wie Puppet, Ansible oder Chef verwenden) anstatt mehrere Bereinigungsskripte zu bearbeiten.

Man kann mehrere Konfigurationsdateien anlegen, die jeweils etwa so aussehen:

dir = /your/starting/path
filemask = *.log,*.gz
maxage = 180
maxdepth =
deleteemptydirs = 1
runas = root

Jene Angaben werden aus den Konfigurationen geparst und in Parameter des find-Kommandos übersetzt.

Wie man es zum Laufen bringt:

  1. In der Datei /etc/imlcleanup.d/ können Sie (beliebig viele) Konfigurationsdateien wie das obige Snippet ablegen.
  2. ein Shell-Skript durchläuft alle Konfigurationsdateien und führt die Aktionen aller conf-Dateien aus.
  3. Sie müssen zusätzlich einen Cronjob erstellen, um dieses Skript regelmäßig (z.B. einmal pro Tag) auszuführen.

Genaueres ist auf Github zu finden. Bitte auch die dortigen Security-Hinweise beachten.

weiterführende Links:

  1. Github: imlcleanup
Artikel weiterempfehlen: Google + Facebook

adb - Kopieren von Dateien auf ein Android Smartphone - auch ohne OS

Ich habe da so ein Samsung Galaxy Irgend-Bla Smartphone mit Octa Core CPU und Schlagmichtot-Features … das bekommt seit 2 Jahren kein Update. Beim Versuch, das Android 5.02 zu aktualisieren, heisst die Meldung stets: ich bin auf dem aktuellen Stand.

Ich lach mich tot! Nein, ist es nicht. Eine Android Version 5 - das tut schon beim Lesen weh - Shame on you SAMSUNG!!

Höchste Zeit, das Ding mit einem massiv aktuelleren Custom ROM zu versorgen. TWRP wurde installiert und ich habe die Custom ROM LineageOS und Gapps draufkopiert. Dann die Installation ausgeführt.

Dann kam aber ein kleines Missgeschick: ich wollte die Installation wiederholen und habe das System in TWRP nochmal gewiped… OOPS: damit war das Betriebssystem weg, wie auch meine für die erste Installation draufkopierten Images. Das Smartphone kann man dann weder booten und auch nicht neu installieren. (OK, ich gebs zu: ich habe an der Stelle auch etwas geflucht :-))

So geht es aber weiter:

(1)
Das Telefon wurde in TWRP gebootet - dann per USB mit dem PC verbunden.

(2)
Man braucht adb (adb und fastboot wären Begriffe, um die Suchmaschine deiner Wahl zu füttern). Das Tool hatte ich bereits.

(3)
In der Konsole kann man schauen, ob das Smartphone gefunden wird:


C:\Program Files (x86)\Minimal ADB and Fastboot>adb devices
List of devices attached
4100706845537121 recovery

Yep. Ein “recovery” ist da - das ist das Smartphone.

(4)
Danach kann man beliebige Dateien zum Smartphone kopieren.

Syntax:

adb push [lokale Quelle] [Ziel am Smartphone]

Einfach die lokale Datei mit kompletten Pfad wählen (Hint: mit der Tab Taste schlägt die Konsole Datien und Verzeichnisse vor - so kann man den gesamten Dateinamen schnell komplettieren).
Als Ziel wähle ich /sdcard/ auf dem Smartphone.


C:\Program Files (x86)\Minimal ADB and Fastboot>adb push D:\Apps\Android\_data\Galaxy-alpha\lineage-14.1-20171130-UNOFFICIAL-sltexx-beta9.zip /sdcard/
[100%] /sdcard/lineage-14.1-20171130-UNOFFICIAL-sltexx-beta9.zip

C:\Program Files (x86)\Minimal ADB and Fastboot>adb push D:\Apps\Android\_data\Galaxy-alpha\open_gapps-arm-7.1-nano-20180324.zip /sdcard
[100%] /sdcard/open_gapps-arm-7.1-nano-20180324.zip

Anm.: dem ein oder anderen aufmerksamen Leser mag das LineageOs 14 auffallen, obwohl Version 15 aktuell ist … Version 15 gibt es noch nicht für mein Gerät.

(5)
Nun kann man in TWRP die Installation starten, indem man die Dateien aus dem /sdcard/ Verzeichnis wählt.
2018-03-25-twrp-dateien-in-sdcard-verzeichnis.jpg

weiterführende Links:

  1. Wikipedia: TWRP
  2. TWRP (en)
  3. Axels Webseite: Hilfe zu adb
  4. xda-developers Forum: Minimal ADB and Fastboot (en)
  5. lineageOs Roms (en)
  6. openGapps Google Apps packages (en)
Artikel weiterempfehlen: Google + Facebook

20 Jahre Opensource - Check an unserem Institut

20 Jahre OpenSource … und ich habe bei meinem Arbeitgeber (Institut für Medizinische Lehre der Universität Bern; ca. 70 Mitarbeiter) einmal grob überflogen, was ich da so aus meiner bescheidenen Perspektive so sehe. Nachfolgende Liste entstand, OHNE dass ich in den Teams deren Tools erfragt habe. Gut möglich, dass eine vollständige Liste doppelt so lang würde: es fehlen Werkzeuge verschiedener Teams genau so wie Desktop-Applikationen (das ginge mit dem Firefox Webbrowser ja schon los).

Ich wage dennoch zu behaupten: ohne Opensource ginge an unserem Institut nicht mehr sehr viel.

Betriebssysteme
etwa 97% unserer über 100 Server verwenden ein Linux. Bei uns sind im Einsatz
* CentOS - https://www.centos.org/
* Debian - https://www.debian.org/
* Ubuntu - https://www.ubuntu.com/

Verschlüsselung
* Mit https verschlüsselte Webseiten und applikationsinterne Kommunikation verwendet OpenSSL - https://www.openssl.org/
* wir haben Wrapper um das Backup-Werkzeug Dupicity im Einsatz - http://duplicity.nongnu.org/
* unsere Server verschlüsseln lokal ihre Daten mit GnuPG https://gnupg.org/ -
* SecureShell (SSH) für den selektiven Zugriff auf unsere Server per Shell, Filezilla oder getunnelte Zugriffe auf Datenbanken - https://www.openssh.com/
* Mittels Shibboleth können sich Accounts fremder Provider bei uns einloggen - https://www.shibboleth.net/
* Stunnel - Verschlüsselte Verbindung bei unverschlüsselten Protokollen - https://www.stunnel.org/

Virtualisierung
* Unsere Virtualisierungsserver arbeiten mit KVM - https://www.linux-kvm.org/
* Als Verwaltungssoftware für virtuelle Server verwenden wir OpenNebula, welches mit EU Fördergeldern unterstützt wurde - https://opennebula.org/
* Der Festplatten Cluster wird mit Ceph betrieben - https://ceph.com/
* lokale Instanzen von Virtualbox - https://www.virtualbox.org/

Softwareverteilung
* Puppet - https://puppet.com/
* Foreman - https://theforeman.org/

Programmiersprachen, Computing
* Javascript/ NodeJS - https://nodejs.org/
* OpenCpu - https://www.opencpu.org/
* Perl - https://www.perl.org/
* PHP - http://php.net/
* Python - https://www.python.org/
* R - https://www.r-project.org
* Ruby - https://www.ruby-lang.org

In Projekten sind div. kostenfreie Frameworks im Einsatz, darunter
* AngularJS - https://angularjs.org/
* Apache FOP Project - https://xmlgraphics.apache.org/fop/
* Bootstrap - http://getbootstrap.com/
* Fatfree PHP Framework - https://fatfreeframework.com
* FontAwesome (Iconset) - https://fontawesome.com/
* jQuery https://jquery.com/
* PureCSS - https://purecss.io/
* Ruby On Rails - http://rubyonrails.org/
* Symphony PHP Framework - https://symfony.com/

Entwicklertools
* Apache Studio https://directory.apache.org/studio/
* Mysql Workbench https://www.mysql.com/products/workbench/
* DBeaver - https://dbeaver.jkiss.org/
* Git - https://git-scm.com/
* Netbeans IDE - https://netbeans.org/
* Xamarin - https://www.xamarin.com/

Datenbanken
* CouchDB - https://couchdb.apache.org/
* OpenLDAP - https://www.openldap.org/
* Elasticsearch - https://www.elastic.co/
* Myslq - https://www.mysql.com/
* MariaDB - https://mariadb.org/
* Postgres - https://www.postgresql.org/
* Resin - https://resin.io/
* SqLite - https://sqlite.org/

Webserver
* Apache Httpd - https://httpd.apache.org/
* Nginx - https://www.nginx.com/
* HA-Proxy - http://www.haproxy.org/

Logging/ Monitoring
* CollectD - https://collectd.org/
* Grafana - https://grafana.com/
* Graylog https://www.graylog.org/
* Monit - https://mmonit.com/monit/
* Munin - http://munin-monitoring.org/
* Nagios - https://www.nagios.org/
* Sensu - https://sensuapp.org/

webbasierte Werkzeuge
* Alchemy CMS - https://alchemy-cms.com/
* Concrete5 - https://www.concrete5.org/
* Dokuwiki - https://www.dokuwiki.org/
* GitLab - https://about.gitlab.com/
* Ilias - https://www.ilias.de/
* Umfragen Limesurvey - https://www.limesurvey.org/de
* Webstatistik Mattomo - https://matomo.org/
* OpenProject - https://www.openproject.org/
* Raumplanung https://mrbs.sourceforge.io/
* Wordpress - https://de.wordpress.com/

Datenablagen, Datenaustausch
* Samba - https://www.samba.org/
* Nextcloud - https://nextcloud.com/

Ergänzt werden diese Tools durch eigene Entwicklungen: diverse Werkzeuge schreiben wir zusätzlich selbst.

Artikel weiterempfehlen: Google + Facebook

Datenbank-Optimierung - mein Highlight der Woche

Bei meiner Arbeit an der Uni Bern war ein Grossteil der Zeit in die Optimierung von Datenbank-Zugriffen geflossen. Das betraf hauptsächlich ein System für ein Portal für Dozierende und Studierende mit Stundenplänen, Kurseinschreibungen, Feeds zu etlichen Themen und nach Studienjahr getrennt, Kalendersynchronisation von personalisierten Kalendern uvm. Jenes Portal ist uralt und wurde einmal mit PHP4 entwickelt und sollte abgelöst werden. Wurde es aber nicht, sondern es wurde vor vielen Jahren mühsam unter PHP5 lauffähig gemacht, aber der Code blieb noch immer zumeist prozedural, mit vielen Includes und gespickt mit allen erdenklichen Highlights an Programmiersünden, sei es Wartbarkeit, Caching/ Performance, SQL-Injection oder Verständnis von Algorithmen und Gestaltung von Datenbankabfragen. Seit dem ersten Ablösetermin sind nun 8..9 Jahre vergangen … aber Herbst 2019 wird es endlich(!!) abgelöst. Heisst aber: bis dahin muss es weiter am Leben erhalten werden.

Es wurden 5 Applikationsteile, die “am meisten weh tun” ausgemacht und jene optimiert. Letzten Dienstag wurde es eingespielt. Doch, es hat sich gelohnt - da ist so ein markanter Abfall:

2018-02-18-dbperformance-queries-by-week.png

Man könnte meinen: da ist was kaputt. Aber nein: es funktioniert genau gleich!!
Ich hoffe, ich kann euch mit diesem Praxis-Beispiel motivieren: macht einmal eine Performance-Analyse und schaut genauer auf die Top 3!

[Read More…]

Artikel weiterempfehlen: Google + Facebook

Magix Music Maker - keine Abspielanzeige und mehr

Quasi von einem Tag zum anderen mochte “meine” Musiksoftware nicht mehr so recht.

  1. Die senkrechte Linie zur Anzeige der Position beim Abspielen bewegte sich nicht mehr
  2. Die Zeit-Anzeige der Abspielposition verblieb immer auf “001:01:000”
  3. Öffnete man den Mixer während des Abspielens, war die Anzeige des Equalizers zur Amplitude der Ausgabekanäle tot
  4. Diverse Menüpunkte waren nicht mehr wählbar. Darunter alle Export-Funktionen (das ist dann schon eine erhebliche Einschränkung)
  5. das Userinterface war bei geladenen Songs extrem langsam.

2018-01-19-mmm-keine-abspielanzeige.png

Meine Setup-Binaries habe ich alle da - sowohl von der Software, als auch den Soundpools und Synthesizern.
Was ich alles versuchte, und NICHT half:

  1. Programmeinstellungen -> Audio: Treiber umstellen - funktionierte in keiner Kosntellation - egal ob Wave, DirektSound, ASIO, …
  2. Setup von MMM ausführen und “Reparieren”
  3. Setup von MMM ausführen und “Deinstallieren” - anschliessend erneut ausführen und komplett neu “installieren”

Lösung Teil 1:

Von Magix gibt es ein Uninistall Tool, das noch weitere Installationsreste findet.

  1. Setup von MMM ausführen und “Deinstallieren”
  2. MX Uninstaller herunterladen - ausführen - Es gab einen Registry Eintrag, den ich gelöscht habe. Achtung: nicht wahllos alles löschen, was das Cleanup-Werkzeug so hergibt: Soundpools und die erstellten Dateien will man ja nicht unbedingt wegwerfen.
  3. Reboot des Rechners (kann sein, dass es das nicht braucht, aber wenn man schon “ewig” frustriert daran herumschraubt…)
  4. Setup von MMM ausführen und “Installieren”
  5. Meine Soundpools waren noch da - die Setup von MMM Premium Synthesizer mussten nochmals installiert werden.

Jetzt ist “nur” noch der Punkt mit dem langsamen Userinterface. Das ist etwas subtil. Nach Programmstart ist alles normal flüssig schnell. Nach Laden eines meiner Songs schläft die GUI ein. Simple Dinge, wie eine Einzelspur stumm oder solo schalten braucht ca. 2 Sekunden. Aber halt nicht nur das: sobald auch nur irgendein Objekt-Synthesizer in irgendeiner Spur verwendet wird, werden sämtliche Aktionen inder UI langsam. Sei es einen Snthesizer zu öffnen oder den MIDI Editor oder Verschieben/ Anpassen von Blöcken in den Tracking-Spuren - kurz: gefühlt alles.

Das bin ich noch am Untersuchen.

Dieselben Songs in einer älteren Version geladen - dort ist die UI auch nach dem Laden unverändert. Es hängt zum einen definitiv an der MMM Version 2017. Alos zurück zur 2017er Version. Durch Entfernen einzelner Spuren in einem Song wurden die Verursacher ausgemacht: Sobald ein Objekt-Synthesizer in einer Spur ist, ist die Behandlung jener Spur extrem langsam. Das Verhalten ist allen Objekt-Synthesizern gemein - alle unter Instrumente -> Objekt-Synthesizer gelisteten habe ich durchprobiert.

2018-01-20-mmm-objektsynthesizer.jpg

Nochmal das Setup von MMM ausführen und “Reparieren” … bringt nichts.

Im Moment habe ich gerade noch keine weitere Idee. Hmmm :-(

weiterführende Links:

  1. magix.com - Download Magix-uninstaller-deinstallationsprogramm
Artikel weiterempfehlen: Google + Facebook