Docker (eBook)

Software entwickeln und deployen mit Containern

Adrian Mouat (Autor)

eBook Download: PDF

2016 | 1. Auflage
368 Seiten
dpunkt (Verlag)
978-3-96088-036-3 (ISBN)

Infos

Docker-Container bieten eine einfache, schnelle und robuste Möglichkeit, Software zu entwickeln, zu verteilen und laufen zu lassen - besonders in dynamischen und verteilten Umgebungen. Mit diesem praktischen Leitfaden lernen Sie, warum Container so wichtig sind, was durch den Einsatz von Docker möglich ist und wie Sie es in Ihren Entwicklungsprozess einbinden. Dieses Buch ist aktuell zu Docker 1.12 und ideal für Entwickler, Operations-Techniker und Administratoren - insbesondere, wenn Sie einen DevOps-Ansatz verfolgen. Es nimmt Sie mit auf eine Reise von den Grundlagen bis zum Ausführen Dutzender Container auf einem Multi-Host-System mit Networking und Scheduling. Im Verlauf des Buches erfahren Sie, welche Schritte zum Entwickeln, Testen und Bereitstellen einer Webanwendung mit Docker notwendig sind. • Beginnen Sie mit Docker, indem Sie eine einfache Webanwendung entwickeln und bereitstellen. • Nutzen Sie Techniken aus dem Continuous Deployment, um Ihre Anwendung mehrmals pro Tag in die Produktivumgebung zu bringen. • Lernen Sie Optionen und Techniken kennen, um mehrere Container gleichzeitig zu protokollieren und zu überwachen. • Befassen Sie sich mit dem Erkennen im Netzwerk und mit Services: Wie finden sich Container gegenseitig und wie verbinden Sie sie? • Orchestrieren und clustern Sie Container, um Load Balancing zu ermöglichen, Ihr System skalierbar zu machen sowie Failovers und Scheduling umzusetzen. • Sichern Sie Ihr System, indem Sie den Prinzipien der 'Defense in Depth' und dem Konzept der geringsten Rechte folgen. • Setzen Sie Container ein, um eine Microservices-Architektur aufzubauen.

Adrian Mouat ist Chief Scientist bei Container Solutions - einem europaweit vertretenen Serviceunternehmen, das sich auf Docker und Mesos spezialisiert hat. Zuvor war er Anwendungsberater bei EPCC, das zur University of Edinburgh gehört.

• Fachbuch-Jahres-Bestseller: Informatik 2017 — Platz 5
• Fachbuch-Bestseller: Informatik (Nr. 6/2017) — Platz 6

Inhalt

Geleitwort zur deutschen Übersetzung 7
Vorwort 9
Inhaltsverzeichnis 13
1 Was Container sind und warum man sie nutzt 21
1.1 Container versus VMs 22
1.2 Docker und Container 24
1.3 Eine Geschichte von Docker 27
1.4 Plugins und Plumbing 28
1.5 64-Bit-Linux 29
2 Installation 31
2.1 Docker auf Linux installieren 31
2.1.1 SELinux im Permissive Mode ausführen 32
2.1.2 Ohne sudo starten 33
2.2 Docker auf Mac OS oder Windows installieren 33
2.3 Ein schneller Check 35
3 Erste Schritte 37
3.1 Ihr erstes Image ausführen 37
3.2 Die grundlegenden Befehle 38
3.3 Images aus Dockerfiles erstellen 42
3.4 Mit Registries arbeiten 46
3.4.1 Private Repositories 47
3.5 Das offizielle Redis-Image verwenden 48
3.6 Zusammenfassung 52
4 Grundlagen von Docker 53
4.1 Die Architektur von Docker 53
4.1.1 Zugrunde liegende Technologien 54
4.1.2 Zugehörige Technologien 55
4.1.3 Docker Hosting 58
4.2 Wie Images gebaut werden 58
4.2.1 Der Build Context 59
4.2.2 Imageschichten 60
4.2.3 Caching 62
4.2.4 Basis-Images 63
4.2.5 Anweisungen im Dockerfile 65
4.3 Container mit der Außenwelt verbinden 69
4.4 Container verlinken 70
4.5 Daten mit Volumes und Datencontainern verwalten 71
4.5.1 Daten gemeinsam nutzen 74
4.5.2 Datencontainer 74
4.6 Häufig eingesetzte Docker-Befehle 76
4.6.1 Der Befehl run 77
4.6.2 Container verwalten 80
4.6.3 Docker-Info 82
4.6.4 Container-Info 83
4.6.5 Arbeit mit Images 84
4.6.6 Die Registry verwenden 87
4.7 Zusammenfassung 88
5 Docker in der Entwicklung einsetzen 91
5.1 Sag »Hallo Welt!« 91
5.2 Mit Compose automatisieren 101
5.2.1 Der Compose-Workflow 102
5.3 Zusammenfassung 104
6 Eine einfache Webanwendung erstellen 105
6.1 Eine einfache Webseite erstellen 106
6.2 Auf vorhandene Images zurückgreifen 108
6.3 Caching ergänzen 113
6.4 Microservices 116
6.5 Zusammenfassung 117
7 Bereitstellen von Images 119
7.1 Namensgebung für Images und Repositories 119
7.2 Der Docker Hub 120
7.3 Automatisierte Builds 122
7.4 Private Distribution 124
7.4.1 Eine eigene Registry betreiben 124
7.4.2 Kommerzielle Registries 131
7.5 Die Imagegröße verringern 132
7.6 Herkunft eines Image 134
7.7 Zusammenfassung 135
8 Continuous Integration und Testen mit Docker 137
8.1 identidock mit Unit-Tests versehen 137
8.2 Einen Jenkins-Container erstellen 142
8.2.1 Builds triggern 150
8.3 Das Image pushen 150
8.3.1 Sinnvolles Taggen 151
8.3.2 Staging und Produktion 153
8.3.3 Image Sprawl 153
8.3.4 Jenkins Slaves durch Docker betreiben 154
8.4 Backups für Jenkins 154
8.5 Gehostete CI-Lösungen 154
8.6 Testen und Microservices 155
8.6.1 Im Produktivumfeld testen 157
8.7 Zusammenfassung 157
9 Container deployen 159
9.1 Ressourcen mit Docker Machine aufsetzen 160
9.2 Einen Proxy verwenden 163
9.3 Ausführungsoptionen 169
9.3.1 Shell-Skripten 170
9.3.2 Einen Process Manager einsetzen (oder systemd, sie alle zu knechten) 172
9.3.3 Ein Tool zum Configuration Management einsetzen 175
9.4 Host-Konfiguration 179
9.4.1 Ein Betriebssystem wählen 179
9.4.2 Einen Storage-Treiber wählen 180
9.5 Spezialisierte Hosting-Möglichkeiten 183
9.5.1 Triton 183
9.5.2 Google Container Engine 185
9.5.3 Amazon EC2 Container Service 185
9.5.4 Giant Swarm 188
9.6 Persistente Daten und Produktivcontainer 190
9.7 Gemeinsame Geheimnisse 190
9.7.1 Geheimnisse im Image ablegen 190
9.7.2 Geheimnisse in Umgebungsvariablen übergeben 191
9.7.3 Geheimnisse in Volumes übergeben 192
9.7.4 Einen Key/Value-Store einsetzen 192
9.8 Vernetzen 194
9.9 Produktiv-Registry 194
9.10 Continuous Deployment/Delivery 194
9.11 Zusammenfassung 195
10 Protokollieren und Überwachen 197
10.1 Protokollieren 198
10.1.1 Standard-Logging von Docker 198
10.1.2 Logs zusammenfassen 200
10.1.3 Mit ELK loggen 200
10.1.4 Docker-Logging mit syslog 211
10.1.5 Logs aus Dateien auslesen 217
10.2 Überwachen und Benachrichtigen 217
10.2.1 Mit den Docker-Tools überwachen 218
10.2.2 cAdvisor 219
10.2.3 Cluster-Lösungen 221
10.3 Kommerzielle Monitoring- und Logging-Lösungen 224
10.4 Zusammenfassung 224
11 Vernetzung und Service Discovery 229
11.1 Ambassadors 230
11.2 Service Discovery 234
11.2.1 etcd 235
11.2.2 SkyDNS 239
11.2.3 Consul 244
11.2.4 Registrieren 249
11.2.5 Andere Lösungen 250
11.3 Networking-Optionen 252
11.3.1 Bridge 252
11.3.2 Host 253
11.3.3 Container 253
11.3.4 None 254
11.4 Neues Docker-Networking 254
11.4.1 Netzwerktypen und Plugins 256
11.5 Vernetzungslösungen 256
11.5.1 Overlay 257
11.5.2 Weave 259
11.5.3 Flannel 263
11.5.4 Project Calico 269
11.6 Zusammenfassung 274
12 Orchestrieren, Clustering und Verwaltung 277
12.1 Clustering- und Orchestrierungstools 278
12.1.1 Swarm 279
12.1.2 fleet 286
12.1.3 Kubernetes 292
12.1.4 Mesos und Marathon 301
12.2 Container-Management-Plattformen 312
12.2.1 Rancher 313
12.2.2 Clocker 314
12.2.3 Tutum 316
12.3 Zusammenfassung 317
13 Container sichern und beschränken 319
13.1 Worüber Sie sich Gedanken machen sollten 320
13.2 Verteidigung in der Tiefe 322
13.2.1 Least Privilege 322
13.3 identidock absichern 323
13.4 Container nach Host trennen 325
13.5 Updates anwenden 326
13.5.1 Nicht unterstützte Treiber vermeiden 330
13.6 Imageherkunft 330
13.6.1 Docker Digests 331
13.6.2 Docker Content Trust 331
13.6.3 Reproduzierbare und vertrauenswürdige Dockerfiles 336
13.7 Sicherheitstipps 338
13.7.1 Einen Benutzer setzen 339
13.7.2 Netzwerkzugriffe von Containern beschränken 340
13.7.3 setuid/setgid-Binaries entfernen 342
13.7.4 Den Speicher begrenzen 343
13.7.5 Den CPU-Einsatz beschränken 344
13.7.6 Neustarts begrenzen 345
13.7.7 Zugriffe auf die Dateisysteme begrenzen 346
13.7.8 Capabilities einschränken 346
13.7.9 Ressourcenbeschränkungen (ulimits) anwenden 348
13.8 Einen gehärteten Kernel ausführen 350
13.9 Linux Security Modules 351
13.9.1 SELinux 351
13.9.2 AppArmor 354
13.10 Auditing 355
13.11 Reaktion auf Zwischenfälle 356
13.12 Zukünftige Features 357
13.13 Zusammenfassung 357
Index 359
www.dpunkt,de 0

Textauszug

1 Was Container sind und warum man sie nutzt

Container ändern die Art und Weise, wie wir Software entwickeln, verteilen und laufen lassen, grundlegend. Entwickler können Software lokal bauen, weil sie wissen, dass sie auch woanders genauso laufen wird – sei es ein Rack in der ITAbteilung, der Laptop eines Anwenders oder ein Cluster in der Cloud. Administratoren können sich auf die Netzwerke, Ressourcen und die Uptime konzentrieren und müssen weniger Zeit mit dem Konfigurieren von Umgebungen und dem Kampf mit Systemabhängigkeiten verbringen. Der Einsatz von Containern wächst in der gesamten Branche mit einer erstaunlichen Geschwindigkeit – von den kleinsten Startups bis hin zu großen Unternehmen. Entwickler und Administratoren sollten davon ausgehen, dass sie innerhalb der nächsten Jahre Container regelmäßig einsetzen werden.

Container sind eine Verkapselung einer Anwendung und ihrer Abhängigkeiten. Auf den ersten Blick scheint das nur eine abgespeckte Version einer virtuellen Maschine (VM) zu sein – wie eine VM findet sich in einem Container eine isolierte Instanz eines Betriebssystems (Operating System, OS), mit dem wir Anwendungen laufen lassen können.

Container haben aber eine Reihe von Vorteilen, durch die Anwendungsfälle möglich werden, welche mit klassischen VMs schwierig oder unmöglich zu realisieren wären:

• Container teilen sich Ressourcen mit dem Host-Betriebssystem, wodurch sie um eine wesentliche Größenordnung effizienter sind als virtuelle Maschinen. Container können im Bruchteil einer Sekunde gestartet und gestoppt werden. Anwendungen, die in Containern laufen, verursachen wenig bis gar keinen Overhead im Vergleich zu Anwendungen, die direkt auf dem Host-Betriebs-system gestartet werden.

• Die Portierbarkeit von Containern besitzt das Potenzial, eine ganze Klasse von Bugs auszumerzen, die durch subtile Änderungen in der Laufzeitumgebung entstehen – sie könnte sogar die seit Anbeginn der Softwareentwicklung bestehende Litanei der Entwickler »Aber bei mir auf dem Rechner lief es doch!« beenden.

• Die leichtgewichtige Natur von Containern sorgt dafür, dass Entwickler dutzende davon zur gleichen Zeit laufen lassen können, wodurch das Emulieren eines produktiv nutzbaren, verteilten Systems möglich wird. Administratoren können viel mehr Container auf einer einzelnen Host-Maschine laufen lassen, als dies mit VMs möglich wäre.

• Container haben zudem Vorteile für Endanwender und Entwickler außerhalb des Bereitstellens in der Cloud. Benutzer können komplexe Anwendungen herunterladen und laufen lassen, ohne sich Stunden mit Konfiguration und Installation herumzuschlagen oder über die Änderungen Sorgen machen zu müssen, die am System notwendig wären. Umgekehrt brauchen sich die Entwickler solcher Anwendungen nicht mehr um solche Unterschiede in den Benutzerumgebungen und um eventuelle Abhängigkeiten Gedanken machen.

Wichtiger ist noch, dass sich die grundlegenden Ziele von VMs und Containern unterscheiden – eine VM ist dafür gedacht, eine fremde Umgebung vollständig zu emulieren, während ein Container Anwendungen portabel und in sich abgeschlossen macht.

1.1 Container versus VMs

Obwohl Container und VMs auf den ersten Blick sehr ähnlich wirken, gibt es einige wichtige Unterschiede, die sich am einfachsten über ein Schaubild aufzeigen lassen.

Abb. 1–1 Drei VMs laufen auf einem Host.

In Abbildung 1–1 sind drei Anwendungen zu sehen, die auf einem Host in getrennten VMs laufen. Der Hypervisor1 wird dazu benötigt, VMs zu erstellen und laufen zu lassen, den Zugriff auf das zugrunde liegende Betriebssystem und die Hardware zu steuern und bei Bedarf Systemaufrufe umzusetzen. Jede VM erfordert eine vollständige Kopie des Betriebssystems für sich, dazu die gewünschte Anwendung und alle Bibliotheken, die dafür notwendig sind.

Abb. 1–2 Drei Container laufen auf einem Host.

Im Gegensatz dazu sehen Sie in Abbildung 1–2, wie die gleichen drei Anwendungen in einem containerisierten System laufen könnten. Anders als bei VMs wird der Kernel des Host2 von den laufenden Containern gemeinsam genutzt. Sie sind also immer darauf beschränkt, den gleichen Kernel zu nutzen wie der Host. Die Anwendungen Y und Z verwenden die gleichen Bibliotheken, und sie müssen dafür keine identischen Kopien davon haben, sondern können auf die gleichen Dateien zugreifen. Die Container Engine ist für das Starten und Stoppen von Containern genauso verantwortlich wie der Hypervisor bei einer VM. Aber Prozesse, die innerhalb von Containern laufen, entsprechen nativen Prozessen auf dem Host, und es kommt kein Overhead durch die Ausführung des Hypervisors hinzu.

Sowohl VMs wie auch Container können genutzt werden, um Anwendungen von anderen Anwendungen zu isolieren, die auf dem gleichen Host laufen. VMs haben durch den Hypervisor eine weitgehendere Isolation, und es handelt sich bei ihnen um eine vertraute und durch Erfahrung gehärtete Technologie. Container sind verglichen damit recht neu, und viele Firmen scheuen sich, den Isolations-Features von Containern zu trauen, bevor diese ihr Können gezeigt haben. Aus diesem Grund findet man häufig Hybridsysteme mit Containern, die innerhalb von VMs laufen, um die Vorteile beider Technologien vereinen zu können.

1.2 Docker und Container

Container sind ein altes Konzept. Schon seit Jahrzehnten gibt es in UNIX-Systemen den Befehl chroot, der eine einfache Form der Dateisystem-Isolation bietet. Seit 1998 gibt es in FreeBSD das Jail-Tool, welches das chroot-Sandboxing auf Prozesse erweitert. Solaris Zones boten 2001 eine recht vollständige Technologie zum Containerisieren, aber diese war auf Solaris OS beschränkt. Ebenfalls 2001 veröffentlichte Parallels Inc. (damals noch SWsoft) die kommerzielle Container-technologie Virtuozzo für Linux, deren Kern später (im Jahr 2005) als Open Source unter dem Namen OpenVZ bereitgestellt wurde.3 Dann startete Google die Entwicklung von CGroups für den Linux-Kernel und begann damit, seine Infrastruktur in Container zu verlagern. Das Linux Containers Project (LXC) wurde 2008 initiiert, und in ihm wurden (unter anderem) CGroups, Kernel-Namensräume und die chroot-Technologie zusammengeführt, um eine vollständige Containerisierungslösung zu bieten. 2013 lieferte Docker schließlich die fehlenden Teile für das Containerisierungspuzzle, und die Technologie begann, den Mainstream zu erreichen.

Docker nahm die bestehende Linux-Containertechnologie auf und verpackte und erweiterte sie in vielerlei Hinsicht – vor allem durch portable Images und eine benutzerfreundliche Schnittstelle –, um eine vollständige Lösung für das Erstellen und Verteilen von Containern zu schaffen. Die Docker-Plattform besteht vereinfacht gesagt aus zwei getrennten Komponenten: der Docker Engine, die für das Erstellen und Ausführen von Containern verantwortlich ist, sowie dem Docker Hub, einem Cloud Service, um Container-Images zu verteilen.

Die Docker Engine bietet eine schnelle und bequeme Schnittstelle für das Ausführen von Containern. Zuvor waren für das Laufenlassen eines Containers mit einer Technologie wie LXC umfangreiches Wissen und viel manuelle Arbeit nötig. Auf dem Docker Hub finden sich unglaublich viele frei verfügbare Container-Images zum Herunterladen, so dass Anwender schnell loslegen können und es vermeiden, Arbeit doppelt zu erledigen, die andere schon gemacht hatten. Zu weiteren Tools, die von Docker entwickelt wurden, gehören der Clustering Manager Swarm, die GUI Kitematic für die Arbeit mit Containern und das Befehlszeilentool Machine für die Erzeugung von Docker Hosts.

Durch das Bereitstellen der Docker Engine als Open Source konnte Docker eine große Community aufbauen und auf deren Hilfe bei Bugfixes und Verbesserungen zählen. Das massive Wachstum von Docker hat dazu geführt, dass es ein De-facto-Standard wurde, und das wiederum sorgte für Druck aus der Branche, einen unabhängigen, formalen Standard für die Runtime und das Format der Container zu entwickeln. 2015 schließlich wurde dafür die Open Container Initiative4 gegründet – eine Initiative, die von Docker, Microsoft, CoreOS und vielen weiteren wichtigen Gruppen und Firmen unterstützt wird. Ihre Mission ist das Entwickeln solch eines Standards. Das Containerformat und die Runtime von Docker dienen dabei als Ausgangsbasis Seit der Version 1.11 basiert die Docker Engine auf dem RunC-Kern, der eine Implementierung des Open-Container-Standards ist.

Die wachsende Verbreitung von Containern geht vor allem auf Entwickler zurück, die nun erstmals Tools zur Verfügung hatten, um Container effektiv zu nutzen. Die kurze Startzeit von Docker-Containern hat für die Entwickler einen hohen Stellenwert, weil sie natürlich schnelle und iterative Entwicklungszyklen bevorzugen, in denen sie die Ergebnisse von Codeänderungen möglichst direkt sehen können. Die Portierbarkeits- und Isolationsgarantien von Containern vereinfachen die Zusammenarbeit mit anderen Entwicklern und Administratoren: Entwickler können sicher sein, dass ihr Code in allen Umgebungen laufen wird, während sich die Administratoren auf das Hosten und Orchestrieren von Containern konzentrieren können, statt sich mit dem Code herumschlagen, der darin läuft.

Die Änderungen, die Docker angestoßen hat, sorgen für eine deutlich unterschiedliche Art und Weise, wie...

Produkt-Details

• Erscheint lt. Verlag: 30.9.2016
• Übersetzer: Thomas Demmig
• Verlagsort: Heidelberg
• Sprache: deutsch
• Themenwelt: Mathematik / Informatik ► Informatik
• Schlagworte: compose • Container • Continuous Delivery • Continuous Integration • Deployment • DevOps • Jenkins • Kubernetes • Microservices • Redis • swarm • Virtual machines • VM
• ISBN-10: 3-96088-036-7 / 3960880367
• ISBN-13: 978-3-96088-036-3 / 9783960880363