全くの0からDockerを学んでAWSにデータサイエンス可能なコンテナを立てる

echo $SHELL

# 実行結果
/bin/bash

export AGE=20
echo $AGE

# 実行結果
20

docker login

docker pull hello-world

docker images

docker run hello-world

docker ps # これはアクティブなコンテナだけ表示するのでdocker runの後にすぐ終了するコンテナのため実行しても何も表示されない。
docker ps -a #オプションを付けて全てのコンテナを確認することができる。

# 実行結果
CONTAINER ID   IMAGE         COMMAND    CREATED          STATUS                      PORTS     NAMES
17180e0cffc8   hello-world   "/hello"   53 seconds ago   Exited (0) 52 seconds ago             tender_archimedes

docker run -it ubuntu bash

exit

docker restart dockerのIDを指定する。

docker exec -it dockerID bash

docker attach dockerID

docker commit 更新したいdockerID dockerName:tag

docker tag ubuntu:updated dockerHubId/practice

docker images

# 実行結果
REPOSITORY             TAG       IMAGE ID       CREATED             SIZE
ubuntu                 updated   c2309bbe5266   About an hour ago   72.7MB
wimpykid719/practice   latest    c2309bbe5266   About an hour ago   72.7MB
ubuntu                 latest    9873176a8ff5   3 weeks ago         72.7MB
hello-world            latest    d1165f221234   4 months ago        13.3kB

docker push イメージ名（自分の場合はwimpykid719/practice）

docker rmi イメージ名

docker pull wimpykid719/practice:latest

docker create イメージ名

# 実行結果
b28a66c32ab16c5a7837df2402b9bae0f9de62aad7ac247ed7bba0286125b8d8

docker ps -a

# 実行結果
CONTAINER ID   IMAGE                  COMMAND    CREATED          STATUS                       PORTS     NAMES
b28a66c32ab1   hello-world            "/hello"   28 seconds ago   Created                                thirsty_chatelet
a7b5f9fffb7b   hello-world            "/hello"   2 minutes ago    Exited (0) 2 minutes ago               inspiring_shannon
a21104a79b6d   wimpykid719/practice   "bash"     3 hours ago      Exited (127) 2 minutes ago             angry_feistel
cdc77a94ae22   ubuntu                 "bash"     17 hours ago     Up 15 hours                            cool_ganguly
17180e0cffc8   hello-world            "/hello"   18 hours ago     Exited (0) 18 hours ago                tender_archimedes

docker start b28a66c32ab1 # コンテナ名またはコンテナを指定する。

# 実行結果
b28a66c32ab1 コンテナIDが返る。

docker start -a コンテナID

docker run -it hello-world bash（ここに上書きしたいコマンドを記述する）

docker run ubuntu

docker run -t ubuntu

# ubuntuに入った画面になるけどコマンドを入力しても何も起きない

docker run -i ubuntu
# コマンド入力
ls

# 出力結果
bin
boot
dev
etc
home
lib
lib32
lib64
libx32
media
mnt
opt
proc
root
run
sbin
srv
sys
tmp
usr
var

docker rm コンテナIDまたはコンテナ名

docker system prune

docker run -it ubuntu bash
touch test1

docker run -it ubuntu bash
touch test2

docker run --name sample_container ubuntu

docker run -it -d ubuntu bash

# 実行後ターミナルに戻るコンテナは起動したまま

docker run --rm hello-world （イメージ名）

FROM ubuntu:latest
# コンテナ作成後に実行されるコマンド
RUN touch test

docker build .

docker build -t new-ubuntu:latest .
docker run -it new-ubuntu bash

CMD ["コマンド", "コマンドの引数1", "コマンドの引数2"]

apt-get update #古いパッケージをインストールしないように最新にしておく。
apt-get install <package>

FROM ubuntu:latest
RUN apt-get update
RUN apt-get install xxx
RUN apt-get install xxx
RUN apt-get install xxx
RUN apt-get install xxx

FROM ubuntu:latest
RUN apt-get update && apt-get install \
xxx \
yyy \
zzz \

FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
  curl \
  nginx

FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
  curl \
  nginx
RUN apt-get install -y \
  cvs

FROM ubuntu:latest
RUN mkdir /new_dir
COPY sample.txt /new_dir/

docker -f ../Dockerfile.dev build .

FROM ubuntu:latest
RUN touch test
ENTRYPOINT ["ls"]
CMD ["--help"]

FROM ubuntu:latest
ENV key1 value
ENV key2=value
ENV key3="v a l u e" key4=v\ a\ u\ e
ENV key5 v a l u e

# 実行したコンテナのbashでenvと入力すると設定された環境変数が表示される
key4=v a u e
key5=v a l u e
key2=value
key3=v a l u e
key1=value

FROM ubuntu:latest
RUN mkdir sample_folder
WORKDIR /sample_folder
RUN touch sample_file

FROM ubuntu:latest
WORKDIR /sample_folder
RUN touch sample_file

docker run -it -v ~/Desktop/mounted_folder:/new_dir new-ubuntu2:latest bash 

id -u
# 実行結果
501

id -g
# 実行結果
20

FROM ubuntu:latest
RUN mkdir created_in_Dockerfile

docker build -t new-ubuntu2:latest .

docker run -it -u $(id -u):$(id -g) -v ~/Desktop/mounted_folder:/created_in_run new-ubuntu2 bash

# 実行結果
I have no name!@adadc9522b1f:/$

ls -la

# 実行結果
drwxr-xr-x   1 root root    4096 Jul 12 04:25 .
drwxr-xr-x   1 root root    4096 Jul 12 04:25 ..
-rwxr-xr-x   1 root root       0 Jul 12 04:25 .dockerenv
lrwxrwxrwx   1 root root       7 Jun  9 07:27 bin -> usr/bin
drwxr-xr-x   2 root root    4096 Apr 15  2020 boot
drwxr-xr-x   2 root root    4096 Jul 12 02:21 created_in_Dockerfile
drwxr-xr-x   3  501 dialout   96 Jul 12 01:57 created_in_run
drwxr-xr-x   5 root root     360 Jul 12 04:25 dev
drwxr-xr-x   1 root root    4096 Jul 12 04:25 etc
drwxr-xr-x   2 root root    4096 Apr 15  2020 home
lrwxrwxrwx   1 root root       7 Jun  9 07:27 lib -> usr/lib
lrwxrwxrwx   1 root root       9 Jun  9 07:27 lib32 -> usr/lib32
lrwxrwxrwx   1 root root       9 Jun  9 07:27 lib64 -> usr/lib64
lrwxrwxrwx   1 root root      10 Jun  9 07:27 libx32 -> usr/libx32
drwxr-xr-x   2 root root    4096 Jun  9 07:27 media
drwxr-xr-x   2 root root    4096 Jun  9 07:27 mnt
drwxr-xr-x   2 root root    4096 Jun  9 07:27 opt
dr-xr-xr-x 167 root root       0 Jul 12 04:25 proc
drwx------   2 root root    4096 Jun  9 07:31 root
drwxr-xr-x   5 root root    4096 Jun  9 07:31 run
lrwxrwxrwx   1 root root       8 Jun  9 07:27 sbin -> usr/sbin
drwxr-xr-x   2 root root    4096 Jun  9 07:27 srv
dr-xr-xr-x  13 root root       0 Jul 12 04:25 sys
drwxrwxrwt   2 root root    4096 Jun  9 07:31 tmp
drwxr-xr-x  13 root root    4096 Jun  9 07:27 usr
drwxr-xr-x  11 root root    4096 Jun  9 07:31 var

d rwx rwx rwx
  所有者 所有グループ その他

drwxr-xr-x   2 root root    4096 Jul 12 02:21 created_in_Dockerfile

docker run -it -p 8888:8888 --rm jupyter/datascience-notebook bash

# 実行結果
Unable to find image 'jupyter/datascience-notebook:latest' locally
latest: Pulling from jupyter/datascience-notebook
c549ccf8d472: Already exists 
6c65c50510f3: Pull complete 
a89eb75169a1: Pull complete 
4f4fb700ef54: Pull complete 
c18636dc46c6: Pull complete 
4f71d15c3a44: Pull complete 
7c5f5d979663: Pull complete 
a63f5c102e3f: Pull complete 
ec8b60697d02: Pull complete 
4ef8cbbd0ce3: Pull complete 
4e24d4e20fa9: Pull complete 
e888fd7dc15b: Pull complete 
014b3810d91b: Pull complete 
fd1d80db8223: Pull complete 
fb0bd36a1363: Pull complete 
08ea6858b237: Extracting [==================================================>]  244.1MB/244.1MB
6cfa3aad7e9a: Download complete 
487a0a7d48a3: Download complete 
b96652c05056: Download complete 
3475806cdab0: Download complete 
412bb6bca7e9: Download complete 
ca97efa92216: Download complete 
5c77367376d7: Download complete 
docker: failed to register layer: Error processing tar file(exit status 1): archive/tar: invalid tar header.
See 'docker run --help'.

docker images

# 実行結果
ubuntu                         updated   c2309bbe5266   3 days ago    72.7MB
wimpykid719/practice           latest    c2309bbe5266   3 days ago    72.7MB
jupyter/datascience-notebook   latest    19a4681e1ba3   3 days ago    3.99GB
ubuntu                         latest    9873176a8ff5   3 weeks ago   72.7MB

sysctl -n hw.physicalcpu_max

# 実行結果
2

sysctl -n hw.logicalcpu_max

# 実行結果
4

sysctl -n hw.memsize

# 実行結果 バイト数を表示する。
17179869184

#      B          KB    MB   GB
# 17179869184 / (1024*1024*1024)すると16となり16GB積んでるのが分かる。

docker run -it --rm --cpus 1 --memory 2g ubuntu bash

docker inspect コンテナID

# 実行結果
Jsonファイルみたいなのがたくさん表示される。

docker inspect コンテナID | grep -i cpu

# 実行結果
"CpuShares": 0,
"NanoCpus": 1000000000,
"CpuPeriod": 0,
"CpuQuota": 0,
"CpuRealtimePeriod": 0,
"CpuRealtimeRuntime": 0,
"CpusetCpus": "",
"CpusetMems": "",
"CpuCount": 0,
"CpuPercent": 0,

docker inspect コンテナID | grep -i memory

# 実行結果
"Memory": 2147483648,
"KernelMemory": 0,
"KernelMemoryTCP": 0,
"MemoryReservation": 0,
"MemorySwap": 4294967296,
"MemorySwappiness": null,

FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
  sudo \
  wget \
  vim

WORKDIR /opt
RUN wget https://repo.continuum.io/archive/Anaconda3-2021.05-Linux-x86_64.sh

docker run -it イメージID bash

sh Anaconda3 ダウンロードされたファイル.sh

echo $PATH

# 実行結果
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

export PATH=/opt/anaconda3/bin:$PATH

echo $PATH

# 実行結果 PATHが追加された事が確認できる。
/opt/anaconda3/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

sh -x Anaconda3-2021.05-Linux-x86_64.sh

# 実行結果
+ export OLD_LD_LIBRARY_PATH=
+ unset LD_LIBRARY_PATH
+ echo Anaconda3-2021.05-Linux-x86_64.sh
+ grep \.sh$
+ [ -n  ]
+ uname
+ [ Linux = Darwin ]
+ [ -d /proc ]
+ [ -r /proc ]
+ [ -d /proc/77 ]
+ [ -r /proc/77 ]
+ [ -L /proc/77/exe ]
+ [ -r /proc/77/exe ]
+ readlink /proc/77/exe
+ RUNNING_SHELL=/usr/bin/dash
+ [ -z /usr/bin/dash ]
+ [ ! -f /usr/bin/dash ]
+ [ -z /usr/bin/dash ]
+ [ ! -f /usr/bin/dash ]
+ [ -z /usr/bin/dash ]
+ [ ! -f /usr/bin/dash ]
+ dirname Anaconda3-2021.05-Linux-x86_64.sh
+ DIRNAME=.
+ cd .
+ pwd
+ THIS_DIR=/opt
+ basename Anaconda3-2021.05-Linux-x86_64.sh
+ THIS_FILE=Anaconda3-2021.05-Linux-x86_64.sh
+ THIS_PATH=/opt/Anaconda3-2021.05-Linux-x86_64.sh
+ PREFIX=/root/anaconda3
+ BATCH=0
+ FORCE=0
+ SKIP_SCRIPTS=0
+ TEST=0
+ REINSTALL=0
+ USAGE=
usage: Anaconda3-2021.05-Linux-x86_64.sh [options]

Installs Anaconda3 2021.05

-b           run install in batch mode (without manual intervention),
             it is expected the license terms are agreed upon
-f           no error if install prefix already exists
-h           print this help message and exit
-p PREFIX    install prefix, defaults to /root/anaconda3, must not contain spaces.
-s           skip running pre/post-link/install scripts
-u           update an existing installation
-t           run package tests after installation (may install conda-build)

+ which getopt
+ getopt bfhp:sut 
+ OPTS= -- 
+ [ ! 0 ]
+ eval set --  -- 
+ set -- --
+ true
+ shift
+ break
+ [ 0 = 0 ]
+ uname -m
+ [ x86_64 != x86_64 ]
+ uname
+ [ Linux != Linux ]
+ printf \n

+ printf Welcome to Anaconda3 2021.05\n
Welcome to Anaconda3 2021.05
+ printf \n

+ printf In order to continue the installation process, please review the license\n
In order to continue the installation process, please review the license
+ printf agreement.\n
agreement.
+ printf Please, press ENTER to continue\n
Please, press ENTER to continue
+ printf >>> 
>>> + read -r dummy

FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
  sudo \
  wget \
  vim

WORKDIR /opt
RUN wget https://repo.continuum.io/archive/Anaconda3-2021.05-Linux-x86_64.sh && \
  sh Anaconda3-2021.05-Linux-x86_64.sh -b -p /opt/anaconda3 && \
  rm -f Anaconda3-2021.05-Linux-x86_64.sh
  
ENV PATH /opt/anaconda3/bin:$PATH

RUN pip install --upgrade pip

WORKDIR /
CMD ["jupyter", "lab", "--ip=0.0.0.0", "--allow-root", "--LabApp.token=''"]

docker run -p 8888:8888 -v ~/Desktop/docker_for_dsenv/ds_python/:/work --name my-lab 909c224ca062

chmod 777 fileパス

#     所有者、所有グループ、その他

chmod 400 mydocker.pem
ls -la | grep -i docker.pem

# 実行結果
-r--------@  1 username  staff     1700  7 13 16:36 mydocker.pem

ssh -i mydocker.pem ubuntu@DNSのアドレス

sudo apt-get update

sudo apt-get install docker.io

sudo docker --version

# 実行結果
Docker version 20.10.2, build 20.10.2-0ubuntu1~20.04.2

sudo gpasswd -a ubuntu docker

cat /etc/group | grep -i docker

# 実行結果
docker:x:119:ubuntu

読み方としては グループ名：シャドウパスワード：グループID(GID)：所属するユーザ

FROM alpine
RUN touch test

docker save イメージID > ファイル名.tar

sftp -i mydocker.pem ubuntu@DNSアドレス

put temp_docker/myimage.tar

get 取得したいファイル名

docker load < myimage.tar

docker images

# 実行結果
REPOSITORY   TAG       IMAGE ID       CREATED             SIZE
<none>       <none>    1c4791a4d285   About an hour ago   5.6MB

docker run -it  1c4791a4d285 sh

lsblk

# 実行結果
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0 33.3M  1 loop /snap/amazon-ssm-agent/3552
loop1     7:1    0 55.5M  1 loop /snap/core18/1997
loop2     7:2    0 55.5M  1 loop /snap/core18/2074
loop3     7:3    0 70.4M  1 loop /snap/lxd/19647
loop4     7:4    0 67.6M  1 loop /snap/lxd/20326
loop5     7:5    0 32.3M  1 loop /snap/snapd/11588
loop6     7:6    0 32.3M  1 loop /snap/snapd/12398
xvda    202:0    0   20G  0 disk 
└─xvda1 202:1    0    8G  0 part /

sudo growpart /dev/xvda 1
lsblk

# 実行結果
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0 33.3M  1 loop /snap/amazon-ssm-agent/3552
loop1     7:1    0 55.5M  1 loop /snap/core18/1997
loop2     7:2    0 55.5M  1 loop /snap/core18/2074
loop3     7:3    0 70.4M  1 loop /snap/lxd/19647
loop4     7:4    0 67.6M  1 loop /snap/lxd/20326
loop5     7:5    0 32.3M  1 loop /snap/snapd/11588
loop6     7:6    0 32.3M  1 loop /snap/snapd/12398
xvda    202:0    0   20G  0 disk 
└─xvda1 202:1    0   20G  0 part /

docker run -v ~:/work -p 8888:8888 d0ce8fe5aaa0

sudo adduser --uid 1111 aaa

sudo adduser --uid 2222 bbb

cd /home
ls

# 実行結果
aaa  bbb  ubuntu

# 1111ユーザでログインする。コンテナにはaaaホームディレクトリとbbbホームディレクトリをマウントする。
docker run -u 1111 -v /home/aaa:/home/aaa -v /home/bbb:/home/bbb -it ubuntu bash

id -u

# 実行結果
1111
# 1111で権限を持っているのがわかる。

# この状態で
cd /home/bbb

touch sample

# 実行結果 権限がないので拒否される。
touch: cannot touch 'sample': Permission denied

cd ../
ls -la

# 実行結果

drwxr-xr-x 1 root root 4096 Jul 14 06:34 .
drwxr-xr-x 1 root root 4096 Jul 14 06:34 ..
drwxr-xr-x 2 1111 1111 4096 Jul 14 06:20 aaa
drwxr-xr-x 2 2222 2222 4096 Jul 14 06:21 bbb