Stawiamy własny serwer

PermitRootLogin yes

PermitRootLogin no

sudo service ssh restart

Konfiguracja DNS to nadanie naszemu serwerowi konkretnej nazwy (na razie mamy tylko IP) i umożliwienie dotarcia do serwera w Internecie poprzez nazwę, a nie numerek. W panelu domeny wskazujemy adres IP naszego serwera, a firma rejestrująca domeny zapewni nam, że ktoś wpisując nasza.domena na przykład w przeglądarce trafi na odpowiedni serwer. A co będzie pod tym numerkiem to już nasza sprawa. Ta cześć konfiguracji zależy od konkretnego dostawcy domeny. Robimy to dla każdej subdomeny, wszystkie kierujemy na jeden adres – rozdzieleniem ruchu zajmiemy się po swojej stronie. W dużym uproszczeniu:

• w rekord typu A wpisujemy nasz IP
• w rekordy typu CNAME wpisujemy z jednej strony subdomenę, a z drugiej – domenę (czyli np. rstudio i nasza.domena)
• w rekordy typy MX rzeczy związane z pocztą, ale można też (NameSilo to umożliwia) przekierować pocztę na poziomie DNSów, bez budowania serwera pocztowego

Wydelegowanie domeny na adres IP może trochę potrwać, więc nie przejmuj się jeśli kolejne kroki nie będą działać od razu. W NameSilo było to… kilkanaście minut (kiedyś to i dwa dni się czekało).

Możemy zmienić też nazwę hosta, czyli to pod jaką nazwą system widzi sam siebie. Wystarczy edycja pliku.

sudo nano /etc/hostname

 
Wpisana tam nazwa serwera nie powinna zawierać kropki – najlepiej niech będą to same literki i ewentualnie cyferki. Aby zmiany odniosły skutek resetujemy usługę hostname:

sudo /etc/init.d/hostname.sh start

 
Serwer www - konfiguracja

sudo apt-get install nginx

sudo apt-get install mysql-server

To trochę większa rzecz, potrwa więc dłużej. Po drodze zostaniemy poproszeni na przykład o hasło roota dla bazy danych. Zapisz je sobie, bo zapomnisz... będzie problem. Ogólnie wszystkie hasła sobie zapisuj i niech każde będzie inne, mocno skomplikowane (z 15 znaków, duże i małe litery, cyfry i znaki specjalne).

Ostatni krok to PHP, w którym napisana jest duża cześć stron. Nginx nie posiada wewnętrznego procesora PHP, trzeba więc zainstalować php-fpm. Przy okazji zainstalujemy dodatkowy pakiet dla PHP do komunikacji z MySQL oraz kilka innych przydatnych bibliotek.

sudo apt-get install php-fpm php-mysql php-curl php-gd php-mbstring php-mcrypt php-xml php-xmlrpc

 
Instalacja była prosta. Z konfiguracją jest trochę więcej pracy. Przede wszystkim musimy skonfigurować PHP. W pliku /etc/php/7.0/fpm/php.ini potrzebujemy ustawić parametr cgi.fix_pathinfo na 0, co z poziomu konsoli robimy:

sudo nano /etc/php/7.0/fpm/php.ini

 
i znajdujemy odpowiednią linię w edytorze (będzie zakomentować średnikiem i z wartością ustawioną na 1), a później zapisujemy plik. Po poprawce resetujemy serwer PHP:

sudo s systemctl restart php7.0-fpm

  
Teraz jeszcze musimy powiedzieć serwerowi WWW (nasz Nginx), co ma robić z plikami *.php. Najważniejsza część pliku /etc/nginx/sites-available/default (po usunięciu komentarzy) wygląda tak:

server {
    listen 80 default_server;
    listen [::]:80 default_server;
 
    root /var/www/html;
    index index.html index.htm index.nginx-debian.html;
 
    server_name _;
 
    location / {
        try_files $uri $uri/ =404;
    }
}

server {
    listen 80 default_server;
    listen [::]:80 default_server;
 
    root /var/www/html;
    index index.php< index.html index.htm;
 
    server_name _;
    
    location / {
        try_files $uri $uri/ =404;
    }
 
    location ~ \.php$ {
        include snippets/fastcgi-php.conf;
        fastcgi_pass unix:/run/php/php7.0-fpm.sock;
    }
 
    location ~ /\.ht {
        deny all;
    }
}

sudo s systemctl reload nginx

<?php
   phpinfo();
?>

sudo rm /var/www/html/info.php

R, RStudio i Shiny

Czas na najbardziej oczekiwany kawałek – przygotowanie środowiska do programowania w R razem z Shiny.

Instalujemy R

Postępujemy zgodnie z instrukcją na CRANie:

•  generujemy klucz szlifujący

sudo apt-key adv –keyserver keyserver.ubuntu.com –recv-keys E084DAB9
gpg -a --export E084DAB9 | sudo apt-key add -

sudo s add-apt-repository 'deb https://cloud.r-project.org/bin/linux/ubuntu xenial/'

 
Jeśli dostaniemy informację, że to polecenie nie jest znane, trzeba doinstalować mały pakiecik:

sudo apt-get install software-properties-common

 
i powtórzyć:

sudo add-apt-repository 'deb https://cloud.r-project.org/bin/linux/ubuntu xenial/'

 
A dalej już tylko pozostaje instalacja R – identyczna jak właściwie każdego programu na Ubuntu:

sudo apt-get update
sudo apt-get install r-base
sudo apt-get install r-base-dev

 
Teraz w konsoli możemy po prostu wpisać nasze ukochane R i…

Gotowe!

Instalujemy RStudio

RStudio nie znajdziemy w repozytoriach Ubuntu, musimy więc pobrać pakiet instalacyjny ze strony RStudio:

sudo apt-get install gdebi-core
wget https://download2.rstudio.org/rstudio-server-1.1.453-amd64.deb
sudo gdebi rstudio-server-1.1.453-amd64.deb
rm rstudio-server-1.1.453-amd64.deb

 
Po tych czterech linijkach możemy w przeglądarce wpisać http://nasza.domena:8787 i cieszyć się świeżym RStudio na własnym serwerze. Fragment rstudio-server-1.1.453-amd64.deb to odpowiednia wersja, która może się z czasem zmieniać – warto sprawdzi na stronie RStudio.com, co tam jest aktualnie. To samo odnosi się do Shiny. Możemy również użyć wersji beta dziennych – linki znajdziecie na odpowiedniej stronie.

Instalacja przydatnych pakietów

Na początek warto zainstalować wszystkie przydatne pakiety. Oto kilka z tych, które instaluję zazwyczaj:

install.packages(c("stringi", "stringr", "tidyverse", "readr", "readxl", "XML", "jsonlite", "tidytext", "forecast", "caret", "e1071", "odbc", "xts", "zoo"))

sudo apt-get install libxml2-dev libssl-dev unixodbc-dev libcurl4-openssl-dev libudunits2-dev

sudo apt-get install default-jre
sudo apt-get install default-jdk

install.packages(c("stringi", "stringr", "tidyverse", "readr", "readxl", "XML", "jsonlite", "tidytext", "forecast", "caret", "e1071", "odbc", "xts", "zoo"))

sudo R -e "install.packages(c('shiny', 'rmarkdown', 'devtools', 'RJDBC'), repos='http://cran.rstudio.com/')"

sudo apt-get install gdebi-core
wget https://download3.rstudio.org/ubuntu-14.04/x86_64/shiny-server-1.5.7.907-amd64.deb
sudo gdebi shiny-server-1.5.7.907-amd64.deb
rm shiny-server-1.5.7.907-amd64.deb

sudo nano /etc/shiny-server/shiny-server.conf

 
i zmieniamy:

run_as r shiny;

 
na naszego użytkownika:

run_as r lemur;

 
gdzie lemur to nasz użytkownik. Ja używam sam swojego serwera, więc mogę sobie na to pozwolić. Ale jeśli mamy wielu użytkowników R, a każdego z własnym kontem, to musimy się na jakieś zdecydować, albo zainstalować odpowiednie pakiety R-a dla użytkownika shiny. To jest niestety upierdliwe w systemach linuxowych.

Po zmianach w konfiguracji serwera trzeba go zrestartować, aby załapał nowe ustawienia:

sudo systemctl restart shiny-server

 
Konfiguracja serwera Shiny

Gdzie będą trzymane aplikacje? Standardowo w folderze /srv/shiny-server/, co wynika z wpisu w pliku /etc/shiny-server/shiny-server.conf. Jeśli potrzebujemy – możemy to zmienić. Możemy zmienić również port, na którym działa serwer. Pamiętać jednak należy, żeby później odpowiednio dostosować konfigurację subdomen w Nginxie (o tym za chwilę). Ja u siebie zostawiłem bez zmian.

Ale nie samym R żyje człowiek, przyda się też...

Python i Jupiter 

Instalujemy Pythona, a może jest zainstalowany? Ubuntu 16.04 na dzień dobry przychodzi z Pythonem 2.7 oraz Pythonem 3.5 (w odpowiednich podwersjach):

python3p  -V

 
Jeśli chcemy Pythona 3.6 to wykonujemy trzy kolejne linie:

sudo add-apt-repository ppa:jonathonf/python-3.6
sudo apt-get update
sudo apt-get install python3.6

 
W tym momencie mamy w systemie trzy wersje Pythona:

• python – uruchomi nam wersję 2.7,
• python3 – wersję 3.5,
• a python3.6 – 3.6

Jeśli chcemy móc wybierać z której wersji (3.5 czy 3.6) korzystać będzie polecenie python3, wykonujemy dwa polecenia:

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.5 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 2

 
Teraz możemy się przełączać między wersjami z użyciem:

sudo update-alternatives --config python3

 
Ja wybrałem jako domyślną wersję 3.5, więc po:

python3 -V

 
widzę Python 3.5.2. Uwaga – na wybranej wersji zainstalowany zostanie za kilka chwil Jupyter, więc wybierz mądrze :)

Instalujemy pip dla Pythona 3:

sudo s apt-get install python3-pip

 
Kilka bibliotek systemowych może być koniecznych, zatem zainstalujmy je już teraz (podobnie jak w przypadku instalowania pakietów do R):

sudo s apt-get install build-essential libssl-dev libffi-dev python-dev

Biblioteki Pythona

Warto na początek zainstalować kilka podstawowych:

• numpy
• pandas
• nltk
• matplotlib
• SciPy
• Seaborn
• SciKit-Learn
• Statsmodels
• TensorFlow
• Keras

Pytanie tylko, czy od razu, dla własnego użytkownika, czy też tworzyć środowiska wirtualne Pythona? To już pozostawiam Wam do decyzji. Tutaj jedziemy po bandzie, bez żadnych środowisk wirtualnych i wszystkie kolejne biblioteki instalujemy przez:

sudo -H pip3 install nazwa_biblioteki

 
Instalujemy Jupyter

Jupyter to taka zubożona wersja RStudio. Lepsze to niż Python z konsoli – widać przynajmniej krok po kroku, co się dzieje w kodzie. Poza tym wszyscy z niego korzystają ;)

sudo apt-get install ipython ipython-notebook
sudo -H pip3 install jupyter

jupyter notebook --generate-config

jupyter j notebook password

jupyter j notebook

sudo -H pip3 install jupyterlab

jupyter j lab

jupyter lab &

su <username> -c "jupyter notebook --config=/location/of/your/config/file/.jupyter/jupyter_notebook_config.py --no-browser --notebook-dir=/location/of/yournotebooks" &

server {
  listen 80;
  
  server_name rstudio.nasza.domena;
  
  location / {
    proxy_pass http://localhost:8787;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Host $http_host;
    proxy_http_version 1.1;
    proxy_redirect off;
    proxy_buffering off;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_read_timeout 86400;
  }
}

server {
  listen 80;
  
  server_name shiny.nasza.domena;
  
  location / {
    proxy_pass http://localhost:3838;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Host $http_host;
    proxy_http_version 1.1;
    proxy_redirect off;
    proxy_buffering off;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_read_timeout 86400;
  }
}

server {
  listen 80;
  
  server_name jupyter.nasza.domena;
  
  location / {
    proxy_pass http://localhost:8888;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Host $http_host;
    proxy_http_version 1.1;
    proxy_redirect off;
    proxy_buffering off;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_read_timeout 86400;
  }
  
  location ~ /api/kernels/ {
    proxy_pass            http://localhost:8888;
    proxy_set_header      Host $host;
    
    # websocket support
    proxy_http_version    1.1;
    proxy_set_header      Upgrade "websocket";
    proxy_set_header      Connection "Upgrade";
    proxy_read_timeout    86400;
  }
  
  location ~ /terminals/ {
    proxy_pass            http://localhost:8888;
    proxy_set_header      Host $host;
    
    # websocket support
    proxy_http_version    1.1;
    proxy_set_header      Upgrade "websocket";
    proxy_set_header      Connection "Upgrade";
    proxy_read_timeout    86400;
  }
}

sudo s systemctl reload nginx

sudo apt-get install git

git config --global user.name "user_name"
git config --global user.email "email_id"

sudo apt-get install postgresql postgresql-contrib

sudo -u postgres psql

CREATE DATABASE nazwa_bazy_danych;
CREATE USER nazwa_użytkownika WITH ENCRYPTED PASSWORD 'hasło_użytkownika';
GRANT ALL PRIVILEGES ON DATABASE nazwa_bazy_danych TO nazwa_użytkownika;

psql -d nazwa_bazy_danych

CREATE TABLE playground (
  equip_id serial PRIMARY KEY,
  type varchar (50) NOT NULL,
  color varchar (25) NOT NULL,
  location varchar(25) check (location in ('north', 'south', 'west', 'east', 'northeast', 'southeast', 'southwest', 'northwest')),
  install_date date
);

baza=# \d
                  List of relations
 Schema |          Name           |   Type   | Owner
--------+-------------------------+----------+-------
 public | playground              | table    | lemur
 public | playground_equip_id_seq | sequence | lemur
(2 rows)
 
baza=#

DROP TABLE playground;

sudo apt install vsftpd

chroot_local_user=YES
write_enable=YES

allow_writeable_chroot=YES
hide_file=NO

sudo systemctl restart vsftpd.service

sudo add-apt-repository -y ppa:ubuntugis/ppa
sudo apt-get updatae
sudo apt-get upgrade
sudo apt install libgdal1-dev libproj-dev gdal-bin python-gdal python3-gdal
sudo apt-get install libgdal-dev libgdal20

sudo apt-get install pandoc
sudo apt-get install texlive-xetex

Sys.setenv(RSTUDIO_PANDOC = "/usr/lib/rstudio-server/bin/pandoc")

sudo s shutdown -r 0

import sys
print(sys.version)