infosec – davidonzo's blog

MISP – Malware Information Sharing Platform – Installazione

davidonzo — Mon, 21 May 2018 16:47:30 +0000

In vista dei prossimi corsi MISP che si terranno a Roma, in AgID e Banca D’Italia fra la fine di Maggio e l’inizio di Giugno, mi è sembrato utile condividere alcuni appunti sparsi sulla piattaforma e di farlo prevalentemente in Italiano. In questa prima puntata sarà riportata la procedura di installazione di MISP in ambiente Ubuntu 16.04 LTS. Si tratta di una riproposizione quasi fedele della guida pubblicata dagli stessi sviluppatori di MISP, con qualche piccola personalizzazione dettata più dal vezzo personale che da altro.

1 Aggiornamento sistema

Una volta installato il sistema base Ubuntu 16.04 LTS Server effettuare un aggiornamento di sistema, per assicurarsi di aver installato le ultime patch di sicurezza ed aggiornamenti software generici.

:~$ sudo apt-get update --fix-missing
:~$ sudo apt-get upgrade

2 Installazione Postfix

Si procede all’installazione di postfix.

:~$ sudo apt-get install postfix

Lo si configuri come “Sistema satellite“.

Configurazione postfix

Questa guida non si occupa della configurazione di postfix. Al momento si configurerà “example.com” come relayhost del mail server. Sarà cura dell’utente terminare la corretta configurazione di postfix, in funzione delle proprie esigenze e vincoli.

:~$ sudo postconf -e 'relayhost = example.com'
:~$ sudo postfix reload

3 Installazione pacchetti e librerie necessarie

Di seguito si installeranno i vari pacchetti, interpreti, librerie necessarie al corretto funzionamento di MISP, che per garantire le prestazioni di sharing multipiattaforma che si prefigge, ha necessità di un certo numero e di una certa qualità di applicativi da utilizzare.

:~$ sudo apt-get install curl gcc git gnupg-agent make python python3 openssl redis-server sudo vim zip

4 Installazione MariaDB

Sarà ora necessario installare MariaDB, un fork del più famoso MySQL, utilizzato dagli stessi sviluppatori di MISP.

:~$ sudo apt-get install mariadb-client mariadb-server
:~$ sudo mysql_secure_installation

Non ci si scordi mai di mettere in sicurezza l’installazione del database server.

5 Installazione e prima configurazione di Apache

Si eseguano i comandi di seguito riportati.

:~$ sudo apt-get install apache2 apache2-utils 
:~$ sudo a2enmod ssl
:~$ sudo a2enmod rewrite
:~$ sudo a2enmod headers
:~$ sudo a2dissite 000-default
:~$ sudo a2ensite default-ssl
:~$ sudo service apache2 restart

Nei fatti, oltre all’installazione del webserver si abilitano i moduli ssl, rewrite e headers. Dopo di che si disabilita il virtualhost 000-default per attivare il default-ssl. Anche se questo verrà disattivato in un successivo passaggio, tenerlo attivo ci consente di testare il corretto funzionamento del webserver sotto SSL.

6 Installazione PHP e librerie necessarie

:~$ sudo apt-get install libapache2-mod-php php php-cli php-crypt-gpg php-dev php-json php-mysql php-opcache php-readline php-redis php-xml
:~$ sudo service apache2 restart

7 Codice MISP

Adesso è possibile procedere all’installazione di MISP da codice sorgente. Questi verranno gestiti direttamente tramite Git e la piattaforma GitHub. È possibile anche scaricare manualmente i sorgenti e procedere ad installazione manuale. Ma in questo caso il processo di aggiornamento del software richiederebbe molto più effort, dovendo di volta in volta aggiornare manualmente la piattaforma. Utilizzando Git in questa fase dell’installazione ci si assicura il mantenimento di MISP a medio/lungo termine a costi relativamente bassi.

Si crei una nuova cartella in /var/www che ospiterà la piattaforma MISP

:~$ sudo mkdir /var/www/MISP

Si assegni la nuova directory all’utenza di default del webserver, che negli ambienti Debian/Ubuntu è www-data

:~$ sudo chown www-data:www-data /var/www/MISP

A questo punto possiamo scaricare i sorgenti di MISP, utilizzando git come gestore di versione.

:~$ sudo -u www-data git clone https://github.com/MISP/MISP.git /var/www/MISP
Cloning into '/var/www/MISP'...
remote: Counting objects: 56839, done.
remote: Compressing objects: 100% (149/149), done.
remote: Total 56839 (delta 234), reused 304 (delta 210), pack-reused 56480
Ricezione degli oggetti: 100% (56839/56839), 43.75 MiB | 3.25 MiB/s, done.
Risoluzione dei delta: 100% (42306/42306), done.
Checking connectivity... fatto.

Effettuare il checkout della versione all’ultima disponibile.

:~$ sudo -u www-data git checkout tags/$(git describe --tags `git rev-list --tags --max-count=1`)
Note: checking out 'tags/v2.4.91'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

git checkout -b 

HEAD si trova ora a 4ad7a4a... Merge branch '2.4' of github.com:MISP/MISP into 2.4

Alla data del presente articolo, la versione di checkout disponibile è la 2.4.91. Se si desidera effettuare un ulteriore controllo, è possibile visitare la home page del repository MISP su GitHub.

Versione MISP

Infire configureremo git per ignorare le differenze fra permessi di file locali e remoti.

:~$ sudo -u www-data git config core.filemode false

8 Installare STIX

MISP è STIX compliance per molti aspetti relativi alla gestione degli IoC. Gestisce sia il formato STIX 1.x che il formato 2.x, ma necessita delle librerie ufficiali. Di seguito si procederà ad installarle ad uso e consumo dell’applicativo.

:~$ sudo apt-get install python-dev python-pip python3-pip libxml2-dev libxslt1-dev zlib1g-dev python-setuptools
:~$ cd /var/www/MISP/app/files/scripts
:~$ sudo -u www-data git clone https://github.com/CybOXProject/python-cybox.git
:~$ sudo -u www-data git clone https://github.com/STIXProject/python-stix.git
:~$ cd /var/www/MISP/app/files/scripts/python-cybox:
:~$ sudo python setup.py install
:~$ cd /var/www/MISP/app/files/scripts/python-stix
:~$ sudo python setup.py install

Installare mixbox in quanto nuova dipendenza per STIX.

:~$ cd /var/www/MISP/app/files/scripts/
:~$ sudo -u www-data git clone https://github.com/CybOXProject/mixbox.git
:~$ cd /var/www/MISP/app/files/scripts/mixbox
:~$ sudo python setup.py install

Infine, installare STIX2 (richiesto python3)

:~$ pip3 install stix2

9 Installare CakePHP

CakePHP è il framework di sviluppo su cui si basa gran parte dell’applicativo. Oltre a gestire l’interfaccia utente, CakePHP è in grado di gestire i job del server, fondamentali per la sincronizzazione fra diverse istanze MISP. Di seguito si procederà dando per scontato che si utilizzeranno tutte le configurazioni proposte dal team ufficiale di MISP.

:~$ cd /var/www/MISP
:~$ sudo -u www-data git submodule init
:~$ sudo -u www-data git submodule update
:~$ sudo -u www-data git submodule foreach git config core.filemode false

I pacchetti di seguito installati via composer del PHP sono necessari proprio per la funzionalità di gestione job e code, deputata al framework CakePHP.

:~$ cd /var/www/MISP/app
:~$ sudo -u www-data php composer.phar require kamisama/cake-resque:4.1.2
:~$ sudo -u www-data php composer.phar config vendor-dir Vendor
:~$ sudo -u www-data php composer.phar install

Abilitare CakeResque con PHP-Redis

:~$ sudo phpenmod redis

Infine copiare il relativo file di configurazione nella directory applicativa di seguito riportata.

:~$ sudo -u www-data cp -fa /var/www/MISP/INSTALL/setup/config.php /var/www/MISP/app/Plugin/CakeResque/Config/config.php

Infine, settare correttamente i permessi delle directory di lavoro.

:~$ sudo chown -R www-data:www-data /var/www/MISP
:~$ sudo chmod -R 750 /var/www/MISP
:~$ sudo chmod -R g+ws /var/www/MISP/app/tmp
:~$ sudo chmod -R g+ws /var/www/MISP/app/files
:~$ sudo chmod -R g+ws /var/www/MISP/app/files/scripts/tmp

10 Creazione e configurazione database

A questo punto ci occuperemo di configurare il database e prepararlo per poter ospitare gli eventi MISP. Per questa fase servirà l’utilizzo della password di root del database sql creata al precedente punto 4.

:~$ sudo mysql -u root -p
MariaDB [(none)]> create database misp;
MariaDB [(none)]> grant usage on *.* to misp@localhost identified by 'password';
MariaDB [(none)]> grant all privileges on misp.* to misp@localhost;
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> \q

È stato creato il database “misp” a cui ha accesso l’utente “misp” a cui è stata assegnata la password “password” (per ambienti di produzione sarà richiesta una certa complessità della password).

Sarà ora possibile importare una schema database vuoto.

:~$ sudo -u www-data sh -c "mysql -u misp -p misp < /var/www/MISP/INSTALL/MYSQL.sql"

11 Configurazione webserver Apache2

Per la configurazione del webserver Apache, si userà il FQDN “misp.local”. Come prima cosa si dovrà controllare la versione del webserver installata.

:~$ sudo apache2 -v
Server version: Apache/2.4.18 (Ubuntu)

Qualora non si abbia altra disponibilità, sarà necessario generare un certificato SSL self signed. Procedere come di seguito specificato.

:~$ sudo openssl req -newkey rsa:4096 -days 365 -nodes -x509 -keyout /etc/ssl/private/misp.local.key -out /etc/ssl/private/misp.local.crt

Generating a 4096 bit RSA private key
........................++
.......................++
writing new private key to '/etc/ssl/private/misp.local.key'
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:IT
State or Province Name (full name) [Some-State]:Italy
Locality Name (eg, city) []:Rome
Organization Name (eg, company) [Internet Widgits Pty Ltd]:MyCompany
Organizational Unit Name (eg, section) []:SecUnit
Common Name (e.g. server FQDN or YOUR name) []:misp.local
Email Address []:misp@misp.local

Creare e modificare un nuovo file di configurazione VirtualHost di Apache2.

:~$ sudo nano /etc/apache2/sites-available/misp-ssl.conf

Come configurazione del VirtualHost si propone la seguente.


    ServerName misp.local
    Redirect permanent / https://misp.local

    LogLevel warn
    ErrorLog /var/log/apache2/misp.local_error.log
    CustomLog /var/log/apache2/misp.local_access.log combined
    ServerSignature Off


    ServerAdmin misp@misp.local
    ServerName misp.local
    DocumentRoot /var/www/MISP/app/webroot
    
    
        Options -Indexes
        AllowOverride all
        Require all granted
    

    SSLEngine On
    SSLCertificateFile /etc/ssl/private/misp.local.crt
    SSLCertificateKeyFile /etc/ssl/private/misp.local.key

    LogLevel warn
    ErrorLog /var/log/apache2/misp.local_error.log
    CustomLog /var/log/apache2/misp.local_access.log combined
    ServerSignature Off
    Header set X-Content-Type-Options nosniff
    Header set X-Frame-Options DENY

Disabilitare il VHost defailt-ssl.conf ed abilitare il nuovo dedicato a MISP.

:~$ sudo a2dissite default-ssl
:~$ sudo a2ensite misp-ssl
:~$ sudo service apache2 restart

Se lo si ritiene necessario, è anche possibile utilizzare una configurazione di log rotation disponibile nelle directory di installo di MISP.

:~$ sudo cp /var/www/MISP/INSTALL/misp.logrotate /etc/logrotate.d/misp

12 Configurazione applicativa di MISP

Questa fase risulta molto delicata. Seppur qualsiasi errore è in qualche modo rimediabile, quanto configurato qui avrà impatto sull’utilizzo stesso della piattaforma e modifiche a posteriori potrebbero risultare in una pardita di informazioni, anche se mai possono risultare in una perdita di dati. Quanto stabilito in questa fase, seppur di stampo prettamente sistemistico avrà impatto operativo notevole. Si consiglia di approfondire questa fase attingendo ad informazioni dettagliate disponibili nel sito del CIRCL.LU.

Effettuare la copia dei seguenti file.

:~$ sudo -u www-data cp -a /var/www/MISP/app/Config/bootstrap.default.php /var/www/MISP/app/Config/bootstrap.php
:~$ sudo -u www-data cp -a /var/www/MISP/app/Config/database.default.php /var/www/MISP/app/Config/database.php
:~$ sudo -u www-data cp -a /var/www/MISP/app/Config/core.default.php /var/www/MISP/app/Config/core.php
:~$ sudo -u www-data cp -a /var/www/MISP/app/Config/config.default.php /var/www/MISP/app/Config/config.php

Nel file “database.php” andrà configurato l’utente MariaDB creato nei punti precedenti.

:~$ sudo -u www-data nano /var/www/MISP/app/Config/database.php

Configurazione MariaDB

Nel file “config.php” è necessario modificare il SALT di base dell’applicazione (che deve essere di 32 byte) ed altre opzioni, come il “baseurl” che descrive la URL di base dell’applicativo, l’opzione “org” con cui è possibile settare il nome dell’organizzazione di default e altro. Moltre di queste opzioni potranno poi essere gestite da pannello di controllo.

:~$ sudo -u www-data nano /var/www/MISP/app/Config/config.php

Configurazione MISP

Infine si settano i permessi dei file correttamente.

:~$ sudo chown -R www-data:www-data /var/www/MISP/app/Config
:~$ sudo chmod -R 750 /var/www/MISP/app/Config

13 Chiave di cifratura GPG

Per consentire all’applicativo l’invio di email cifrate è necessario creare una coppia di chiavi GPG, avendo cura di generare la chiave per lo stesso indirizzo email configurato nel file “config.php”.

:~$ sudo -u www-data gpg --homedir /var/www/MISP/.gnupg --gen-key
gpg (GnuPG) 1.4.20; Copyright (C) 2015 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

gpg: portachiavi "/var/www/MISP/.gnupg/secring.gpg" creato
gpg: portachiavi "/var/www/MISP/.gnupg/pubring.gpg" creato
Selezionare il tipo di chiave:
(1) RSA e RSA (predefinito)
(2) DSA ed Elgaman
(3) DSA (solo firma)
(4) RSA (solo firma)
Selezione? 1
La lunghezza delle chiavi RSA è compresa tra 1024 e 4096 bit.
Quale dimensione impostare per la chiave? (2048) 4096
La dimensione chiave richiesta è 4096 bit
Specificare la durata di validità della chiave.
0 = la chiave non scade
 = la chiave scade dopo N giorni
w = la chiave scade dopo N settimane
m = la chiave scade dopo N mesi
y = la chiave scade dopo N anni
Per quanto tempo deve essere valida la chiave? (0) 365
La chiave scade il mar 21 mag 2019 11:16:20 CEST
È tutto corretto? (s/N) s

È necessario un ID utente per identificare la propria chiave; il software
costruisce l'ID utente a partire da nome reale, commento e indirizzo email
in questa forma:
"Mario Rossi (commento) mario.rossi@example.net"

Nome reale: Misp Local
Indirizzo email: misp@misp.local
Commento: 
È stato selezionato questo USER-ID:
"Misp Local "

Modificare (n)ome, (c)ommento, (e)mail oppure (o)k/(u)scire? o
È necessaria una passphrase per proteggere la proprio chiave segreta.

Passphrase:

gpg: /var/www/MISP/.gnupg/trustdb.gpg: creato il trustdb
gpg: chiave 24C4188D contrassegnata come completamente affidabile
chiavi pubbliche e segrete create e firmate.

gpg: controllo del trustdb
gpg: necessari: 3 marginali, 1 completi, modello di fiducia PGP
gpg: livello: 0 valido: 1 firmato: 0 fiducia: 0-, 0q, 0n, 0m, 0f, 1u
gpg: il prossimo controllo del trustdb sarà eseguito il 2019-05-21
pub 4096R/24C4188D 2018-05-21 [scadenza: 2019-05-21]
Impronta digitale della chiave = 0C94 3FD0 4E3C F36D C33C 0B03 82B1 3167 24C4 188D
uid Misp Local 
sub 4096R/C9565802 2018-05-21 [scadenza: 2019-05-21]

Esportare la chiave pubblica nella webroot.

:~$ sudo -u www-data sh -c "gpg --homedir /var/www/MISP/.gnupg --export --armor misp@misp.local > /var/www/MISP/app/webroot/gpg.asc"

14 Configurazione “workers”

Come ultimissima cosa, configuriamo i workers di MISP per avviarsi all’avvio del sistema. I workers permettono una moteplicità di operazioni alla piattaforma, molte delle quali critiche. Consentono ad esempio la gestione dei job di sincronizzazione fra più server MISP, la gestione delle code email, della cache applicativa e molto altro. È vivamente consigliata la configurazione come da manuale di questo elemento.

Per prima cosa, diamo allo script di avvio dei workers i permessi di esecuzione.

:~$ sudo chmod +x /var/www/MISP/app/Console/worker/start.sh

Di seguito modifichiamo il file /etc/rc.local per richiamare lo script all’avvio del sistema.

:~$ sudo nano /etc/rc.local

Configurazione workers

15 Riavvio e primo login

A questo punto è possibile riavviare il server e successivamente visitare la pagina web https://misp.local (sostituite la URL con il vosto FQDN scelto). E se le istruzioni sono andate a buon fine, vi troverete di fronte la form di login, in cui userete come prime e temporenee credenziali la coppia nome utente/password “admin@admin.test/admin“.

MISP Login

16 Hardening

È necessario procedere alla hardenizzazione di tutto quanto fin qui installato e configurato. In particolare:

Il sistema operativo;
Il webserver Apache;
MariaDB;
Altro…

17 Funzionalità opzionali

MISP utilizza ZeroMQ per alcuni importanti aspetti delle funzionalità di sottoscrizione e sharing. La funzionalità è presentata come opzionale dal team di MISP, in quanto ci sono diverse modalità di sottoscrizione e sharing utilizzando MISP. Tuttavia si consiglia vivamente di installare ed abilitare le funzionalità di ZeroMQ, al fine di non privarsi della potenza del software con piene funzionalità.

Eseguire i due comandi che seguono.

:~$ sudo pip install pyzmq
:~$ sudo pip install redis

Conclusioni

Il lettore più attento avrà notato come la procedura di installazione di MISP sia tutt’altro che banale. Questo perché MISP è una vera e propria “Piattaforma”. Ovvero un set di strumenti e servizi che consentono l’archiviazione, la correlazione, l’analisi e lo sharing di informazioni riguardanti in particolare aspetti vicini alla sicurezza informatica.

Comprendere la profonda interazione che si crea dall’uso di tali strumenti, serve ad un uso consapevole dell’applicativo e delle sue potenzialità. MISP offre un contesto operativo modulare ed estendibile. In grado di adattarsi ai diversi contesti operativi.

Mi riprometto di scrivere, tempo permettendo, altri post sull’argomento. HTH.

Some news and specification about infosec.cert-pa.it

davidonzo — Wed, 31 May 2017 17:16:23 +0000

Someone noticed the old Pentest.it is now “infosec.cert-pa.it”. Since last time I wrote about it, the service has been improved with new features and sections focused on IoC collection and correlation.

What’s new.
Two new modules added to the web application:

Blocklist Module

The blocklist module collects IoCs from a large number of public lists. The web application allow you to search for URLs, IPs and FQDNs. You can search a single item using the “Search” tab. The query result display you if an exact match will be found and also the similar results.

Using the “Bulk Search” tab you can submit 100 items per query, but in this case only the exact match will be displayed. In any case you can export the results in CSV format.

Analyzer Module

The analyzer module consists in a automatic souspicious file analyzer. Any page contains the static analysis of the file and a basic bahavior analysis. The submitted files are taken by OSINT sources (and not only). You can subscribe the RSS feed, if you want to be notified for every submitted file.

The easiest way to find information is the use of the dedicated search engine. You can search by MD5, SHA1 and SHA256 just submitting the correspondent hash.

Special searches are available with the use of the following keywords:

imphash:$IMPORT_TABLE_HASH
domain:$FQDN
url:$URL_HOSTING_MALWARE

The search results page use a permalink structure you can use for further searches. The search results are exportable in CSV format. The CSV link is availables on the same page and reflects the permalink structure of the web search.

A new way to aggregate data is the use of the tagging system. Occasionally a report includes comments. Often comments are used to add a keywords, making the report aggregable via tag search. Just an example using one of the latest detected threat: #EternalRocks.

Any report can be exported in PDF format, at this time with limited information.

Hope this help.

Just another ransomware Locky version spreads via JS file

davidonzo — Mon, 07 Mar 2016 23:03:49 +0000

This article wants to explain a way for malware coders to spread malicious softwares in the wild. And of course the easy way is to convince the victim to run the malicoius code himlsef. No 0day is required, no known vulnerability too.

In these conditions, usually the attack pattern preferred is “Spear Phishing“, consisting in a email containing, not the malware itself, but a dropper, written with a script language (formally just a text file), with the capabilities to download the malware and run it on the target system. In others terms: a JavaScript. Below an example.

The original JavaScript file.

The original file

As you know, comments are useless. Just remove it!

Comments removed

Now, take a look at the variable named “XyuHqSR“. It is a multidimensional array, referenced in the malicious code for six times. We can parse it to extract the strings used by the JS file. Just run this code.

Parsing the evil string

To obtain the following strings, prepended by the array index.

Decripted strings

Now, with a bit of “search & replace” and some string concatenations (follow the “+” character…), the result is a clean file you don’t need to execute in a sandbox to get the behavioural informations.

The clean JavaScript file

Easy to read now, ins’t it?

IoC:

The JS file: 00a9278b3f64e6f0ce633ac191825e5e
The downloaded malware: e4e1325c4ded2cd8b4487f8a16c5095b (#Locky)

Pentest.IT Statistics now provides product family stats

davidonzo — Sun, 03 May 2015 17:10:41 +0000

Finally I decide to release some new feature for Pentest.IT Statistics. Dozens of minor bugs have been fixed. Some minor changes as the use of the modern instead of