I tak dziś postanowiłem napisać własny program, który naszkicuje wykres na podstawie danych wejściowych. W jakieś 2 godziny miałem działające rozwiązanie, głównie dzięki pomocy mojego potomstwa wchodzącego mi na głowę ;-) Kolejne dwie godziny poświęciłem na kosmetykę i już projekt jest gotowy do udostępnienia.
Co dokładnie robi? Ano, na podstawie dostarczonych danych (plik CSV, format poniżej) generuje grafikę z wykresem. Całość nie wygląda może ładnie (nie ma wstążki :>), ale popracuję jeszcze nad tym.

Plik wsadowy z danymi powinien wyglądać tak (poszczególne pola separowane średnikiem):

• pierwsza linia: nazwa wykresu (nie używana); początek okresu; koniec okresu,
• druga i kolejne linie to zdarzenia: nazwa#kolor (#kolor opcjonalnie – RRGGBB); początek zadania(; koniec zadania; początek zadania; koniec zadania; …).

Jeśli zadanie wykonywane jest wielokrotnie (np. kopia przyrostowa), to czasy rozpoczęcia i zakończenia wpisujemy w jednej linii. Jeśli zadanie nie skończyło się w danym okresie lub nie podamy czasu zakończenia, odpowiedni słupek będzie dociągnięty do końca wykresu.

Czas podajemy jako liczba sekund od 1 stycznia 1970 r.

Przykładowy plik wygląda tak:

tydzień 6;1328486400;1329091200
Kopia INCR#505050;1328486000;1328496000;1328608800;1328616000;1328704200;1328736200;1328797800;1328815800
Kopia FULL#505050;1328936400;1329197400
Odbudowa RAID#FF0000;1328704200;1328749200
Formatowanie wolumenu BACKUP;1328949800

Czego nie ma, ale będzie już po weekendzie:

• zmiana ‘rozdzielczości’, na której brak narzekałem u innych – obecnie domyślnie jest 300 sekund (od tego zależy wielkość obrazu),
• zmiana parametrów wykresu – np. wysokość linijek
• wybór czcionki,
• ramka
• swobodny format daty (chyba jest coś do konwersji),
• informacje z nagłówka (pierwsza linia) na wykresie,
• i wszystko to, o co poprosicie ;-)

W najbliższym czasie przygotuję zestawy skryptów do zasilania – np. zadania RMAN (Oracle), dbms_scheduler (Oracle) czy praca Bacula (Bweb przestałem już używać, a rysowałem w nim tylko takie wykresy).
Jeśli macie jakieś pomysły na wykorzystanie, dajcie znać.

I najważniejsze – strona projektu. Dwa dni temu poznałem Publish w Visual C#, więc teraz aktualizacje będą lepiej dystrybuowane :-)

Najprościej wykonać to można dodając do konfiguracji dyrektywę extend (kiedyś exec lub sh). Składnia wygląda tak:

extend [MIBOID] NAME PROG ARGS

A na przykładzie:

extend .1.3.6.1.4.1.31337 Test /root/scripts/test.sh testarg1

Przy okazji pozdrawiam firmę Union & Comstar, której PEN (Private Enterprise Number) pożyczyłem :-)
Wadą tego rozwiązania jest fakt, że każdy wynik zwracany przez zewnętrzny program (printf czy echo) traktowany jest jak STRING. Gdy chcemy uzyskać INTEGER możemy wprawdzie posłużyć się kodem wyjścia, ale mamy do dyspozycji zakres 0-255. Do pomiaru temperatury w serwerowni czy na procesorze się może przyda, ale do sprawdzenia pamięci wykorzystywanej przez dany proces już niekoniecznie.

Net-SNMP umożliwia nam wykorzystanie Perl’a – a konkretnie modułu NetSNMP::agent, do tworzenia własnych wtyczek (chyba dla Python też jest wsparcie).
Jako że kiepski ze mnie programista, a w szczególności programista Perl, postaram się wspierać swój przekaz kodem. I tak stworzenie agenta możemy wykonać następująco:

use NetSNMP::agent;

my $agent = new NetSNMP::agent();

Następnie tworzymy funkcję i rejestrujemy ją, by użyć przy wywołaniu konkretnego OID’a:

sub callback_function {
  my ($handler, $registration_info, $request_info, $requests) = @_;
  my $request;
  for($request = $requests; $request; $request = $request->next()) {
    my $oid = $request->getOID();
    if ($oid == new NetSNMP::OID(".1.3.6.1.4.1.31337.1.1.0")) {
      $request->setValue(ASN_INTEGER, hex(substr $valstring, 4, 2)-40);
    }
  }

$agent->register("callback function", ".1.3.6.1.4.1.31337.1", \&callback_function);

Funkcja jest wywoływana z czteroma parametrami: HANDLER, REGISTRATION_INFO, REQUEST_INFO, i REQUESTS. REQUEST_INFO może zawierać dwa tryby – MODE_GET i MODE_GETNEXT. Oczywiście przy jednokrotnym sprawdzaniu OID’a (np. przez Cacti) nie ma to znaczenia, ale gdybyśmy chcieli sprawdzić całe drzewo używając np. snmpwalk, to przy MODE_GETNEXT musimy podać adres kolejnego OID’a, który ma być sprawdzony po bieżącym. W przeciwnym razie snmpwalk skończy odczyt.

$request->setOID(".1.3.6.1.4.1.31337.1.1.1");

W odpowiedzi agent może zwrócić jeden spośród dwudziestu typów danych. Ja używam jedynie ASN_INTEGER i ASN_OCTET_STR. Resztę można znaleźć w dokumentacji.

Po stworzeniu modułu dodajemy jego wywołanie do Net-SNMP w pliku snmpd.conf:

perl do "/root/scripts/test.pl"

Następnie restartujemy demona i możemy odczytywać nasze dane. Należy pamiętać, że po każdej zmianie wtyczki niezbędne jest ponowne przeładowanie.

Czytaj też:

• Extending snmpd using perl
• RedHat Documentation: Extending Net-SNMP

SOAP::Lite, który korzysta z libwww-perl nagle zaczął zgłaszać błąd certyfikatu serwera (tzw. self-signed), z którego wywoływał żądanie:

500 Can't connect to server:443 (certificate verify failed) at /usr/lib/nagios/plugins/sms.pl line 7


Rozwiązanie problemu jest trywialne, weryfikację certyfikatu można wyłączyć ustawiając odpowiednią zmienną:

$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME}=0;

lub stosowną opcję (klasa LWP::UserAgent):

LWP::UserAgent->new(ssl_opts => { verify_hostname => 0 });

I znów działa jak dawniej.

W wersji 5.837 i wcześniejszych biblioteki libwww-perl sprawdzanie było wyłączone. Ja aktualizowałem z 5.836.

Wnikliwy czytelnik zauważył pewnie nazwę wywoływanego skryptu. Jak można się domyśleć ma on strategiczne znaczenie. Eh…

Swoją drogą przy okazji zwróciłem uwagę na nazewnictwo, a właściwie numerację paczek w Gentoo. Otóż libwww-perl w wersji 6.03 nazywa się dev-perl/libwww-perl-6.30.0, z kolei moduł LWP::Protocol::https 6.02 to dev-perl/LWP-Protocol-https-6.20.0. Ktoś potrafi to wyjaśnić? W ebuild’zie w zmiennej MODULE_VERSION jest właściwa wersja.

• Maciej Zbrzezny: Jak uczyć się C#? [PL]
• Matthew: Jakiego języka programowania się nauczyć?

Jeśli ktoś pyta skąd i po co, to odpowiedź poniżej (na nic bardziej kreatywnego mnie teraz nie stać):

mysql> SELECT DAYOFYEAR(CURDATE());
+----------------------+
| DAYOFYEAR(CURDATE()) |
+----------------------+
| 256 |
+----------------------+
1 row in set (0.09 sec)

Możemy jednakże dodać odpowiednie atrybuty samemu i dostosować plik do wymagań Endomondo. Ja zrobiłem to tak:

OpenFileDialog fDialog = new OpenFileDialog();
fDialog.Title = "Open GPX 1.0 File";
fDialog.Filter = "GPX Files|*.gpx";
if (fDialog.ShowDialog() == DialogResult.OK) {
    Chilkat.Xml xml = new Chilkat.Xml();
    xml.LoadXmlFile(fDialog.FileName.ToString());
    Chilkat.Xml root = xml.FirstChild();
    Chilkat.Xml seg = root.FindChild("trkseg");
    Chilkat.Xml pt = seg.FirstChild();
    DateTime pttime = DateTime.Parse(root.GetChildContent("name"));
    string oPath = Path.GetDirectoryName(fDialog.FileName) + "\\" + pttime.ToString("yyyyMMdd-HHmmss") + ".gpx";
    while (pt != null) {
        pt.NewChild("time", pttime.ToString("s"));
        pttime = pttime.AddSeconds(2);
//      listBox1.Items.Add(pt.GetAttrValue("lat"));
//      listBox1.Items.Add(pttime.ToString("s"));
        pt = pt.NextSibling();
    }
    xml.SaveXml(oPath);
}

Słowem komentarza:

• kompilowane w Visual C# 2010 + Chilkat XML .NET,
• czas w formacie ISO 8601 czy jak kto woli – sortable (linia 12 i 15),
• GPS Track po eksporcie ścieżki do GPX zapisuje w name czas początku rejestracji, więc można go pobrać do pierwszego punktu (linia 10), a następnie dodawać przesunięcie ustawione w programie (linia 13) – w moim przypadku 2 sekundy (tego nie ma w XML, więc trzeba to wiedzieć/sprawdzić ustawienie).

Od razu zacząłem szukać gotowca i znalazłem! PHPExcel. Po krótkiej pracy z nim wiem, że nie jest to idealne narzędzie, ale może to wynikać z formatu pliku jaki obrabiałem i od tego jak i czym został wcześniej zapisany (wzór dostarczony z zewnątrz). Z dwóch wyglądających podobnie komórek po otwarciu i zapisaniu przez PHPExcel nagle jedna gubi formatowanie. Dziwne. Ale jako, że nie chciałem się zagłębiać, uznałem, że tak właśnie musi być.
Jako, że arkusze nie są skomplikowane, to przed samym zapisem robię ‘normalizację’ komórek, czyli ustawiam takie formatowanie, jakie jest w pliku źródłowym i wszystko działa.

Prócz wypełniania komórek odpowiednimi wartościami i zmianie formatowania nic więcej nie robiłem (a pewnie się da). Do takich celów, uważam, że projekt nadaje się wystarczająco.

• nazwa użytkownika to user->login (linia 20),
• data i godzina wpisu – datetime (lub jak kto woli time czy nawet timestamp; linia 21),
• no i oczywiście URL: http://api.flaker.pl/api/html:false/tag:tag/limit:limit (linia 63).

Pliku różnicowego nie zamieszczam, bo szanuję czytelników ;-)

Nie, nie mam konta w tym serwisie (a w tamtych tylko firmowe).

/* Bartłomiej  guzik Syryjczyk
 * 2010-10-11
 */

#include <stdio.h>
#include <stdlib.h>
#include <curl/curl.h>
#include <json/json.h>

int fnc(void *ptr, size_t size, size_t nmemb, void *stream) {
    json_object * new_obj;
    json_object * jvalue;

    new_obj = json_tokener_parse(ptr);

    json_object_object_foreach(new_obj, key, val)
        if(json_object_get_type(val) == json_type_array)
            for (int i=0; i<json_object_array_length(val); i++) {
                jvalue = json_object_array_get_idx(val, i);
                printf("%s\t", json_object_get_string(json_object_object_get(jvalue, "from_user")));
                printf("%s\t", json_object_get_string(json_object_object_get(jvalue, "created_at")));
                printf("%s\n", json_object_get_string(json_object_object_get(jvalue, "text")));
            }

    return 0;
}

int main(int argc, char* argv[]) {
    CURL *curl;
    CURLcode res;
    struct curl_slist *slist = NULL;
    char *user = "niebezpiecznik";
    char url[128];
    int limit = 3, offset = 0, debug = 0;

    for(int i = 1; i < argc; i++) {
        if (argv[i][0] == '-')
            switch (argv[i][1]) {
                case 'u':
                    user = argv[++i];
                    break;
                case 'l':
                    limit = atoi(argv[++i]);
                    break;
                case 'o':
                    offset = atoi(argv[++i]);
                    break;
                case 'v':
                    debug = 1;
                    break;
            }
    }

    curl = curl_easy_init();
    if(curl) {
        curl_easy_setopt(curl, CURLOPT_VERBOSE, debug);
        curl_easy_setopt(curl, CURLOPT_ENCODING, "UTF-8");
        curl_easy_setopt(curl, CURLOPT_USERAGENT, "gift-0.2 Infowizja.pl");
        slist = curl_slist_append(slist, "Accept: application/json");
        slist = curl_slist_append(slist, "X-Blip-API: 0.02");
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, slist);
        for (int cnt = 1; cnt <= limit; cnt++) {
            sprintf(url, "http://search.twitter.com/search.json?q=from:%s&rpp=1&page=%d", user, offset+cnt);
            curl_easy_setopt(curl, CURLOPT_URL, url);
            curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, fnc);
            res = curl_easy_perform(curl);
        }
    }
    curl_easy_cleanup(curl);
    return 0;
}

Pozdrowienia dla ekipy Niebezpiecznik‘a (vide linia 32 kodu i domyślna wartość *user). Wiem, że są RSS’y w Blip i Atom w twitter, ale jeszcze nie dotknąłem libxml2.

Krótkie porównanie API mikroblogów znalazłem tu:

• Dokumentacje API popularnych mikroblogów, Grona i Delicious

Zobacz także bardziej zaawansowany projekt Rafała Wileczka (Python):

• BlogTweetProjectGUI 0.0.1

Inne:

• GET search | dev.twitter.com
• Twitter Search API Method: search
• Joys of Programming: C/C++ -> json-c

#!/usr/bin/perl -w

use strict;
use WWW::Mechanize;
use JSON -support_by_pp;

my $tag = "perl";
my $limit = 3;

if (@ARGV) {
    $tag = shift;
}
if (@ARGV) {
    $limit = shift;
}

my $url = "http://blip.pl/tags/$tag?limit=$limit";
my $browser = WWW::Mechanize->new();
$browser->add_header('Accept' => 'application/json', 'X-Blip-api' => '0.02', 'X-Blip-Application' => 'Infowizja.pl');
$browser->get($url);
my $content = $browser->content();
my $json = new JSON;
my $json_text = $json->decode($content);

eval {
    foreach my $tag(@{$json_text}) {
        $tag->{user_path} =~ s/^.*\///g;
        print "$tag->{created_at}\t$tag->{user_path}\t$tag->{body}\n";
    }
};

Najlepiej uruchamiać ze zmienną środowiskową PERL_UNICODE=S (na terminalu wyświetlającym znaki w UTF-8).

/* Bartłomiej  guzik Syryjczyk
 * 2010-10-11
 */

#include <stdio.h>
#include <stdlib.h>
#include <curl/curl.h>
#include <json/json.h>

int fnc(void *ptr, size_t size, size_t nmemb, void *stream) {
    json_object * new_obj;
    json_object * jvalue;

    new_obj = json_tokener_parse(ptr);

    if(json_object_get_type(new_obj) == json_type_array)
        for (int i=0; i<json_object_array_length(new_obj); i++) {
            jvalue = json_object_array_get_idx(new_obj, i);
            printf("%s\t", json_object_get_string(json_object_object_get(jvalue, "user_path"))+7);
            printf("%s\t", json_object_get_string(json_object_object_get(jvalue, "created_at")));
            printf("%s\n", json_object_get_string(json_object_object_get(jvalue, "body")));
        }
    return 0;
}

int main(int argc, char* argv[]) {
    CURL *curl;
    CURLcode res;
    struct curl_slist *slist = NULL;
    char *tag = "tag", *user = "";
    char url[64];
    int limit = 3, offset = 0, debug = 0;

    for(int i = 1; i < argc; i++) {
        if (argv[i][0] == '-')
            switch (argv[i][1]) {
                case 't':
                    tag = argv[++i];
                    break;
                case 'u':
                    user = argv[++i];
                    break;
                case 'l':
                    limit = atoi(argv[++i]);
                    break;
                case 'o':
                    offset = atoi(argv[++i]);
                    break;
                case 'v':
                    debug = 1;
                    break;
            }
    }

    curl = curl_easy_init();
    if(curl) {
        curl_easy_setopt(curl, CURLOPT_VERBOSE, debug);
        curl_easy_setopt(curl, CURLOPT_ENCODING, "UTF-8");
        curl_easy_setopt(curl, CURLOPT_USERAGENT, "gift-0.2 Infowizja.pl");
        slist = curl_slist_append(slist, "Accept: application/json");
        slist = curl_slist_append(slist, "X-Blip-API: 0.02");
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, slist);
        for (int cnt = 0; cnt < limit; cnt++) {
            if (strcmp(user, "\0"))
                sprintf(url, "blip.pl/users/%s/statuses?limit=1&offset=%d", user, offset+cnt);
            else
                sprintf(url, "blip.pl/tags/%s?limit=1&offset=%d", tag, offset+cnt);
            curl_easy_setopt(curl, CURLOPT_URL, url);
            curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, fnc);
            res = curl_easy_perform(curl);
        }
    }
    curl_easy_cleanup(curl);
    return 0;
}

Kompilacja:

gcc -std=c99 -g -O3 -Wall -c -o blip.o blip.c

W linii 59 jest nazwa klienta, która nie wiem co oznacza. Bodajże „t” oznaczało twitter, bo początkowo miały być obsługiwane tweetnięcia (dorobię wkrótce).

Cały kod jest częścią większego projektu pisanego dla Infowizji.

Czujcie się swobodnie przerabiając ten kod, ale dajcie znać, jak coś udoskonalicie. Blip API jest dość zrozumiałe.

Z json-c mam problem. Przekazywanie większych tablic (np. ponad 3 statusy Blip) daje Segmentation fault. Z tego powodu robiona jest sztuczka z limit i offset (pętla zaczyna się w linii 63).
Tak samo problematyczny jest znak „>”. Dlatego proszę nie używać uśmieszków jak informujecie przyjaciół o swoich poczynaniach :>

Nie zrozumiałem CURLOPT_WRITEDATA, więc wywołanie programu (z opcją -v) kończy się komunikatem:

* Failed writing body (0 != 324)
* Closing connection #0
* Failed writing received data to disk/application

Jeśli ustawiacie dodatkowe nagłówki za pomocą curl_slist_append() (u mnie linie 60-62), pamiętajcie, że append w nazwie funkcji robi append. Ustawienie tego samego nagłówek kilka razy skutkuje odpowiedzią serwera:

HTTP/1.1 400 Bad Request

Napisałem też identycznego klienta w Perl. Ale coś się zagubił w repozytorium…