Ciekawa formuła, a w zasadzie jej brak – to szkolenie odbyło się po raz pierwszy i my niejako kreowaliśmy jak będzie wyglądać w przyszłości. Ja wyniosłem wiele, więc wydaje mi się, że się udało.

Zaczęło się nietuzinkowo – dostaliśmy jakąś kopię bazy, która uległa awarii i żeby robić cokolwiek przez resztę dni, musieliśmy to odratować. Później było jeszcze ciekawiej.

Żeby było jeszcze bardziej PRO, zrobiliśmy nawet standby na ekspresie do kawy ;-)

Żeby nie było – ja też dałem coś od siebie prowadzącemu i kursantom. Promowałem Orbadę i tmux‘a!

rlwrap sqlplus

Historię możemy również przeszukiwać wstecz przy użyciu kombinacji [Ctrl] + [R].
Aby zadziałało uzupełnianie, musimy podać plik z listą słów (-f). Oczywiście nie będzie to tak inteligentne jak psql z PostgreSQL, bo dopasowywać będzie każde słowo, niezależnie od kontekstu, ale zawsze to coś.

SET SQLPROMPT "_USER'@'_CONNECT_IDENTIFIER _DATE> "

I już wśród wielu okien terminali wiemy gdzie pracujemy.

Godzinę można też dodać ustawiając zmienną time:

set time on

Przeczytaj więcej na:

• Configuring SQL*Plus
• Useful Prompt in SQL*Plus

SELECT
 TO_CHAR(START_TIME, 'yyyy-mm-dd HH24:MI') AS START_TIME,
 TO_CHAR(END_TIME, 'yyyy-mm-dd hh24:mi') AS END_TIME,
 TRUNC(TO_CHAR(END_TIME-START_TIME)*24) || ' h ' || TRUNC(MOD(TO_CHAR(END_TIME-START_TIME)*24*60,60)) || ' min' AS DURATION,
 DECODE(TRUNC(LOG(1024, OUTPUT_BYTES)) , 0, ROUND(OUTPUT_BYTES / POWER(1024, 0), 2) || ' Byte' , 1, ROUND(OUTPUT_BYTES / POWER(1024, 1), 2) || ' KB' , 2, ROUND(OUTPUT_BYTES / POWER(1024, 2), 2) || ' MB' , 3, ROUND(OUTPUT_BYTES / POWER(1024, 3), 2) || ' GB', 4, ROUND(OUTPUT_BYTES / POWER(1024, 4), 2) || ' TB') AS BACKUP_SIZE ,
 ROUND(OUTPUT_BYTES/INPUT_BYTES*100, 2) || ' %' AS RATIO,
 OBJECT_TYPE
FROM
 V$RMAN_STATUS
WHERE
 OBJECT_TYPE IN ('DB INCR', 'DB FULL', 'ARCHIVELOG')
 AND OPERATION = 'BACKUP'
 AND TO_CHAR(END_TIME, 'iw') >= TO_CHAR(SYSDATE-7, 'iw')
 AND TO_CHAR(START_TIME, 'iw') < TO_CHAR(SYSDATE, 'iw')
ORDER BY
 START_TIME ASC

W Orbada wynik może wyglądać tak:

Jak łatwo zauważyć, mamy kolejno: czas rozpoczęcia i zakończenia oraz czas trwania zadania, rozmiar wynikowy, mój wskaźnik 'ratio' czyli stosunek bajtów odczytanych do zapisanych, a na koniec rodzaj kopii. Kopia przyrostowa zawsze będzie oznaczona jako DB INCR, niezależnie od poziomu.

Powyższe działa na Oracle 10g2.

Sam napisałem własne i dopisuję na potrzeby chwili kolejne zapytania. Jednym z nich jest posortowana lista wolumenów (tak, dokładnie to co daje list media pool=<pool>, ale poukładane jak chcemy). Wygląda to tak:

:List Volumes with order:
*Enter Pool name:
*Enter order (eg. VolumeName, LastWritten)
SELECT Media.MediaId, Media.VolumeName, Media.VolStatus, Media.Enabled,
Media.VolBytes, Media.VolFiles, Media.VolRetention, Media.Recycle, Media.Slot,
Media.InChanger, Media.MediaType, Media.LastWritten
FROM Media, Pool
WHERE Pool.PoolId = Media.PoolId
AND Pool.Name = '%1'
ORDER BY Media.%2

Zapytania zapisujemy w pliku etc/query.sql (chyba, że dla Director mamy podaną inną nazwę pliku w QueryFile). Powyższe niech posłuży za przykład.
Nazwę rozpoczynamy od dwukropka, pytania o ew. parametry rozpoczynamy od gwiazdki, a zapytania piszemy po prostu tekstem bez wyróżników. Oczywiście komentarze to #. Jeśli chcemy się posłużyć parametrami, to odwołujemy się do nich za pomocą %n, gdzie n jest pozycją parametru liczonym od 1.
W zasadzie taka opcja jak sortowanie mogła by się znaleźć w standardzie, zwłaszcza, że przy dużej ilości wolumenów można się pogubić, no ale jakoś Request for Changes jeszcze nie wysłałem. Nie znalazłem też możliwości tworzenia dynamicznej listy przy podawaniu parametrów, RfC również nie wysłałem.
Wywołanie zapytania z poziomu konsoli Bacula za pomocą komendy query. Nie znalazłem możliwości szybkiego wpisania w stylu query queryid=21. No, ale pewnie nie jest tak dlatego, że zapytania są odczytywane z pliku w momencie podania komendy.

Kolejne zapytanie robi zestawienie wykonywanych kopii w minionym tygodniu. Akurat takiego formatu potrzebowałem, ale polecam dostosowanie do własnych potrzeb:

SELECT
 Name,
 Level,
 DATE_FORMAT(StartTime, '%Y-%m-%d %H:%i') AS StartTime,
 DATE_FORMAT(EndTime, '%Y-%m-%d %H:%i') AS EndTime,
 CONCAT(TIMESTAMPDIFF(HOUR, StartTime, EndTime), ' h ', MOD(TIMESTAMPDIFF(MINUTE, StartTime, EndTime), 60), ' min') AS Duration,
 Status.JobStatusLong
FROM
 Job,
 Status
WHERE
 Job.JobStatus = Status.JobStatus
 AND EndTime > DATE_FORMAT(DATE_SUB(NOW(), INTERVAL(DAYOFWEEK(NOW())+5) DAY), '%Y-%m-%d')
 AND StartTime <= DATE_FORMAT(DATE_SUB(NOW(), INTERVAL(DAYOFWEEK(NOW())-1) DAY), '%Y-%m-%d')
 AND Status.JobStatus != 'A'
ORDER BY
 StartTime ASC,
 EndTime ASC

Przy okazji testowania powyższego w Orbada zauważyłem kolejny ‘kwiatek’ w jdbc:mysql (vide jdbc:mysql i data). Funkcja TIMEDIFF() zwraca wartość w zmiennej typu TIME, jdbc:mysql i tak daje to jako TIMESTAMP, a jak dodatkowo przekroczymy zakres TIME, to otrzymamy wyjątek.
Obejściem zamiany typu przez jdbc:mysql jest sztuczna konwersja zwracanego wyniku do string za pomocą CONCAT().

Wspomniany zakres dla TIME to 838h, 59 min i 59 sek (polecam lekturę). Moje obejście to TIMESTAMPDIFF(), co widać w drugim zapytaniu.

java.sql.SQLException: Cannot convert value '0000-00-00 00:00:00' from column 11 to TIMESTAMP.
Caused by: java.sql.SQLException: Value '[B@13ad88b' can not be represented as java.sql.Timestamp

Nie jest to oczywiście błąd Orbada, a sterownika JDBC, z którego program korzysta przy połączeniach. Obejście to zmodyfikowanie connection string poprzed dodanie zeroDateTimeBehavior=convertToNull.

Nie reklamuję Orbada tylko dlatego, że Andrzej to mój kolega z pracy – to naprawdę dobry program. Spróbujcie sami, polećcie innym i wspomóżcie projekt (za niedługo będą nawet ładne koszulki z logo).

RUN {
ALLOCATE CHANNEL d1 DEVICE TYPE DISK FORMAT='/backup/%d_%p' MAXPIECESIZE=750G;
BACKUP REUSE INCREMENTAL LEVEL 0 DATABASE TAG='level0';
RELEASE CHANNEL d1;
}

No i zadziałało, ale nie tak jak się spodziewałem. RMAN po każdym wykonaniu BACKUP DATABASE robi kopię controlfile i spfile. Również wtedy gdy wyłączona jest opcja CONTROLFILE AUTOBACKUP. To dobre zachowanie, ale robi to w osobnym backupset, co znaczy, że znów użyje formatu /backup/%d_%p, a tym samym nadpisze pierwszy kawałek kopii bazy. No i kopia jest bezużyteczna. RMAN sam z siebie nie weryfikuje tego, więc kolejna kopia LEVEL 1 będzie przyrostowa, a nie pełna.

Rozwiązaniem problemu jest globalne ustawienie formatu dla kopii pliku controlfile, np. tak:

CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '/backup/%F';

Przy okazji – ustawiając nazwę możemy użyć zmiennych jak wspomiane %d rozwijane na nazwę bazy czy %p podające numer kawałka. Najczęściej używane są unikalne %F czy też %U. Po opis wszystkich odsyłam do dokumentacji.
Znajduje się w niej też wzmianka o %n czyli uzupełnienie nazwy bazy (%d) znakami x do ośmiu. Nazwane to zostało Porn star alias name, a książkowy scott pasuje do tego świetnie – scotxxx. Próbowałem znaleźć czy ktoś jeszcze używa takiej nazwy, bo spotkałem się z nią pierwszy raz, ale wyniki skierowały mnie na strony, które daleko odciągają uwagę od problemu kopii ;-)

• Remote SQL database (MySQL) support
• SQL DB PostgreSQL support

Przyznam, że zaintrygowało mnie to na tyle, że postanowiłem od razu sprawdzić z czym to się je i co można z tego wycisnąć.

Konfiguracja prosta – jak na załączonym obrazku:

Podajemy sposób przechowywania danych (Location): lokalny to prawdopodobnie PostgreSQL i zdalny, czyli MySQL. Wybrałem ten ostatni. Po uzupełnieniu niezbędnych danych (serwer, użytkownik, hasło, baza) zaznaczyłem logowanie wszystkich typów zdarzeń.
Jeśli użytkownik, którego podamy ma prawo do zakładania baz, nic więcej nie musimy robić. W przeciwnym razie należy mu pomóc.
Poniżej kawałek mojego query log‘a:

Connect fa@A.B.C.D on
Query create database if not exists `fortianalyzer`
Query use `fortianalyzer`
Query select tbl_name from table_ref where tbl_name like 'FG100A3907510579-elog-%' and row_num=0


Czyli mamy połączenie z serwerem, próbę założenia oraz podłączenie do bazy, a następnie przeszukanie tabeli table_ref (założona wcześniej). Tabela ta zawiera informacje o innych tablicach z logami – podejrzewam, że zaplanowana została jakaś rotacja (wskazują na to kolumny itime_start, itime_end, dtime_start, dtime_end, row_num). Czemu tylko podejrzewam, a nie wiem? Otóż w przypadku, gdy nie zostanie znaleziony żaden wynik, FortiAnalyzer próbuje stworzyć nową tablicę. U mnie próbuje, bo nikt nie pomyslał, że baza może mieć domyślne kodowanie ustawione na utf8 zamiast np. latin1, a przy ograniczeniach MySQL nie każdą tablicę da się założyć. Jakiej się nie da? Wyczerpująco opisuje to dodatek D.7.2. The Maximum Number of Columns Per Table dokumentacji MySQL.
Zapytanie jak poniżej:

create table `FG100A3907510579-elog-20100409220517` (`id` bigint unsigned not null primary key,`itime` datetime,`dtime` datetime,`cluster_id` varchar(24),`device_id` varchar(16),`log_id` smallint unsigned default 0,`subtype` varchar(255),`type` varchar(255),`timestamp` int unsigned default 0,`pri` varchar(255),`vd` varchar(255),`user` varchar(255),`msg` varchar(255),`ssid` varchar(255),`action` varchar(255),`session_id` int unsigned default 0,`count` int unsigned default 0,`proto` varchar(255),`profile` varchar(255),`cpu` tinyint unsigned default 0,`src` varchar(40),`epoch` int unsigned default 0,`mem` tinyint unsigned default 0,`duration` int unsigned default 0,`infected` int unsigned default 0,`from` varchar(255),`dst` varchar(40),`ha_group` tinyint unsigned default 0,`tunnel_id` int unsigned default 0,`status` varchar(255),`bssid` varchar(255),`tunnel_type` varchar(255),`event_id` int unsigned default 0,`ip` varchar(40),`ha_role` varchar(255),`rem_ip` varchar(40),`src_int` varchar(255),`suspicious` int unsigned default 0,`sn` varchar(255),`to` varchar(255),`total_session` int unsigned default 0,`ap` varchar(255),`scanned` int unsigned default 0,`vcluster` int unsigned default 0,`remote_ip` varchar(40),`carrier_ep` varchar(255),`imsi` varchar(255),`loc_ip` varchar(40),`dst_int` varchar(255),`from_vcluster` int unsigned default 0,`rem_port` smallint unsigned default 0,`src_port` smallint unsigned default 0,`msisdn` varchar(255),`tunnel_ip` varchar(40),`intercepted` int unsigned default 0,`vap` varchar(255),`service` varchar(255),`apn` varchar(255),`out_intf` varchar(255),`blocked` int unsigned default 0,`dst_port` smallint unsigned default 0,`mac` varchar(255),`to_vcluster` int unsigned default 0,`acct_stat` varchar(255),`selection` varchar(255),`reason` varchar(255),`group` varchar(255),`rate` tinyint unsigned default 0,`loc_port` smallint unsigned default 0,`vcluster_member` int unsigned default 0,`vcluster_state` varchar(255),`app-type` varchar(255),`nsapi` tinyint unsigned default 0,`dport` smallint unsigned default 0,`channel` tinyint unsigned default 0,`cookies` varchar(255),`checksum` int unsigned default 0,`dst_host` varchar(255),`nf_type` varchar(255),`vdname` varchar(255),`linked-nsapi` tinyint unsigned default 0,`next_stats` int unsigned default 0,`virus` varchar(255),`imei-sv` varchar(255),`devintfname` varchar(255),`security` varchar(255),`policy_id` int unsigned default 0,`rai` varchar(255),`hostname` varchar(255),`xauth_user` varchar(255),`uli` varchar(255),`xauth_group` varchar(255),`sent` bigint unsigned default 0,`policyid` int unsigned default 0,`rcvd` bigint unsigned default 0,`sess_duration` int unsigned default 0,`hbdn_reason` varchar(255),`banned_src` varchar(255),`end-usr-address` varchar(40),`msg-type` tinyint unsigned default 0,`sync_type` varchar(255),`banned_rule` varchar(255),`state` varchar(255),`vpn_tunnel` varchar(255),`sync_status` varchar(255),`alert` varchar(255),`sensor` varchar(255),`endpoint` varchar(255),`stage` tinyint unsigned default 0,`voip_proto` varchar(255),`deny_cause` varchar(255),`desc` varchar(255),`dir` varchar(255),`kind` varchar(255),`init` varchar(255),`mode` varchar(255),`cert-type` varchar(255),`ui` varchar(255),`exch` varchar(255),`rat-type` varchar(255),`c-gsn` varchar(40),`error_num` varchar(255),`u-gsn` varchar(40),`method` varchar(255),`phase2_name` varchar(255),`spi` varchar(255),`name` varchar(255),`c-sgsn` varchar(40),`request_name` varchar(255),`seq` varchar(255),`c-ggsn` varchar(40),`in_spi` varchar(255),`u-sgsn` varchar(40),`out_spi` varchar(255),`u-ggsn` varchar(40),`c-sgsn-teid` int unsigned default 0,`enc_spi` varchar(255),`c-ggsn-teid` int unsigned default 0,`dec_spi` varchar(255),`message_type` varchar(255),`malform_desc` varchar(255),`tunnel` varchar(255),`u-sgsn-teid` int unsigned default 0,`u-ggsn-teid` int unsigned default 0,`malform_data` int unsigned default 0,`tunnel-idx` int unsigned default 0,`line` varchar(255),`column` int unsigned default 0,`c-pkts` bigint unsigned default 0,`phone` varchar(255),`profile_group` varchar(255),`c-bytes` bigint unsigned default 0,`u-pkts` bigint unsigned default 0,`u-bytes` bigint unsigned default 0,`next_stat` int unsigned default 0,`user_data` varchar(255),`role` varchar(255),`result` varchar(255),`xauth_result` varchar(255),`esp_transform` varchar(255),`esp_auth` varchar(255),`error_reason` varchar(255),`peer_notif` varchar(255))

zakończy się niepowodzeniem, a serwer zwróci błąd:

ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. You have to change some columns to TEXT or BLOBs

Nie chce mi się nawet liczyć ile bajtów to zajmuje. A wystarczyło dopisać CHARACTER SET latin1…

Podejrzewam, że po poprawnym założeniu tabeli dopisze się coś do table_ref, ale jest już zbyt późno, a ja mam za dużo lat, żeby dochodzić jak to powinno wyglądać.

Tak czy inaczej – inżynierowie Fortinet tracą jeden punkt.

Innych nie znam, bo nie używałem. No, ale co tam z PHP może jeszcze być? SQLite? Ten akurat ma ograniczoną w ogóle liczbę funkcji (w dokumentacji nie znalazłem żadnego odpowiednika).