Replikacja baz MySQL

function read_query( packet )
--      local log_file = '/var/log/mysql-proxy.log'
--      local fh = io.open(log_file, 'a+')
if string.byte(packet) == proxy.COM_QUERY then
local query = string.sub(packet, 2)
if not (string.match(string.upper(query), '^%s*SELECT') or string.match(string.upper(query), '^%s*SHOW')) then
--                      fh:write(string.format("%s %s\t%s\t%s\t%s\n", os.date('%Y-%m-%d %H:%M:%S'), proxy.connection.client.address, proxy.connection.client.username, proxy.connection.client.default_db, query))
proxy.response.type = proxy.MYSQLD_PACKET_ERR
proxy.response.errmsg = "Only SELECT and SHOW queries are available"
return proxy.PROXY_SEND_RESULT
end
end
--      fh:flush()
end

W powyższym kodzie zakomentowałem linijki odpowiadające za logowanie wszystkiego, co nie zaczyna się od SELECT lub SHOW.

Przy okazji poznałem głębiej jak działają takie skrypty (kiedyś coś tam już grzebałem). Do tego doszedłem:

• proxy.queries to kolejka zapytań, które sami (w skrypcie) stworzymy. reset() nie usunie nam zapytania, które przesyła klient (tym samym len() zawsze pokaże 0),
• jeżeli nie będziemy manipulować kolejką, to do serwera zawsze dojdzie to co wysłał klient,
• manipulować kolejką możemy poprzez np. append(), a następnie wysyłać zapytania przez proxy.PROXY_SEND_QUERY,
• możemy zupełnie pominąć to co wysyła klient i przygotować dla niego własną odpowiedź lub błąd (jak w skrypcie wyżej).

Warto zajrzeć na:

• Lua 5.1 Reference Manual
• Getting started with MySQL Proxy

Prosty sposób – REVOKE i telefon. Mało elegancki! My szukamy czegoś na poziomie ;-)

Od pewnego czasu śledzę projekt mysql-proxy. Wprawdzie już jakiś czas projekt jest nieuaktualniany (At revision 511.), ale mam nadzieję, że Jan Kneschke cały czas pracuje…

Początkowo używałem mysql-proxy jako typowego pośrednika, co było pomocne przy przenoszeniu baz (sporo klientów łączyło się przez UNIX socket). Nie sprawdzał się za dobrze (ostatnia testowana wersja nie zawsze łączyła z PHP, wcześniejsze miały duże problemy ze stabilną pracą w ogóle). Na podobny projekt – pgpool-II (dla PostgreSQL) nie narzekałem nigdy. Niemniej z racji długości życia nie ma ich co porównywać.

Dla śledzenia użytkowników z tematu napisałem skrypt (LUA), który każde połączenie zapisuje do pliku dziennika (można przerobić na zapisywanie do bazy + jakiś licznik). Informacją wystarczającą jest IP klienta, nazwa użytkownika oraz baza, do której się podłączył. Do posprzątania nic więcej nas nie interesuje.
Sposób uruchomienia mysql-proxy opisany jest w dokumentacji, więc warto tam zajrzeć.
Skrypt wygląda tak:

local log_file = ‘/tmp/mysql.log’
local fh = io.open(log_file, „a+”)

function read_auth_result(auth)
if auth.packet:byte() == proxy.MYSQLD_PACKET_OK then
fh:write(
string.format(„%s %s\t%s\t%s\n”,
os.date(‘%Y-%m-%d %H:%M:%S’),
proxy.connection.client.address,
proxy.connection.client.username,
proxy.connection.client.default_db))
end
fh:flush()
end

Ze struktury proxy.connection.client przyda nam się address (adres IP klienta), username (nazwa uzytkownika) oraz default_db (baza, do której zostało wykonane połączenie). Jest jeszcze scrambled_password, ale logowanie tego podpada pod inwigilację. Logujemy tylko uwierzytelnionych użytkowników (MYSQLD_PACKET_OK – 0, ale jest jeszcze możliwość użycia MYSQLD_PACKET_ERR – 255). I w wyniku otrzymujemy:

2008-07-18 11:52:40 127.0.0.1:43228    root    test
2008-07-18 12:00:16 127.0.0.1:62133    exg    exg
2008-07-18 12:00:32 127.0.0.1:62901    root    mysql
2008-07-18 12:07:54 10.74.0.254:11243 guzik
2008-07-18 12:08:00 10.74.0.254:16369 guzik test

Log bez bazy, to połączenie z konsoli. \u czy USE nie loguje się w ogóle.
Po długoterminowym zbieraniu informacji (do miesiąca) mamy już listę wykorzystywanych baz. Pozostaje dump i DROP :>

Pamiętajmy też, że baza widzi połączenie z mysql-proxy, więc należy dać stosowne uprawnienia dla tego hosta.

Więcej do poczytania:

• MySQL :: MySQL 5.0 Reference Manual :: 16.4 MySQL Proxy Scripting
• MySQL :: Getting started with MySQL Proxy
• Mystic’s Random Blog » (partial) MySQL Proxy API Doc