Наверняка, каждый сталкивался с задачей переноса лог-файлов из текстовых файлов в различные БД.
И, наверняка, каждый столкнувшийся начинал писать собственные скрипты под это дело.
Причем большинство виденных мной скриптов основывались на построчном чтении/переносе данных.
Данный способ, конечно, хорош и имеет право на существование, но, к сожалению не очень быстр.
Но в MySQL существует способ перенести данные из обычных текстовых файлов в БД
очень и очень быстро при помощи директивы LOAD DATA INFILEПример такого скрипта:
#!/bin/bash
nld='/var/log/squid3' # Путь к лог-файлам
nbd='/opt/backup/squid3' # Путь к папке резервного хранения лог-файлов
nrc=`squid3 -k rotate` # Команда ротации лог-файлов для данного сервиса
nlf='/var/log/logs2mysql/squid.log' # На всякий случай пишем что и когда делалиmh='localhost' # Mysql host
mu='root' # Пользователь mysql
mp='secret' # Его пароль
mb='logs' # База данных
mt='squid' # Таблицаecho `date +"%F %T"` "Начало выгрузки" >> $nlf && \
$nrc && \
for i in `ls $nld | grep access.log.`;
do
year=`date +"%Y"`
month=`date +"%m"`
day=`date +"%d"`
prefix=`date +"%F-%H"`
test -d $nbd/$year/$month/$day || mkdir -p $nbd/$year/$month/$day && \
cat $nld/$i | sed -e 's/\"/\\\"/g' | sed -e "s/\'/\\\'/g" | \
awk ' {print strftime("%F",$1),strftime("%T",$1),$1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$1 $2 $3 $4 $5 $6 $7 $8 $9 $10 $11} ' | \
sed -e "s/ /\t/g" > $nld/prepare.log && \
chmod 0777 $nld/prepare.log && \
mysql -h $mh -u $mu -p$mp -e "LOAD DATA INFILE \"$nld/prepare.log\" REPLACE INTO TABLE $mb.$mt;" && \
cat $nld/$i >> $nbd/$year/$month/$day/$prefix.log && rm $nld/$i && rm $nld/prepare.log
done
echo `date +"%F %T"` "Конец выгрузки" >> $nlfПоля для таблицы ('Поле'-тип)
'date'-date
'time'-time
'timestamp'-varchar(16)(разные сервисы пишут по разному.Кто-то с милисекундами, кто-то без)
'elapsed'-int(20)
'ip'-varchar(15)
'code'-varchar(20)
'size'-int(20)
'method'-varchar(10)
'url'-varchar(255)
'user'-varchar(255)
'direct'-varchar(25)
'mime'-varchar(25)
'hash'-varchar(255)uniqueC небольшими изменениями данный скрипт можно приспособить для обработки
лог-файлов не только squid, но и других сервисов. Необходимое условие:
четкое разграничение полей (можно, поиграться с указанием разграничителей полей
в директиве LOAD DATA INFILE).
К преимуществам данного скрипта можно отнести огромное быстродействие
(п4-3,2 1024Мб ОЗУ 4млн. строк за 10-12 сек.).Также по последнему полю "hash" мы можем уникальным
образом идентифицировать строку (при анализе логов за год по squid и net-acct я не обнаружил
одинаковых строк).А также гарантированное попадание всех строк в БД
(т.к. данные не удаляются при сбое mysql).URL:
Обсуждается: http://www.opennet.me/tips/info/1610.shtml
Почитать доку по mysql это теперь очень тяжело для админов? И даже те, кто до нее дошел не могут дочитать до конца и бросаются шаманить с sed/awk. Печально.
А подробней ? Сисадмин - он же не DBA и не программер
А то просто сказать можно все, но это слова
Насчет LOAD DATA идея хорошая, я делал INSERT записей по 500, но перед этим уникальность строки проверять при помощи SELECT, а это уже тормоза при большом числе строк
Надо попробовать будет
Вот только с hash не понятно, это просто контрольная сумма строки лога ?
для этого есть primary key
> Вот только с hash не понятно, это просто контрольная сумма строки лога ?ага.она самая. признак уникальности проверяется именно по оному.
пример встудию!
>Почитать доку по mysql это теперь очень тяжело для админов? И даже
>те, кто до нее дошел не могут дочитать до конца и
>бросаются шаманить с sed/awk. Печально.Ваше предложение по этому поводу?
ТЗ: необходимо перенести большое количество данных из текстовых файлов в БД. При этом необходимо обеспечить неповторение данных в БД, гарантированное занесение данных в БД, обеспечить резервное копирование исходных текстовых файлов, обеспечить очень быстрый перенос данных.
ждем Вашего ответа.
забыл добавить в ТЗ про экранирование кавычек, обработку дат (LOAD DATA INFILE этого не делает), обработку файлов по шаблону