URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 53456
[ Назад ]

Исходное сообщение
"Раздел полезных советов: Выборка и копирование файлов по дат..."

Отправлено auto_tips , 30-Апр-09 12:11 
Столкнулся с такой задачей: из каталога необходимо выбрать и скопировать кучу файлов за один месяц.
Вооружившись командами cp, ls  и awk я приступил и вот что получилось:

   cp $(ls -l | grep 2009-01 | awk '{print $8}') /home/temp/

ls -l выводит содержимое каталога с датой
grep соответственно выбирает файлы за месяц
awk '{print $8}' выводит имя файла для команды cp

Дальше больше ...
Есть каталог в котором куча подкаталогов и в которых соответственно файлы, которые надо скопировать.
Тут на помощь приходит утилита du:

   cp $(du -a --time | grep 2009-01 | awk '{print $4}') /home/temp/

URL:
Обсуждается: http://www.opennet.me/tips/info/2055.shtml


Содержание

Сообщения в этом обсуждении
"Выборка и копирование файлов по дате в Linux"
Отправлено Manefesto , 30-Апр-09 12:11 
а что find освоить не судьба ?

"Выборка и копирование файлов по дате в Linux"
Отправлено prapor , 30-Апр-09 12:29 
Ну, там еще один момент есть, пайпу из грепа в авк можно убрать, оставив все авку:
ls | awk '/2009-01/ {print $8}'

"Выборка и копирование файлов по дате в Linux"
Отправлено sn , 30-Апр-09 13:52 
du: unrecognized option `--time'
Попробуйте `du --help' для получения более подробного описания.

"Выборка и копирование файлов по дате в Linux"
Отправлено Nemo , 30-Апр-09 14:00 
Зачем так изварщаться? Когда есть команда find !

"Выборка и копирование файлов по дате в Linux"
Отправлено Vardan , 30-Апр-09 15:01 
Chelowek ze napisal
Выборка и копирование файлов по дате............

"Выборка и копирование файлов по дате в Linux"
Отправлено Alexander , 30-Апр-09 15:51 
у find есть еще и -exec

"Выборка и копирование файлов по дате в Linux"
Отправлено Pervert , 30-Апр-09 15:24 
midnight commander

"Выборка и копирование файлов по дате в Linux"
Отправлено angel_il , 30-Апр-09 15:37 
mc этого пока не умеет.

"Выборка и копирование файлов по дате в Linux"
Отправлено User294 , 01-Май-09 18:29 
>mc этого пока не умеет.

Пардон, отсортировать по дате, выделить и скопировать.Что он там не умеет?Если надо 1 раз - вполне вариант.Правда если это надо регулярно, сие превращается в вариант для неленивых мартышек.А ленивые городят вот такие конструкции :)


"Выборка и копирование файлов по дате в Linux"
Отправлено pro100master , 06-Май-09 17:37 
вложенные папки и файлы не умеет. Да и если, судя по /tmp там 200к файлов и больше, клавишу отдавите :)))

"Выборка и копирование файлов по дате в Linux"
Отправлено Alexander , 30-Апр-09 15:49 
Что за ОС у топикстартера? BSD?

Вот в Archlinux (локаль ru_RU.utf8):

ls -l | awk '/Янв/{print $9}'


"Выборка и копирование файлов по дате в Linux"
Отправлено Dan , 30-Апр-09 19:57 
а при чем тут BSD?

"Выборка и копирование файлов по дате в Linux"
Отправлено Просто Лось. , 03-Май-09 05:01 
При формате вывода ls.

"Выборка и копирование файлов по дате в Linux"
Отправлено sys , 30-Апр-09 17:01 
А если в имени файл будет такая дата?
Используйте find - это логичнее.

"Выборка и копирование файлов по дате в Linux"
Отправлено bogus , 30-Апр-09 18:01 
гы гы гы, улыбнуло, больше нечего сказать.

"Выборка и копирование файлов по дате в Linux"
Отправлено Аноним , 30-Апр-09 18:16 
Мда, find освоить не судьба... Чайники пишут mini-HOWTO на opennet?
Файлы с пробелами в именах обработаны не будут.
Пользуйтесь
find . -type f -mtime -30 -print0 | xargs -0 cp -t targetdir/

"Выборка и копирование файлов по дате в Linux"
Отправлено Sergii Golovatiuk , 01-Май-09 03:07 
Смотрю на эти сложности и радует что народ пробует все средства для достижения цели. Задача понятна, но решение не универсальное. А что, если надо скопировать данные только за 14-16 Января 2009?
Используйте:
find -mtime +$(expr $(expr $(date +%s) - $(date -d "Jan 14 2009" +%s)) / 3600 / 24) -mtime -$(expr $(expr $(date +%s) - $(date -d "Jan 16 2009" +%s)) / 3600 / 24) -type f -exec cp {} TARGET \;

Если надо создать структуру каталогов:
find -mtime +$(expr $(expr $(date +%s) - $(date -d "Jan 14 2009" +%s)) / 3600 / 24) -mtime -$(expr $(expr $(date +%s) - $(date -d "Jan 16 2009" +%s)) / 3600 / 24) -type d -exec mkdir TARGET/{} \;

Читайте маны.


"Выборка и копирование файлов по дате в Linux"
Отправлено Crazy Alex , 01-Май-09 15:28 
Чем ваять такое, проще скрипт в три строки на перле каком написать.

"Выборка и копирование файлов по дате в Linux"
Отправлено Проходил мимо , 01-Май-09 18:44 
Какойй перл?? проще ман по find почтать а не плодить велосипеды
У вас много скриптов на пер/питоне/подставить_нужное на сервере крутится? или просто лениво для примитивных задачек освоить команду man ?
P.S больше велосипедов,красивых и разных

"Выборка и копирование файлов по дате в Linux"
Отправлено Просто Лось. , 03-Май-09 04:59 
1. Несколько лет назад BSDшный date не умел показывать произвольные даты, сейчас не знаю. Такая штука канала только для GNU.

2. Сравните скорость для большого, но обозримого количества файлов:
$ for N in `seq 1 1 100000` ; do echo "zzz" > ./$N.testfile ; done
$ time find ./ -type f -mtime -1 -exec cp {} ../bbbbbb \;

real    4m23.219s
user    0m21.110s
sys     3m47.518s
$ time cp $(ls -1)
$ mkdir ../cccccc
$ time cp $(ls -1) ../cccccc/

real    0m5.298s
user    0m0.906s
sys     0m3.995s
$  

Но с мыслью я согласен, надо использовать find.
$ time cp $(find ./ -type f -mtime -1) ../dddddd/

real    0m5.502s
user    0m0.747s
sys     0m4.310s
$


"Выборка и копирование файлов по дате в Linux"
Отправлено XoRe , 02-Май-09 16:49 
Для разового копирования пойдет)

А я бы сделал так:
for a in `find . ...`
do
[ -d $a ] && mkdir /home/temp/$a
[ -f $a ] && cp $a /home/temp/$a
done

Хотя это кому как больше нравится/умеется/привычнее)

Кстати не указано, файлы созданы за последний месяц, или измененные за последний месяц, или к ним был доступ за последний месяц.

Хотя судя по тому, что используется ls -l, идет речь об изменении.


"Выборка и копирование файлов по дате в Linux"
Отправлено Просто Лось. , 03-Май-09 04:33 
ыы (

bash: /bin/cp: Слишком длинный список аргументов

Для реально большой кучи не канает.


"Выборка и копирование файлов по дате в Linux"
Отправлено XoRe , 03-Май-09 16:29 
>ыы (
>
>bash: /bin/cp: Слишком длинный список аргументов
>
>Для реально большой кучи не канает.

Значит нужен for - он и 1000000 элементов может обработать)


"Выборка и копирование файлов по дате в Linux"
Отправлено vladis , 03-Май-09 19:55 
Ыхыхы. Нифига.

cp обламывается, потому что столько много аргументов не лезет в буфер командной строки шелла. for - [почти] точно такая же команда шелла с точно таким же буфером. Соответственно, for тоже обломается.

Расово верное решение здесь - передавать стопицот аргументов не через буфер, а через стандартный поток ввода-вывода. В него и двестипицот аргументов влезет:

ls -l ... | awk {...} | while read f; do something $f; done


"Выборка и копирование файлов по дате в Linux"
Отправлено Alex , 12-Май-09 17:15 
Супер. Воистину. Ровно стопицот (150000) файлов обработало.

Интересно, что

ls -tr /DIR1/DIR2/DIR3/* | while read f; ... - все-таки обломалось.

А вот

cd /DIR1/DIR2/DIR3/;
ls -tr * | while read f; ...

на ура отработало.


"Выборка и копирование файлов по дате в Linux"
Отправлено начинающий юзер , 11-Сен-13 10:19 
... и всё таки хотелось бы увидеть полноценный bash-скрипт для копирования/перемещения файликов с одинаковой датой (или одинаковым месяцем)

"Выборка и копирование файлов по дате в Linux"
Отправлено Алексей , 08-Май-14 10:48 
Здорово было бы еще команду заиметь которая копирует только файлы созданные в настоящий день, т.е. с датой создания совпадающей с датой установленной на сервере.