Доброго времени суток всем
есть FreeBSD 8.1 ZFS Baculaконтролер:
atapci0: <SiI 3512 SATA150 controller> port 0x9000-0x9007,0x9400-0x9403,0x9800-0x9807,0x9c00-0x9c03,0xa000-0xa00f mem 0xeb000000-0xeb0001ff irq 11 at device...
диски:
ad4: 1907729MB <WDC WD20EARS-00MVWB0 51.0AB51> at ata2-master UDMA100 SATA 1.5Gb/s
ad6: 1907729MB <WDC WD20EARS-00MVWB0 51.0AB51> at ata3-master UDMA100 SATA 1.5Gb/sсобраны в gmirror
ПРОБЛЕМА:
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011071
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011071
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011103
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011231
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011327
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011455
ad6: TIMEOUT - WRITE_DMA retrying ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011519
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12011711
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12007071
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012095
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012287
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA48 retrying (1 retry left) LBA=1518346580
ad6: FAILURE - WRITE_DMA48 status=51<READY,DSC,ERROR> error=10<NID_NOT_FOUND> LBA=1518346580
GEOM_MIRROR: Request failed (error=5). ad6[WRITE(offset=777393448960, length=5120)]
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012351
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012447
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012479
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012543
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=12012543
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
............................
Тоже самое происходит и с ad4
(последний даже вылетел из gmirror пришлось делать rebuilt)
читал что бывают проблемы с определенными контролерами в том числе и с (SiI 3215)
но все посты относились к времени до 8 версии FreeBSD
Диски проверены -оба в порядке .
Помогите куда копать ...
Спасибо
> Тоже самое происходит и с ad4
> (последний даже вылетел из gmirror пришлось делать rebuilt)
> читал что бывают проблемы с определенными контролерами в том числе и с
> (SiI 3215)
> но все посты относились к времени до 8 версии FreeBSD1) Покажите смарт обоих дисков.
2) Покажите вывод:zpool upgrade
zfs upgrade
3) Замените SATA-data шлейфы
4) Внимательно осмотрите материнку на предмет перегрева и вздувшихся кондеров.
5) Обновитесь до 8.2-Stable с обновлением ZFS до v28
6) Не устанавливайте драйвер ada, продолжайте юзать ad
> 1) Покажите смарт обоих дисков.
bacula# smartctl /dev/ad4 -a
smartctl 5.41 2011-06-09 r3365 [FreeBSD 8.1-RELEASE i386] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Green (Adv. Format)
Device Model: WDC WD20EARS-00MVWB0
Serial Number: WD-WMAZA5133471
LU WWN Device Id: 5 0014ee 05823474e
Firmware Version: 51.0AB51
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
Sector Size: 512 bytes logical/physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Fri Oct 28 16:12:47 2011 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSEDGeneral SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (37500) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3035) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 253 253 021 Pre-fail Always - 1233
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 30
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 289
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 28
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 26
193 Load_Cycle_Count 0x0032 198 198 000 Old_age Always - 8023
194 Temperature_Celsius 0x0022 124 112 000 Old_age Always - 26
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0SMART Error Log Version: 1
No Errors LoggedSMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]
SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.bacula# smartctl /dev/ad6 -a
smartctl 5.41 2011-06-09 r3365 [FreeBSD 8.1-RELEASE i386] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Green (Adv. Format)
Device Model: WDC WD20EARS-00MVWB0
Serial Number: WD-WMAZA5122099
LU WWN Device Id: 5 0014ee 0ad78e2c5
Firmware Version: 51.0AB51
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
Sector Size: 512 bytes logical/physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Fri Oct 28 16:14:06 2011 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSEDGeneral SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (37680) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 255) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3035) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 0
3 Spin_Up_Time 0x0027 253 253 021 Pre-fail Always - 1233
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 30
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 287
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 28
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 26
193 Load_Cycle_Count 0x0032 198 198 000 Old_age Always - 8689
194 Temperature_Celsius 0x0022 123 111 000 Old_age Always - 27
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0SMART Error Log Version: 1
No Errors LoggedSMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]
SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
> 2) Покажите вывод:
>zpool upgrade
> zfs upgrade
>
zpool upgrade
This system is currently running ZFS pool version 14.All pools are formatted using this version.
zfs upgrade
This system is currently running ZFS filesystem version 3.All filesystems are formatted with the current version.
> 3) Замените SATA-data шлейфы
> 4) Внимательно осмотрите материнку на предмет перегрева и вздувшихся кондеров.На взгляд все в порядке , шлейфы меняли
> 5) Обновитесь до 8.2-Stable с обновлением ZFS до v28
> 6) Не устанавливайте драйвер ada, продолжайте юзать adЗабыл указать что Zfs использвуется только для хранинеия bacula
система стоит на ufs
bacula# df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/mirror/gm0s1a 496M 319M 137M 70% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/mirror/gm0s1e 496M 12K 456M 0% /tmp
/dev/mirror/gm0s1f 31G 2.3G 26G 8% /usr
/dev/mirror/gm0s1d 2.9G 138M 2.5G 5% /var
backups 1.7T 21K 1.7T 0% /backups
backups/j-server 1.7T 20K 1.7T 0% /backups/j-server
backups/test 1.8T 2.8G 1.7T 0% /backups/test
bacula# cat /etc/fstab
# Device Mountpoint FStype Options Dump Pass#
/dev/mirror/gm0s1b none swap sw 0 0
/dev/mirror/gm0s1a / ufs rw 1 1
/dev/mirror/gm0s1e /tmp ufs rw 2 2
/dev/mirror/gm0s1f /usr ufs rw 2 2
/dev/mirror/gm0s1d /var ufs rw 2 2
/dev/acd0 /cdrom cd9660 ro,noauto 0 0
> 6) Не устанавливайте драйвер ada, продолжайте юзать adне подскажите, чем вызвана данная рекомендация?
>[оверквотинг удален]
> ad6: TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=11971263
> ............................
> Тоже самое происходит и с ad4
> (последний даже вылетел из gmirror пришлось делать rebuilt)
> читал что бывают проблемы с определенными контролерами в том числе и с
> (SiI 3215)
> но все посты относились к времени до 8 версии FreeBSD
> Диски проверены -оба в порядке .
> Помогите куда копать ...
> Спасибоудивительно как люди любят экономить на фигне и делать через ж...у :(
1) контроллер SiL3512 нормальный контроллер в отличие от 3112 и 3114, но он SATA 150
2) использовать диски SATA300 с контроллером SATA 150, зачастую надеясь на
договор контроллера с дисками по скорости
3) использовать диски non-raid редакции в рейдах разного уровня, особенно WD без
учета TLER!осознаете и прочуствуете пп 2 и 3 и вопросы сами уйдут
>[оверквотинг удален]
>> (последний даже вылетел из gmirror пришлось делать rebuilt)
>> читал что бывают проблемы с определенными контролерами в том числе и с
>> (SiI 3215)
>> но все посты относились к времени до 8 версии FreeBSD
>> Диски проверены -оба в порядке .
>> Помогите куда копать ...
>> Спасибо
> удивительно как люди любят экономить на фигне и делать через ж...у :(
> 1) контроллер SiL3512 нормальный контроллер в отличие от 3112 и 3114, но
> он SATA 150да, нормальность этого контроллера зависит от производителя, ибо SiL выпускает только
чипсеты
> 1) контроллер SiL3512 нормальный контроллер в отличие от 3112 и 3114, но
> он SATA 150
> 2) использовать диски SATA300 с контроллером SATA 150, зачастую надеясь на
> договор контроллера с дисками по скорости
> 3) использовать диски non-raid редакции в рейдах разного уровня, особенно WD без
> учета TLER!
> осознаете и прочуствуете пп 2 и 3 и вопросы сами уйдутспасибо
Но как я понял из за отсутствия TLER диск вываливается из raid при наличие ошибок ,т.е. ошибки происходят не из за этого ..
TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=9712911
вызвана различной скоростью между SATA/300 и SATA/150?
я так понимаю что теперь с дисками уже нечего не поделать , не ужели на них не получится рейда ? или возможно ли перепрошить с TLER?
>[оверквотинг удален]
>> 2) использовать диски SATA300 с контроллером SATA 150, зачастую надеясь на
>> договор контроллера с дисками по скорости
>> 3) использовать диски non-raid редакции в рейдах разного уровня, особенно WD без
>> учета TLER!
>> осознаете и прочуствуете пп 2 и 3 и вопросы сами уйдут
> спасибо
> Но как я понял из за отсутствия TLER диск вываливается из raid
> при наличие ошибок ,т.е. ошибки происходят не из за этого ..
> TIMEOUT - WRITE_DMA retrying (1 retry left) LBA=9712911
> вызвана различной скоростью между SATA/300 и SATA/150?думаю что НЕТ, я описал общие варианты на чем экономят, желая получить объемы, скорости
и надежность.Если память не изменяет, из-за TLER возникают timeout'ы потому как включается
какой-то там внутренний механизм проверки у WD и увеличивается время отдачи
данных контроллеру. Уточните в wikipedia, лучше аглицкий вариант.
Time-Limited Error Recovery механизм у WD и для RAID-Edition дисков он отключен,
в других обычно by default сколько-то там секунд, что неприемлемо для RAID'ов,
скачайте с WD утилиту WDTLER.EXE и проверьте что на ваших дисках TLER в disable,
если нет - отрубите.
А в целом, не советуют брать диски WD под RAID или ZFS в серьезные продакшн решения
из линейки отличной от RAID (re3, re4, raptor).Про SATA 150 и 300 имелось ввиду что контроллер с диском договариваются о скорости,
но можно принудительно выставить на дисках SATA300 -> режим SATA150Вроде все, мб чего забыл...
> скачайте с WD утилиту WDTLER.EXE и проверьте что на ваших дисках
> TLER в disable,
> если нет - отрубите.как я понял это технология Наоборот должна присутсвовать.т.е если диск в самопровеке не успел уложится в интервал времени ( пишут в 8 сек) то он посылает сообщение рэйду .
тем не менее , суть вопроса не в этом )TIMEOUT - WRITE_DMA
народ need help
>> скачайте с WD утилиту WDTLER.EXE и проверьте что на ваших дисках
>> TLER в disable,
>> если нет - отрубите.
> как я понял это технология Наоборот должна присутсвовать.те по вашему, чем дольше задержка в контроллере НА диске для унутреннего механизма
Recovery, тем лучше RAID'у?! ;-)
Бедный RAID (софтверный или железный) ждет-ждет ответа, ждет-ждет ответа, а потом
берет и переводит RAID в degraded. :(
>>> скачайте с WD утилиту WDTLER.EXE и проверьте что на ваших дисках
>>> TLER в disable,
>>> если нет - отрубите.
>> как я понял это технология Наоборот должна присутсвовать.
> те по вашему, чем дольше задержка в контроллере НА диске для унутреннего
> механизма
> Recovery, тем лучше RAID'у?! ;-)
> Бедный RAID (софтверный или железный) ждет-ждет ответа, ждет-ждет ответа, а потом
> берет и переводит RAID в degraded. :(ну и про производителя контроллера вы тоже не обмолвились, любит у нас народ
экономить и использовать всякие Orion, ST-Lab и прочую...
>>>> скачайте с WD утилиту WDTLER.EXE и проверьте что на ваших дисках
>>>> TLER в disable,
>>>> если нет - отрубите.
>>> как я понял это технология Наоборот должна присутсвовать.
>> те по вашему, чем дольше задержка в контроллере НА диске для унутреннего
>> механизма
>> Recovery, тем лучше RAID'у?! ;-)
>> Бедный RAID (софтверный или железный) ждет-ждет ответа, ждет-ждет ответа, а потом
>> берет и переводит RAID в degraded. :(ну вроде как TLER уменьшает задержку
http://en.wikipedia.org/wiki/Time-Limited_Error_Recovery
...
If the drive itself is inherently reliable but has some bad sectors, then TLER and similar features prevent a disk from being unnecessarily marked as 'failed' by limiting the time spent on correcting detected errors before advising the array controller of a failed operation. The array controller can then handle the data recovery for the limited amount involved, rather than marking the entire drive as faulty...не суть ...
> ну и про производителя контроллера вы тоже не обмолвились, любит у нас
> народ
> экономить и использовать всякие Orion, ST-Lab и прочую...DIGITUS контролер
>[оверквотинг удален]
> then TLER and similar features prevent a disk from being unnecessarily
> marked as 'failed' by limiting the time spent on correcting detected
> errors before advising the array controller of a failed operation. The
> array controller can then handle the data recovery for the limited
> amount involved, rather than marking the entire drive as faulty...
> не суть ...
>> ну и про производителя контроллера вы тоже не обмолвились, любит у нас
>> народ
>> экономить и использовать всякие Orion, ST-Lab и прочую...
> DIGITUS контролерне скажу за этот контроллер, а про TLER почитайте:
http://forums.freebsd.org/showthread.php?t=17036
и там есть две ссылки в начале и в конце.Год или больше назад я нашел нужную мне информацию в списках рассылки FreeBSD
и ZFS, потом в зарубежных форумах по ZFS и RAID, sorry, было давно и ссылки не сохранил,
почитайте верхнее и поищите дополнительно сами.
>[оверквотинг удален]
>>> экономить и использовать всякие Orion, ST-Lab и прочую...
>> DIGITUS контролер
> не скажу за этот контроллер, а про TLER почитайте:
> http://forums.freebsd.org/showthread.php?t=17036
> и там есть две ссылки в начале и в конце.
> Год или больше назад я нашел нужную мне информацию в списках рассылки
> FreeBSD
> и ZFS, потом в зарубежных форумах по ZFS и RAID, sorry, было
> давно и ссылки не сохранил,
> почитайте верхнее и поищите дополнительно сами.http://lists.freebsd.org/pipermail/freebsd-hardware/2008-Nov...
ага, вот вроде где и когда я нашел про TLER