Разноуровневое хранение присоединенных файлов (расширение конфигурации 1С Предприятие 8.3 подойдет для любых типовых конфигураций)

Публикация № 1429666 23.04.21

Администрирование БД - Инструменты администратора БД

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Всем известно, что хранить файлы на диске, не лучшая с точки зрения скорости, надежности и безопасности затея. Но если хранить файлы в базе 1С, то база увеличивается на порядок. Хотелось бы всего и сразу, но в типовых конфигурациях это не реализовано. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

Эпиграф:

Всё, что есть прекрасного в этой жизни,
либо аморально, либо незаконно,
либо приводит к ожирению.

© Оскар Уайльд

Понятно, что впихнуть невпихуемое не получится. Но вполне возможно вынести присоединенные файлы из базы 1С не на файловые тома хранения, а в СУБД. Это снизит скорость доступа, но вернет  надежность и безопасность.
Примерно раз в год, на Инфостарте и/или на сайтах франчайзи появляются разработки, осуществляющие перенос файлов в СУБД.
Чего в них не хватает? Они (те которые я видел) переносят либо все, либо ничего. Хотя весь мир заодинэсья давно уже знает, что такое разноуровневое хранение.
Когда "горячие" данные (к которым идет постоянное обращение) остаются на быстром СХД, а "холодные" уходят на более медленное, зато более дешевое по накладным расходам хранения.
Данная разработка как раз и реализует подобный подход.
Запись присоединенных файлов всегда происходит типовыми механизмами в базу 1С, это обеспечивает скорость и надежность.
Далее, вручную или регламентным заданием по произвольному отбору эти данные могут быть в нерабочее время перемещены в ADODB совместимую СУБД и оттуда уже читаются может быть вообще никогда.

Для того, чтобы понять, какие файлы переносить, в расширении предусмотрено ведение статистики обращения к файлам.
С нее и рекомендуется начать работу.

Что получается в результате работы разработки:
Часть присоединенных файлов хранится в базе 1С, часть во внешнем хранилище. 
Все это происходит прозрачно для пользователя.

Безопасность и надежность внешнего хранения обеспечивается обезличенным хранением, вычислением хеш-функции как в момент переноса файла (в этот же момент происходит контрольное считывание файла и сверка CRC), так и средствами СУБД.

Кроме того реализованы возможности сверки CRC в любой момент по всему объему хранения и при считывании файла из СУБД по запросу 1С.

При этом полностью соблюдается лицензионное соглашение 1С о неизменности структуры хранения базы данных 1С.

Внимание!

В виде расширения под типовые конфигурации разработка в рабочих базах не проверялась, поэтому вы должны осознавать и принимать ответственность за свои данные.
В частности обязательно сделать/делать бекапы базы 1С и СУБД.

У вигляді розширення під типові конфігурації розробка в робочих базах не перевіряв, тому ви повинні усвідомлювати і приймати відповідальність за свої дані.
Зокрема обов'язково зробити / робити бекапи бази 1С і СУБД.
Tipik konfiqurasiyalar üçün bir əlavə olaraq, istehsal məlumat bazalarındakı inki#1;af təsdiqlənməmi#1;dir, buna görə məlumatlarınızın fərqində olmalı və məsuliyyət da#1;ımalısınız.
Xüsusilə, 1C verilənlər bazası və DBMS-nin ehtiyat nüsxələrini etmək / etmək vacibdir.
Tüüpiliste konfiguratsioonide laiendusena pole tootmisandmebaaside arengut kontrollitud, seega peaksite olema teadlik oma andmetest ja vastutama nende eest.
Eelkõige on hädavajalik teha / teha varukoopiaid 1C andmebaasist ja DBMS-ist.

На время тестирования сообществом цена будет снижена, а имеющие желание попробовать и имеющие от 500 плюсов в рейтинге по направлению администрирование могут получить разработку бесплатно.
Возможности разработки можно посмотреть на видео:

Что нужно знать и уметь делать самостоятельно для корректного использования обработки:

1. Уметь пользоваться и знать что такое ADO/ODBC.

2. Уметь пользоваться и иметь настроенную базу 1С (типовой или близкой к типовой конфигурации, список проверенных ниже по тексту), уметь подключать внешние обработки

3. Знать, что такое двоичные данные

4. Знать, что такое присоединенные файлы 1С

5. Уметь делать бэкапы и восстанавливаться из них

6. Обработка проверена на редакциях:
 для России:

  1. Документооборот 8 КОРП, редакция 2.1 (2.1.28.12)

работа на редакциях отличающихся вторым октетом (после первой точки) или выпущенных ранее 6 месяцев от указанных, не гарантируется и возврат денег по этой причине не производится 

Также возможна, но не обязательно реализуема автором, адаптация под любую имеющуюся у пользователя типовую или нетиповую конфигурацию. 

Требований к хранилищу СУБД нет,  главное чтобы оно поддерживало ADODB.
Полностью проверены:

  • Microsoft Access
  • Microsoft SQL

Установка и использование обработки:

  1. Обработка выполнена с использованием управляемых форм, соответственно, для конфигураций с обычным интерфейсом требует для работы включения в конфигурацию либо запуска в управляемом интерфейсе.
  2. Может использоваться платформа  8.3.12.х и старше

7. Код открыт и может быть доработан вами самостоятельно.

8. Принтскрины и видео могут быть для конфигурации не совпадающей с вашей, и могут отличаться по внешнему виду, но пункты меню и названия разделов для их открытия будут одинаковыми для всех типовых конфигураций.

9. Очень важная информация! Техподдержка сайта и разработчик это разные люди.

  • Техподдержка сайта в рабочее время ответит вам на вопросы связанные с приобретением обработки любым удобным для вас способом общения.
  • Разработчик ответит только в электронном виде. Срок ответа может достигать 24 часов в рабочие дни. Поэтому желательно, чтобы возникшая проблема была описана достаточно понятно. Это в ваших интересах.
  • Все дополнительные работы разработчиком производятся в нерабочее время.
  • Для предложений по улучшению и изменению функционала есть комментарии к этой публикации.
  • Так же разработчик никак не связан ни с 1С, ни с Microsoft , поэтому предусмотреть все возможные случаи использования обработки у него не получается. Спокойно опишите возникшую проблему и спокойно попробуем ее решить.

Внимание!

Если вы не поняли полностью или частично написанных выше строк, для внедрения обработки вам нужно обратиться к специалисту или подождать пока сама фирма 1С реализует нечто подобное в типовых конфигурациях.

Техподдержка по этим вопросам оказываться не будет. Спасибо за понимание.

Эти и другие вопросы можно задать в комментариях публикации или сообщении разработчику перед покупкой.

Обработка продолжает серию публикаций.
Ошибки и предупреждения журнала регистрации. Для любой типовой конфигурации 1С: Предприятие 8.3

Постановка задачи:

Необходима реализация в 1С разноуровневого хранения присоединенных файлов.

 

Решение:

Расширение конфигурации, внешняя обработка 1С, которые реализуют этот функционал. 
Внимание! 
Предполагается для начала аккуратное заполнение всех необходимых файлов в 1С.
Файлы нулевой длины не переносятся.

Порядок работы:

Внимание!  Все продаваемые за рубли мной на этом сайте обработки и расширения могут быть подключены людьми не владеющими навыками программирования 1С, но обязательно внимательно прочитавшими публикацию и посмотревшими видео. Это проверенный факт.
Не забываем про бэкап !

Подключаем расширение конфигурации и убираем флажок безопасного режима.

Подключаем обработку и отчет в 1С как внешние - рекомендуемый вариант действий.

После этого начнет собираться статистика использования файлов, ее можно увидеть отчетом.


По этой статистике можно построить запрос переноса файлов во внешнее хранилище.
Например все старше 1 года и не открывавшиеся в течении этого года.

Перенос файлов осуществляется внешней обработкой, ее можно для безопаасности не подключать в базу 1С.



Демо-настройки позволяют проверить основные моменты на файловых базах и 1 файле

Что в поставке публикации:

  • обработки 1С
  • скрипт создания БД Microsoft SQL
  • текстовый файл с настройками на всякий случай

Пример хранения файлов в СУБД

Пример информации о хранении файлов - регистр сведений 1С

Небольшая статистика

Документооборот 8 КОРП, редакция 2.1 (2.1.28.12) 476 файлов размером 25 Мб

  ПолучитьНавигационнуюСсылку ВоВременномХранилище Все файлы в 1С ПолучитьНавигационнуюСсылку ВоВременномХранилище  Все файлы в хранилище Длительность переноса файлов во внешнее хранилище Длительность возврата файлов в базу 1С
Microsoft Access Driver={Microsoft Access Driver (*.mdb, *.accdb)} 2 270 630 318
SQL EXPRESS Driver={ODBC Driver 17 for SQL Server} 2 238 511 252
SQL EXPRESS Driver={SQL Server} 2 235 531 253
MS SQL  Driver={SQL Server} 2 76 196 114
SQL EXPRESS Driver={SQL Server}
ADODB.Stream
2 12 31 15
         
         

 

UPD 26.04.2021 : Перешел на ADODB.Stream вместо потоков 1С при работе с двоичными данными и получил прирост скорости кратно

Расширение в поставке заменено.

Требования к запуску расширения:

Расширение предназначено для использования с актуальными типовыми конфигурациями, или нетиповыми, но включающими в себя библиотеку стандартных подсистем.

 

Установка и использование расширения:

  1. Расширение выполнено с использованием управляемых форм.
  2. Может использоваться платформа  8.3.16.х и старше

 

         Поддержка отчета, лицензирование:

  1. Расширение не имеет ограничений по периоду действия, количеству организаций и информационных баз.
  2. При возникновении вопросов по работе с отчетом, их можно обсудить в комментариях к публикации, личных сообщениях либо по e-mail, указанному в письме с отчетом.
  3. Не верю, что кто то этого может не знать, но специально для ИТ партнеров ОЗОН
    Разработка защищена авторским правом! То, что вы его скачали, не означает, что вы можете его бесплатно распространять на сайте ОЗОН и где бы то ни было.

Вопросы возврата

Пожалуйста, обратите внимание на правила работы магазина. Рекомендуем вам перед покупкой воспользоваться услугой подбора решения под ваши задачи, чтобы покупка оказалась максимально эффективной.


Заказать подбор решения


Скачать файлы

Наименование Файл Версия Размер
Разноуровневое хранение присоединенных файлов (расширение конфигурации 1С Предприятие 8.3 подойдет для любых типовых конфигураций):

.zip 133,61Kb
3
.zip 1.0.0.1 133,61Kb 3 Скачать


3600 руб.
1.0.0.1 0
Цена до 01.06.2023
1800 руб.
3600 руб.

0 1500 руб.

Специальные предложения

Вознаграждение за ответ
Показать полностью
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vandalsvq 1129 30.04.21 16:22 Сейчас в теме
А с каких пор хранение файлов в файловой системе не самый лучший вариант? Спорный вопрос
RALIN123; +1 Ответить
2. Техподдержка 30.04.21 18:38
(1)с момента его появления )
EliasShy; +1 Ответить
3. RALIN123 27 08.08.22 08:58 Сейчас в теме
4. azhilichev 206 17.08.22 10:15 Сейчас в теме
Это приемлемо работает, когда суммарный объем файлов небольшой. Когда объем файлов начинает измеряться в гигабайтах, хранение их в БД начинает влиять на время создания бэкапов БД.
5. Техподдержка 18.08.22 09:58
(4)
(4)
Это приемлемо работает
что именно приемлемо работает?
6. azhilichev 206 19.08.22 02:25 Сейчас в теме
(5) Моя ошибка, неправильно понял суть статьи. Вы предлагаете хранить файлы в отдельной БД SQL. Я посчитал, что в базе 1С. Прошу прощения.
Оставьте свое сообщение

См. также

Брандмауэр для сервера 1С Предприятие 8 - внешнее управление сеансами Промо

Инструменты администратора БД v8 1cv8.cf Платные (руб)

Управление возможностью начала и возобновления сеансов пользователей по различным условиям, ограничение общего числа возможных сеансов для работы с информационной базой, резервирование возможности работы с информационной базой определенных польззователей, запрет запуска нескольких сеансов для пользователя, журнализация событий начала (возобновления) и завершения (гибернации) сеансов, ведение списка активных сеансов для информационных баз кластера серверов

06.02.2017    24732    20    bpc222    17    

Обработка для изменения Даты Начала Действия счетов ЕПСБУ в БГУ ред.1

Инструменты администратора БД Корректировка данных v8 БГУ Государственные, бюджетные структуры Аудит и бухгалтерские услуги, юриспруденция 1С:Франчайзи, автоматизация бизнеса Россия БУ Госбюджет Платные (руб)

С помощью данной обработки можно быстро поменять дату начала действия счетов ЕПСБУ в программе "1С:Бухгалтерия государственного учреждения 8" ред.1. Обработка сразу же проводит актуализацию Регистра сведений "Рабочие счета". Тестировалась на конфигурации БГУ 1.0.60.7

1200 руб.

30.08.2021    3106    0    0    

Внешний отчет на СКД "Ошибки и предупреждения журнала регистрации". Для любой типовой конфигурации 1С: Предприятие 8.3

Журнал регистрации v8 1cv8.cf Абонемент ($m)

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Типовой отчет по журналу регистрации либо невозможно добавить в регламентную рассылку, либо невозможно настроить вариант (по крайней мере, я не знаю этих возможностей). Хотя очень неплохо иметь представление о происходящем в базе 1С именно на регулярной основе. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

4 стартмани

19.04.2021    5255    10    capitan    6    

Регистрация статусов документов для УТ 11.5, УТ 11.4, КА 2.4 и ERP 2.4 (расширение конфигурации)

Журнал регистрации Инструменты администратора БД Документооборот и делопроизводство v8 v8::ОУ v8::УФ ERP2 УТ11 КА2 УУ Платные (руб)

Расширение "Регистрация статусов документов" - это простое дополнение для УТ 11.5, УТ 11.4, КА 2.4 и ERP 2.4, предназначенное для сохранения истории редактирования документов в конфигурациях 1С. Просто установить и удалить, удобно пользоваться, наглядное представление журнала регистрации изменений в документах.

4900 руб.

12.12.2019    14652    1    1    

Мониторинг баз и серверов 1С Промо

Журнал регистрации Статистика базы данных HighLoad оптимизация Администрирование СУБД Технологический журнал v8 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

7500 руб.

28.08.2019    21634    46    17    

Быстрая свертка базы 1С средствами SQL

Свертка базы Администрирование СУБД v8 БП3.0 УТ11 Платные (руб)

Сверните базу данных 1С:Предприятие 8.3 в 10-20 раз быстрее! (для клиент-серверного варианта работы)

25000 руб.

28.10.2019    14283    7    32    

Завершение сеанса неактивных пользователей на сервере

Инструменты администратора БД v8 1cv8.cf Платные (руб)

Обработка позволяет отключить сеанс пользователя 1С при его простое (бездействии).

1000 руб.

30.03.2018    14127    4    5    

"2iS:Пользователи" - Центр управления доступом пользователей к базам 1С

Информационная безопасность Инструменты администратора БД v8 Платные (руб)

Конфигурация позволяет из одной точки управлять доступом пользователей ко всем базам 1С. Добавлять новых пользователей, отключать уволенных сотрудников, переназначать роли и профили (наборы ролей), импортировать настройки из конфигураций, инфобаз и Active Directory, выполнять автоматически в инфобазах любые дополнительные настройки после добавления \ обновления каждого пользователя.

70000 руб.

01.06.2017    31798    6    9    

"2iS:Интеграция" - Центр управления обменом данными. Сервисная шина предприятия (ESB). Промо

Мониторинг Инструменты администратора БД v8 1cv8.cf Платные (руб)

Программный продукт предназначен для построения единой централизованной системы управления инфраструктурой и интеграционными процессами компании.

6000 руб.

10.08.2012    108019    245    120