Перенос данных из Excel в формат базы данных с использованием TMAPlatform.

Пост обновлен 18 авг. 2019 г.

Ежедневно на практике общаясь с клиентами мы сталкиваемся с проблемой ведения данных и подготовки отчетов с использованием Excel. Каждый раз приходится объяснять основы баз данных и принципы работы с данными и то, как легко можно перейти от работы с Excel в нормальную базу данных со всеми вытекающими преимуществами. Вот некоторые из них:

- Многопользовательский доступ к работе с данными (занесение данных, обработки, расчеты и получение отчетов)

- Распределенные права доступа к данным. Как легко можно настроить так, чтобы люди видели только то, что им позволено.

- Логирование всех действий пользователей. Всегда можно разобраться кто и когда вносил или изменял данные.

- Автоматическое архивирование базы данных. Данные полностью защищены от случайной потери. Можно восстановить любую сохраненную версию базы данных.

- Признаки данных определены типами полей и справочниками, что исключает вариативный ввод.

Одновременно исключается ряд проблем, которые рано или поздно начинают сильно влиять на рабочие процессы и результаты деятельности. Вот некоторые из них:

- Файлы вырастают до гигантских размеров и перестают нормально работать.

- Одни и те же данные разбросаны по разным файлам.

- Плохо систематизированное хранение файлов.

- Непонятная структура логики расчетов.

- Доступность информации различным сотрудникам и возможность скопировать файл и украсть информацию.

- Невозможно отслеживать кто и когда вносил или изменял данные.

- Невозможно проверить корректность итоговых значений после сложных вычислений.

- Невозможно детализировать.

Excel – это великолепный и очень мощный инструмент работы с цифрами, но он не является инструментом для учета и хранения данных. При сложных настройках можно использовать Excel в связке с MS SQL. В этом случает Excel работает как «клиентское приложение» в «клиент-серверной» архитектуре, но на практике такие построения мы встречали крайне редко. Потому что очень сложно построить такую архитектуру.

Обычно мы предлагаем «оцифровать» данные, которые уже ведутся в Excel и предоставить пользователям простейшее приложение на базе TMAPlatofrm для работы с этими данными. Это быстро, просто и недорого.

Перевод данных из Excel в нормальный вид базы данных и настройка клиентского приложения на базе TMAPlatform обычно занимает считанные часы, соответственно стоимость такого решения минимальна. Плюс заказчик получает возможность развивать систему, поскольку TMAPlatform является гибким конструктором бизнес-приложений, а все настройки и код таких приложений открыты. В любой момент времени, если потребуется добавить новые виды данных или новые информационные поля, либо создать новую форму отчета, на доработки также уходят считанные часы, и пользователи практически сразу получают улучшенное решение. В этом была основная идея создания такой платформы.

Разберем ситуацию на примере данных из открытых источников.

Недавно отрасль обращения с бытовыми отходами стали переводить на «цифру». Исполнительная власть получила законодательное требование «оцифровать» территориальную схему операций с отходами. Другими словами, перевести ее в электронный вид и выложить в общий доступ. Сотрудники комитета по благоустройству своими силами собрали данные об образователях отходов в файл Excel, а на сайт выложили сконвертированный в PDF формат файл.

По факту они столкнулись со всеми вышеперечисленными проблемами. Когда нас пригласили решить эти проблемы, мы предложили оцифровать данные с использованием TMAPlatform и вся работа заняла 6 рабочих часов (12 000 рублей) и не требовала никаких специальных прикладных решений.

Исходный файл выглядел так:


Файл "Источники образования отходов"

Без установленных фильтров файл на моем компьютере с I7 процессором и 32 ГБ оперативной памяти открывался 10 минут.

Файл "Контейнерные площадки"

Что получилось в результате:

Мы загрузили в базу данных оба файла. Плюс загрузили файлы отчетов из районных администраций, в которых были данные для привязки источника образования отходов к конкретной контейнерной площадке. И настроили клиентское приложение для работы с этими данными на базе TMAPlatform.


Меню программы для работы с данными территориальной схемы

Формы для настройки прав доступа к данным территориальной схемы

Реестр и форма для работы с данными по источникам образования отходов

Реестр и форма данных Контейнерные площадки

В результате заказчик в лице комитета по благоустройству на следующий же день получил действительно оцифрованную информацию, где все признаки источников образования и контейнерных площадок были вынесены в справочники. При работе с реестрами у пользователей появился очень широкие возможность сортировки и отбора, настройки представления, выгрузки в тот же Excel. Это все базовые опции TMAPlatform.

В последствии в приложение были загружены данные классификатора отходов:


Федеральный классификатор коммунальных отходов загруженный в TMAPlatform

По всем адресам были проставлены идентификаторы федеральной адресной системы (ФИАС) и географическое положение:


Реестр адресов и форма с проставленным идентификатором ФИАС

Благодаря наличию данных о географическом положении без большого труда получилось сделать веб представление данных на географической карте, к примеру в яндекс сервисе.

В чем разница работы с данными в Excel и в полноценной базе данных.

Excel – это плоская таблица со свободным порядком ячеек данных. Это как очень продвинутый калькулятор. Если мы работаем с данными, то мы работаем в терминологии Excel со списками. В Excel можно создать таблицу данных в виде списка. В шапке таблицы каждое поле обозначает признак. Более того, можно на отдельных листах создать подобие справочников, и поля списка будут заполняться из выпадающих списков. На других отдельных листах можно создать отчеты, которые будут собирать данные списков в необходимое представление. Совсем сложные процедуры и представления можно делать макросами. Но это все равно не будет полноценная база данных со всеми необходимыми для работы с данными свойствами.

Есть в пакете Office у майкрософта Access. Это полноценная база для небольших данных. Но для пользователей это приложение получилось сложновато и очень мало кто им пользуется.

Для перехода с Excel в базу данных с использованием TMAPlatform не требуется специальной квалификации ваших сотрудников. Достаточно того, что они знают предметную область и могут объяснить нашему специалисту, какие от куда данные берутся, как хранятся, какие признаки используются, какие отчеты нужны. И через считанные часы у вас будет полноценное приложение, для работы с данными, которое в последствии вы сможете легко развивать.

На некоторых предприятиях наших клиентов первый переход с Excel на СУБД с использованием TMAPlatform был первым шагом к созданию полноценной системы автоматизации работы предприятия.

Что необходимо сделать, чтобы избавиться от проблем, связанных с ведением данных на Excel.

Шаг 1.

Мы изучаем существующие файлы Excel и общаемся с их создателями и пользователями.

Шаг 2.

Средствами TMAPlatform мы создаем структуру СУБД в соответствии с существующими файлами и пожеланиями пользователей. Загружаем данные из Excel в созданную структуру. При необходимости наводим порядок в данных.

Шаг 3.

Средствами TMAPlatform настраивается интерфейс, права доступа и отчеты.

Результат перехода с Excel на полноценную СУБД у всех может быть разный, но абсолютно точно вы получаете экономический эффект по времени сотрудников, качественный эффект по качеству информации и человеческому фактору и, что немаловажно, эффект понижение рисков по информационной безопасности.

Просмотров: 14

© 2020 «Аксел-Консалт»