Перенос данных из Excel в формат базы данных с использованием TMAPlatform.
Обновлено: 18 авг. 2019 г.
Ежедневно на практике общаясь с клиентами мы сталкиваемся с проблемой ведения данных и подготовки отчетов с использованием Excel. Каждый раз приходится объяснять основы баз данных и принципы работы с данными и то, как легко можно перейти от работы с Excel в нормальную базу данных со всеми вытекающими преимуществами. Вот некоторые из них:
- Многопользовательский доступ к работе с данными (занесение данных, обработки, расчеты и получение отчетов)
- Распределенные права доступа к данным. Как легко можно настроить так, чтобы люди видели только то, что им позволено.
- Логирование всех действий пользователей. Всегда можно разобраться кто и когда вносил или изменял данные.
- Автоматическое архивирование базы данных. Данные полностью защищены от случайной потери. Можно восстановить любую сохраненную версию базы данных.
- Признаки данных определены типами полей и справочниками, что исключает вариативный ввод.
Одновременно исключается ряд проблем, которые рано или поздно начинают сильно влиять на рабочие процессы и результаты деятельности. Вот некоторые из них:
- Файлы вырастают до гигантских размеров и перестают нормально работать.
- Одни и те же данные разбросаны по разным файлам.
- Плохо систематизированное хранение файлов.
- Непонятная структура логики расчетов.
- Доступность информации различным сотрудникам и возможность скопировать файл и украсть информацию.
- Невозможно отслеживать кто и когда вносил или изменял данные.
- Невозможно проверить корректность итоговых значений после сложных вычислений.
- Невозможно детализировать.
Excel – это великолепный и очень мощный инструмент работы с цифрами, но он не является инструментом для учета и хранения данных. При сложных настройках можно использовать Excel в связке с MS SQL. В этом случает Excel работает как «клиентское приложение» в «клиент-серверной» архитектуре, но на практике такие построения мы встречали крайне редко. Потому что очень сложно построить такую архитектуру.
Обычно мы предлагаем «оцифровать» данные, которые уже ведутся в Excel и предоставить пользователям простейшее приложение на базе TMAPlatofrm для работы с этими данными. Это быстро, просто и недорого.
Перевод данных из Excel в нормальный вид базы данных и настройка клиентского приложения на базе TMAPlatform обычно занимает считанные часы, соответственно стоимость такого решения минимальна. Плюс заказчик получает возможность развивать систему, поскольку TMAPlatform является гибким конструктором бизнес-приложений, а все настройки и код таких приложений открыты. В любой момент времени, если потребуется добавить новые виды данных или новые информационные поля, либо создать новую форму отчета, на доработки также уходят считанные часы, и пользователи практически сразу получают улучшенное решение. В этом была основная идея создания такой платформы.
Разберем ситуацию на примере данных из открытых источников.
Недавно отрасль обращения с бытовыми отходами стали переводить на «цифру». Исполнительная власть получила законодательное требование «оцифровать» территориальную схему операций с отходами. Другими словами, перевести ее в электронный вид и выложить в общий доступ. Сотрудники комитета по благоустройству своими силами собрали данные об образователях отходов в файл Excel, а на сайт выложили сконвертированный в PDF формат файл.
По факту они столкнулись со всеми вышеперечисленными проблемами. Когда нас пригласили решить эти проблемы, мы предложили оцифровать данные с использованием TMAPlatform и вся работа заняла 6 рабочих часов (12 000 рублей) и не требовала никаких специальных прикладных решений.
Исходный файл выглядел так:
Без установленных фильтров файл на моем компьютере с I7 процессором и 32 ГБ оперативной памяти открывался 10 минут.
Что получилось в результате:
Мы загрузили в базу данных оба файла. Плюс загрузили файлы отчетов из районных администраций, в которых были данные для привязки источника образования отходов к конкретной контейнерной площадке. И настроили клиентское приложение для работы с этими данными на базе TMAPlatform.
В результате заказчик в лице комитета по благоустройству на следующий же день получил действительно оцифрованную информацию, где все признаки источников образования и контейнерных площадок были вынесены в справочники. При работе с реестрами у пользователей появился очень широкие возможность сортировки и отбора, настройки представления, выгрузки в тот же Excel. Это все базовые опции TMAPlatform.
В последствии в приложение были загружены данные классификатора отходов:
По всем адресам были проставлены идентификаторы федеральной адресной системы (ФИАС) и географическое положение:
Благодаря наличию данных о географическом положении без большого труда получилось сделать веб представление данных на географической карте, к примеру в яндекс сервисе.
В чем разница работы с данными в Excel и в полноценной базе данных.
Excel – это плоская таблица со свободным порядком ячеек данных. Это как очень продвинутый калькулятор. Если мы работаем с данными, то мы работаем в терминологии Excel со списками. В Excel можно создать таблицу данных в виде списка. В шапке таблицы каждое поле обозначает признак. Более того, можно на отдельных листах создать подобие справочников, и поля списка будут заполняться из выпадающих списков. На других отдельных листах можно создать отчеты, которые будут собирать данные списков в необходимое представление. Совсем сложные процедуры и представления можно делать макросами. Но это все равно не будет полноценная база данных со всеми необходимыми для работы с данными свойствами.
Есть в пакете Office у майкрософта Access. Это полноценная база для небольших данных. Но для пользователей это приложение получилось сложновато и очень мало кто им пользуется.
Для перехода с Excel в базу данных с использованием TMAPlatform не требуется специальной квалификации ваших сотрудников. Достаточно того, что они знают предметную область и могут объяснить нашему специалисту, какие от куда данные берутся, как хранятся, какие признаки используются, какие отчеты нужны. И через считанные часы у вас будет полноценное приложение, для работы с данными, которое в последствии вы сможете легко развивать.
На некоторых предприятиях наших клиентов первый переход с Excel на СУБД с использованием TMAPlatform был первым шагом к созданию полноценной системы автоматизации работы предприятия.
Что необходимо сделать, чтобы избавиться от проблем, связанных с ведением данных на Excel.
Шаг 1.
Мы изучаем существующие файлы Excel и общаемся с их создателями и пользователями.
Шаг 2.
Средствами TMAPlatform мы создаем структуру СУБД в соответствии с существующими файлами и пожеланиями пользователей. Загружаем данные из Excel в созданную структуру. При необходимости наводим порядок в данных.
Шаг 3.
Средствами TMAPlatform настраивается интерфейс, права доступа и отчеты.
Результат перехода с Excel на полноценную СУБД у всех может быть разный, но абсолютно точно вы получаете экономический эффект по времени сотрудников, качественный эффект по качеству информации и человеческому фактору и, что немаловажно, эффект понижение рисков по информационной безопасности.