Переходите на новый сайт Базы знаний. Актуализация контента происходит теперь там.





16 августа 2023
Анонс релиза PIX BI 1.26
Описание нового функционала
В версии 1.26 изменился провайдер для взаимодействия с ClickHouse. Для обеспечения работы с новым провайдером требуется изменить строку подключения в конфигурационном файле. Подробнее см. в описании релиза.
Расширен функционал и доработаны интерфейсы:
  • Undo-redo в режиме редактирования;
  • Функционал встраивания дашборда/приложения по ссылке и iframe;
  • Применение закладок по нажатию на кнопку;
  • Функция IF() языка PIX Meta;
  • Улучшенная визуализация KPI;
  • Функционал "Топ" в линейных, столбчатых диаграммах и прямой таблице;
  • "Удалить дубликаты", "Объединить" и "Разбить столбец" в ETL
  • Редактирование шагов в ETL;
  • Автоматическое распознавание типов данных для файлов;
  • Объединение наборов (JOIN, UNION) в ETL для источников на прямом подключении;
  • Расширение API методов для администратора;
  • Добавление кликабельных ссылок в ячейки прямой таблицы;
  • Индикация "битой" связи если после обновления данных кратность связи стала неактуальной
1. Визуализации
1.1. Undo-redo в режиме редактирования
При переходе в режим редактирования на верхней панели появляются стрелочки Undo-redo. Запоминаются все изменения состояния дашборда и визуализаций, кроме панели примененных фильтров. Применять Undo-redo можно через горячие клавиши Ctrl+Z и Ctrl+Y соответственно.

Undo-redo в режиме редактирования
Стэк изменений сохраняется в рамках одного режиме редактирования, при каждом новом входе в режим редактирования стэк очищается. Изменения запоминаются для одного пользователя, между пользователями изменения с помощью Undo-redo откатить или восстановить не получится.
1.2. Применение закладок по нажатию на кнопку
Для визуализации "Кнопка" добавилась новая опция "Закладка" в группе настроек "Действия". В выпадающем списке необходимо выбрать одну из общедоступных закладок, которая будет активироваться при нажатии на кнопку.

Применение закладок по нажатию на кнопку
Одновременно в кнопке может быть активен только один тумблер из "Навигация" или "Закладка". Активация второго тумблера автоматически деактивирует активный.
1.3. Улучшенная визуализация KPI
Визуализация KPI получила возможность отображать второй показатель для сравнения с основным показателем, отображать график на фоне, изменять размеры шрифтов в автоматически и применять условное форматирования для изменения цвета.

Улучшенная визуализация KPI
Визуализация может принимать две меры, первая будет отображаться в виде основного значения, вторая в виде значения для сравнения. Визуализация теперь может также принимать категорию для построения графика. График появляется автоматически при добавлении поля в "Категории".
Для размера шрифтов основного значения и значения для сравнения по умолчанию отображается размер шрифта "Авто", в этом случае размеры шрифта зависят от размера объекта.
Появилась новая группа настроек "Дополнительное значение", опции которой регулируют поведение второй меры. Кроме базовых настроек отображения есть настройка в виде тумблера, определяющая считать ли значения сравнительным с значением первой меры. В случае, если тумблер включен, слева от значения появляются стрелочки вверх и вниз, которые отображаются в зависимости от того значение второй меры больше или меньше нуля соответственно.
Также добавилась группа настроек для управления графиком, где можно выбрать визуализацию для отображения из "Линейная диаграмма с заполнением" и "Столбчатая диаграмма". Для графика есть возможность настроить сортировку классическим образом.
Для настроек цвета основного значения, дополнительного значения и графика появилась возможность выбрать цвет с помощью условного форматирования.
1.4. Функционал "Топ" для линейных, столбчатых диаграмм и прямой таблицы
Был расширен список визуализаций, поддерживающих функционал "Топ", который ранее был доступен только для круговой диаграммы.
Визуализации: линейная диаграмма, диаграмма с областями, столбчатая диаграмма, горизонтальная столбчатая диаграмма и прямая таблица получили настройку "Топ". Принцип активации аналогичен этой же функции в круговой диаграмме.
Можно выбрать используемую в визуализации меру или выбрать "Другое поле" для настройки "Топ" по произвольной мере, не участвующей в визуализации.

"Топ" в прямой таблице
1.5. Кликабельные ссылки в прямой таблице
Добавлена опция "Ссылки" в настройки прямой таблицы. Она позволяет превратить значения выбранной колонки в кликабельные опции, клик на которые будет открывать новую страницу и использовать значение в качестве URL адреса.

Кликабельные ссылки в прямой таблице
Значения ссылок можно заменить на произвольный текст, например "Перейти", для этого необходимо вбить желаемый текст в поле "Текст ссылки".

Замена ссылок на произвольный текст
1.6. Функция IF() языка PIX Meta
Была разработана новая функция языка PIX Meta - IF(). Разберем параметры функции IF(condition, if_true, if_false):
  • condition - условие, которое будет выполняться для каждой строки результирующей таблицы. В качестве условия можно использовать агрегации, например: SUM('Sales'[Qty]) > 1000 или использовать поле из добавленных в категории, например: 'Manager'[FIO]="Иванов Иван Иванович";
  • if_true - выражение, выполняющееся в случае, если condition является true. Здесь можно указывать любое выражение, допустимое языком PIX Meta;
  • if_false - выражение, выполняющееся в случае, если condition является false. Здесь можно указывать любое выражение, допустимое языком PIX Meta;
Типы данных, возвращаемые if_true и if_false должны совпадать, таким образом, формула: IF( MAX('Calendar'[Year] = 2023), SUM('Sales'[Qty]), "Нет") невозможна, поскольку SUM() вернет числовое значение, а "Нет" - текстовое.
2. ETL
2.1. Трансформация "Удалить дубликаты"
Появилась новая трансформация "Удалить дубликаты", которая после применения оставляет в исходной таблице только строки, где значение из этого столбца встретилось впервые. Преобразование выполняется без подтверждения, на вкладке "Преобразования" выглядит как "Удалены дубликаты {{имяСтолбца}}". "Удалить дубликаты" применимо к столбцам с любыми типами данных.

2.2. Трансформация "Разделить столбец"
Для столбцов с строковыми типами данных добавилась опция "Разделить столбец". При нажатии на опцию появляется всплывающее окно настройки разбиения. В нем необходимо выбрать разделитель и желаемое количество столбцов, на которые хотим разбить строку.
Если в конкретном значении получается меньше столбцов, чем заявлено в опции "Количество столбцов", то они заполняются пустотами. Если значений больше, чем указано в "Количество столбцов", то оставшиеся столбцы не отображаются.
На вкладке "Преобразования" трансформация "Разделить столбец" отображается как: "Разбиение столбца {{имяСтолбца}} на {{количествоСтолбцов}}"

Трансформация "Разделить столбец"
2.3. Трансформация "Объединить столбцы"
При выделении нескольких столбцов появляется новая опция для трансформации - "Объединить столбцы". Настройки трансформации содержат выбор имени для нового столбца и разделитель, через который столбцы будут объединены.
Важно, что трансформация преобразует несколько исходных столбцов в один новый, если необходимо сохранить исходные столбцы, то их необходимо "Дублировать" перед шагом с объединением.
В "Преобразования" трансформация "Объединить столбцы" отображается как: "Объединение столбцов {имяСтолбца1}, {имяСтолбца2} [, {имяСтолбца3}] в {{имяНовогоСтолбца}}".

Трансформация "Объединить столбцы"
2.4. Редактирование преобразований в ETL
Трансформации, имеющие настройки в виде всплывающих окон, например "Замена значений" теперь редактируемы. Рядом с каждым таким шагом отображается значок шестеренки, по нажатию на который открывается всплывающее окно с введенными ранее значениями, которые можно изменить.

Редактирование преобразований в ETL
2.5. Автоматическое распознавание типов данных для файлов
При импорте файлов, на основе первых 1000 строк, автоматически проставляются типы данных. Для каждого столбца, в котором распознанный тип данных отличается от String, добавляется отдельный шаг с изменением типов в "Преобразования". В случае, если 1000 строк не являются репрезентативной выборкой для проставления типов данных всему файлу, шаг с изменением типа для некорректно распознанных столбцов можно удалить.

2.6. Объединение наборов (JOIN, UNION) для источников на прямом подключении
Наборы, созданные на источниках, с типом "Прямое подключение" получили Self-service инструменты для объединения наборов данных в интерфейсе PIX BI - "JOIN", "UNION".

Объединение JOIN наборов данных
При нажатии кнопки JOIN открывается всплывающее окно для настройки объединения. Первый набор (текущий) фиксирован, в нем необходимо выбрать поле, по которому будут объединяться таблицы.
Следующим шагом в выпадающем списке выбирается тип объединения. Затем необходимо выбрать второй набор из существующих, которые созданы на основе того же источника и поле, по которому будет осуществляться JOIN.
В случае с UNION помимо выбора второго набора необходимо выбрать способ определения результирующего списка столбцов:
  • Отобразить только совпадающие столбцы - оставит только столбцы, названия которых есть в обоих наборах. Остальные колонки не попадут в результирующий набор
  • Отобразить все столбцы - в результирующий набор попадут все столбцы из обоих наборов. Если набор существует только в одном наборе, то для всех строк из второго набора там будут пустые значения

Также можно выбрать тип UNION: UNION или UNION ALL. В случае с обычным UNION полные дубли строк будут удалены, UNION ALL оставит дублирующиеся записи.

Объединение UNION наборов данных
3. Общие
3.1. Встраивание дашборда/приложения по внешней ссылке
Разработан функционал, позволяющий создать ссылку для встраивания дашборда или приложения на внешний ресурс. В панели администратора добавилась опция "Внешние ссылки", где можно создавать внешние ссылки, управлять и просматривать уже созданные ссылки. Из таблицы просмотра можно деактивировать тумблер у каждой ссылки, в таком случае доступ к просмотру контента по ссылке будет закрыт.

Раздел "Внешние ссылки" панели администратора
При нажатии на кнопку "Новая ссылка" открывается всплывающее окно создания ссылки. Необходимо ввести название, которое будет отображаться в списке созданных ссылок, выбрать директорию (кроме Персональных), приложение и опционально выбрать дашборд. Если выбран дашборд, то по ссылке будет отображаться только один дашборд без возможности перейти на другой. Если оставить поле "Дашборд" пустым, то по ссылке будет доступно приложение целиком.
Пункт "Требуется авторизация" отвечает за запрет несанкционированного доступа, если пользователь не авторизован в системе или по какой-то причине не прошел авторизацию через SSO, то перед тем как разрешить просмотр ему необходимо ввести данные для авторизации. В случае с авторизацией будут применяться правила OLS и RLS, если пользователь не имеет доступ к ресурсу согласно правилам безопасности, то он не увидит не разрешенные данные по внешней ссылке.

Если тумблер "Требуется авторизация" отключен, то авторизация запрашиваться не будет и доступ для всех, кто откроет ссылку будет полноценным, будут видны все данные. Не рекомендуется использовать опцию "Внешние ссылки" с отключенным тумблером "Требуется авторизация" если вы хотите поделиться приложением или дашбордом с чувствительными данными.

Для ссылки можно задать время экспирации, в этом случае при достижении заданной даты в 00:00 доступ по внешней ссылке будет закрыт.

Всплывающее окно создания внешней ссылки
После создания ссылки будет показано окно с созданной ссылкой и подготовлен код для встраивания ссылки на ваш сайт с помощью iframe. Это окно можно вызвать позднее через "..." в таблице просмотра созданных внешних ссылок.

Созданные ссылки
3.2. Индикация "битой" связи, если кратность связи стала неактуальной после обновления
Если в результате обновления набора данных кратность связи перестала быть актуальной, это может случиться, если в столбце на стороне связи "один" появились неуникальные значения, то:
  • Появляется значок предупреждения рядом с кнопкой перехода в модель данных;
  • На экране модели данных отображается информационное сообщение о количестве найденных "битых" связей;
  • Каждая "битая" связь отображается пунктиром с знаком крестик;
  • Все визуализации, в расчетах которых участвует хотя бы одна "битая" связь отображают ошибку.

"Битые" связи в модели данных
3.3. Расширение возможностей работы с API для администратора
Для пользователей с ролью "Администратор" появились новые возможности работы с API:
  • Создавать приложение для пользователя в персональной директории пользователя. Метод: api/v0/admin/create-application
  • Дублировать общедоступное приложение пользователю в персональную директорию. Метод: api/v0/admin/duplicate-application
  • Привязать наборы к приложению в персональной директории пользователя. Метод: api/v0/admin/application-data
  • Создать связи для наборов в приложении из персональной директории пользователя. Метод: api/v0/admin/model-relationship
4. Прочие улучшения и доработки
  • Кэширование включено для всех запросов. Параметр в appsettings.json - "UseMemoryCache": "true";
  • Изменен модуль работы с Clickhouse, добавились новые настройки, которые необходимо указывать в appsettings.json. Их можно найти в файле-примере appsettings.sample.json, который идет в корне проекта: "Compression=True;CheckCompressedHash=False;Compressor=lz4;Host=localhost;Port=8123;UseSession=true;set_cancel_http_readonly_queries_on_client_close=1"
  • Визуализации, где активирована опция "Скролл" теперь можно скроллить колесиком мыши;
  • В визуализации "Контейнер" появилась возможность менять порядок вкладок;
  • В зависимости от величины значений в колонках с типом Numeric теперь вместо Int64 в СУБД создаются колонки Int8, Int16 и тд c целью оптимизации дискового пространства;
  • При дублировании и публикации приложений теперь отображается всплывающее окно с лоадером;
  • Добавлена опция "Число знаков после запятой" для настроек осей;
  • В визуализацию "Линейная диаграмма с заполнением" добавлена опция группировки;
  • В "Замена значений" в ETL параметр для замены стал необязательным. В этом случае пустота заменяется на введенный текст;
  • В всплывающем окне создания нового столбца добавлены подсказки с информацией о поддерживаемом синтаксисе для текущего набора;
  • Добавлен функционал сброса установленной иконки для приложения или дашборда до стандартной;
  • По запросам пользователей возвращена возможность переходить к редактированию набора данных из интерфейса модели данных;
  • На всплывающем окне назначения лицензий добавлена информация о количестве доступных и заблокированных в данный момент лицензий;
  • В администрировании в блок "Настройки" добавлена возможность отключать блок "Полезное" для стартовой страницы.
И другие, менее важные, доработки и улучшения.
7 июля 2023
Анонс релиза PIX BI 1.25.0
Описание нового функционала
Расширен функционал и доработаны интерфейсы:
  • Закладки фильтров;
  • Блок "Конструктор" для прямой таблицы
  • Матрица аудита доступов пользователей;
  • Условное форматирование в виде гистограмм;
  • Новый дизайн страницы наборов и источников;
  • Настройка срока действия паролей пользователей;
  • Оптимизация дискового пространства в случае внутреннего хранилища на Clickhouse;
  • Аудит действий публикации, дублирования и экспорта данных на странице аудита действий пользователей.
1. Общие
1.1. Закладки фильтров
Разработан функционал, позволяющий запоминать свои выборки в отдельном переиспользуемом объекте в интерфейсе - "Закладки".

Меню закладок находится на верхней панели в режиме просмотра и редактирования дашборда. В меню отображаются списком существующие закладки в двух категория: общедоступные и персональные. Логика работы аналогична дашбордам - персональные видны только текущему пользователю, общедоступные видны всем. Закладки применяются по клику на строку закладки.

При нажатии на иконку восклицательного знака у закладки откроется окно, где будет указана информация: описание, дашборд, если был активирован тумблер "Запомнить дашборд" и выборки, которые попали в текущую закладку.

При нажатии на "..." (три точки) откроется контекстное меню с опциями "Редактировать" и "Удалить". Удаление общедоступной закладки удалит её у всех пользователей.

Чтобы создать закладку:
  1. Сделать необходимые выборки на дашборде.
  2. Нажать кнопку "Новая закладка" в раскрывшемся меню.
  3. Кнопка откроет окно создания закладки, где нужно указать название, описание, запоминать ли дашборд, на котором она создается и флаг "Общедоступный", при включении которого данная закладка становится доступной для всех пользователей.
  4. Завершить процесс создания закладки кнопкой "Создать". После этого закладка отобразится в меню.


Меню закладок фильтров
1.2. Матрица аудита доступов
В панели администрирования появилась новая страница - "Аудит доступов". На странице находится матрица, у которой по строкам находятся пользователи, по столбцам названия ресурсов. На пересечении пользователя и ресурса располагаются ячейки модификаторов доступа. Список отображаемых модификаторов зависит от типа ресурса, а также их можно отключать в шапке таблицы. Зеленый цвет фона ячейки означает наличие такого модификатора у соответствующего пользователя именно для этого ресурса.

Для того, чтобы сменить нужный тип ресурса необходимо сверху выбрать значение из списка и нажать кнопку "Старт". Рядом с выбором типа ресурса есть кнопка поиска, нажав на поиск можно искать по названиям ресурсов. Так же поиск работаем по именам (логинам) пользователей. Заданные в поиске значения можно сбросить по кнопке "Сброс фильтров".

Все элементы таблицы кликабельны. Чтобы узнать какие правила безопасности выдают право на конкретный модификатор, можно двойным нажатием раскрыть меню с связанными правилами безопасности. Нажатие на имя пользователя откроет в новом окне страницу редактирования пользователя.

Матрица аудита доступов
1.3. Аудит действий публикации, дублирования и экспорта данных
В панели администрирования на странице "Журнал событий" на вкладке "События" теперь можно отслеживать действия пользователей, связанные с публикацией, дублированием приложений и экспорта данных. Они отображаются как Publish, Duplicate и Export data соответственно.
1.4. Срок действия пароля
В панели администрирования на странице "Настройки" в пункте меню "Настройки парольной политики" добавлен пункт, отвечающий за управление срока действия пароля - "Срок жизни пароля, дни". Значение 0 соответствует отсутствию срока действия, пароль действует без ограничений по сроку.

Срок жизни пароля
1.5. Новый дизайн страницы наборов и источников
Изменился дизайн списка наборов и источников.
Теперь в таблице отображаются:
  • "Название",
  • "Обновлен" - дата последнего успешного обновления,
  • "Запланированное обновление" - дата следующего по плану обновления согласно регламенту обновлений,
  • "Источник данных" - название и иконка источника,
  • "Статус" - статус последней операции.
По каждой колонке можно выполнять фильтрацию из заголовков и сортировку. Есть поиск, который осуществляется по полям "Название", "Описание" и "Источник".

Новый интерфейс наборов данных и источников
При нажатии на строку набора данных открывается окно с дополнительной информацией:
  • "Описание",
  • "Владелец",
  • "Статус",
  • "Предыдущий статус" - статус предпоследней операции,
  • "Связанные наборы" - наборы, с которыми у выбранного набора есть прямые связи в каких-либо приложениях,
  • "Связанные приложения" - приложения, к которым привязан выбранный набор,
  • "Регламент обновлений" - расписание обновления.

Новый интерфейс наборов данных и источников
2. Визуализации
2.1. Блок "Конструктор" для прямой таблицы
В визуализации "Прямая таблица" добавлен пункт настроек "Конструктор". При включении тумблера на визуализации появляется раскрываемое окно, которое содержит все измерения и меры, добавленные в визуализацию.

Блок "Конструктор" для прямой таблицы
Добавленные поля можно включать/отключать для отображения, менять их порядок в режиме пользовательского просмотра визуализации.

Состав полей, доступных для конфигурирования представления в блоке "Конструктор" формируется в режиме редактирования при создании визуализации.

Добавленные меры отображаются значком калькулятора, измерения в виде координатной системы. Блок "Конструктор" в пользовательском режиме можно скрыть по клику на карусель.
2.2. Тип условного форматирования "Гистограммы"
Разработан новый тип условного форматирования для прямой таблицы- "Гистограммы". "Гистограммы" позволяет окрашивать фон ячеек в процентах от максимального значения.


Условное форматирование "Гистограмма"
Чтобы включить "Гистограммы" необходимо в группе настроек "Форматирование" выбрать столбец и включить тумблер у соответствующего пункта меню. При включении откроется кнопка настройки, при нажатии на которую открывается следующее меню: нужно выбрать поле, по которому будет рассчитываться гистограмма. Если это поле, то нужно выбрать агрегацию. Затем настроить цвета для положительного и отрицательного отображения, а также есть возможность задать "Минимум" и "Максимум". Все значения, которые больше или равны "Максимум", будут получать максимальное заполнение. Все значения, которые меньше или равны "Минимум", будут получать минимальное (пустое) заполнение.

Также можно задать положительное направление гистограммы, по умолчанию оно "Слева направо".

Прочие улучшения и доработки
  • Добавлена возможность настройки подписей мер без обязательного включения меток.
  • Поле email более не обязательное при создании пользователя.
  • В внутреннем хранилище колонки создаются NOTNULL если в хранилище-источнике задана соответствующая настройка.
  • Возвращен тумблер управления общедоступностью дашборда.
  • При настройке правил безопасности хинтом (подсказкой) выводится имя родительского объекта.
  • Улучшена работа с перетаскиванием значений в полках визуализаций: теперь перерасчет визуализации начинается если отпустить значение в полке.
  • Добавлена уникальность имен правил безопасности.
  • Внедрен поиск существующего набора данных в визарде создания набора.
  • Интегрирована постраничная загрузка данных в фильтр в полке и RLS
Также множество других менее значимых улучшений и доработок .
1 июня 2023
Анонс релиза PIX BI 1.24
Описание нового функционала
Расширен функционал и доработаны интерфейсы:
  • Сводная таблица подобно Qlik Sense;
  • Визуализация контейнер;
  • Расширенные журналы событий: действия пользователей, журнал запросов в API;
  • Новая роль администратора - "Администратор ИБ";
  • Реструктуризация вкладки "События информационной безопасности";
  • Live-режим применения фильтров (без подтверждения выбора);
  • Экспорт дашборда/приложения в PDF;
  • Настройки периода неактивности пользователя для повторной авторизации;
  • Вынесение настроек для осей;
  • Возможность самостоятельной смены пароля пользователем;
  • Редизайн страницы директории/приложения, модели данных, окна привязки данных к приложению;
  • Индикация выполнения экспорта в окне уведомления.
1. Визуализации
1.1. Сводная таблица подобно Qlik Sense

Сводная таблица получила несколько значительных функциональных и оптимизационных улучшений. Во-первых, реализована возможность перетаскивать измерения в строках/столбцах, в том числе перетягивать измерения из строк в столбцы и наоборот в пользовательском режиме (без необходимости перехода в режим редактирования).


Drag-n-drop измерения в сводной таблице
Реализована динамическая подгрузка данных по примеру работы сводной таблицы Qlik, теперь сводная таблица, в конкретный момент времени, содержит в себе значительно меньше данных, за счет этого была сильно ускорена отрисовка таблицы на стороне браузера. Значительно оптимизированы запросы данных для сводной таблицы, ускоряющие расчеты до 20 раз.
1.2. Контейнер
Разработан новый тип визуализации - контейнер. Он позволяет содержать в себе несколько визуализаций с возможностью переключения между ними. При создании контейнер имеет 1 активную вкладку, их количество можно увеличить по кнопке "+" справа от перечисления вкладок или в настройках визуализации.

Визуализация контейнер
Визуализации, добавленные на каждую из вкладок контейнера имеют стандартные настройки, доступные для каждой визуализации.

Каждая вкладка контейнера содержит иконку отображаемой визуализации и заголовок визуализации. При переполнении полосы вкладок скрытые вкладки отображаются при наведении мыши на "..." в перечислении вкладок.

1.3. Режим Live фильтрации
Расширены возможности применения фильтрации - добавлена Live фильтрация. Параметр расположен в списке общих настроек приложения и по умолчанию выключен. При включении данного параметра, визуализации начинают активировать фильтры сразу после выбора значений, без необходимости подтверждать выборки.
Внимание! Live режим значительно увеличивает количество обрабатываемых запросов и не рекомендуется к использованию для приложений с большим объемом данных.

Режим "Фильтрация по клику"
1.4. Новые настройки осей
Расширения настроек для оси Y получили визуализации:
  • Линейный график;
  • Линейный график с областями;
  • Столбчатая диаграмма;
  • Горизонтальная столбчатая диаграмма;
  • Пузырьковая диаграмма;
  • Комбинированная диаграмма;
  • Каскадная диаграмма (водопад).
Расширения включают в себя возможность отключения оси, настройки шрифта, размера и цвета для текста меток оси, возможность смены формата отображаемых меток (число, процент, …), а так же настройки суффикса числа (млн, тыс, …).


Настройки "Ось Y"
Аналогичные расширения получила Пузырьковая диаграмма для группы настроек "Ось Х".

Для остальных визуализаций из списка, изменения коснулись также и настроек "Ось Х". Для них добавились настройки отображения оси и настройки шрифта, размера и цвета для текста меток оси.
1.5. Экспорт приложения или дашборда в PDF
Появилась возможность экспортировать дашборды или приложения целиком в PDF. Для выполнения экспорта необходимо на экране просмотра дашборда в верхней панели найти иконку экспорта и выбрать необходимый пункт меню.

Экспорт приложения и дашборда в PDF
При выгрузке дашборда или приложения на первом листе PDF файла будут отражены фильтры из панели примененных фильтров.

Первый лист с "Примененные фильтры"
1.6. Индикация процесса экспорта
При экспортировании данных отображается окно-уведомление с лоадером загрузки, который обозначает пользователю о существующем в данный момент процессе создания запрашиваемой им выгрузки данных.

Уведомление об экспорте
2. Администрирование
2.1. Расширение журналов событий: действия пользователей и запросы в API

Вкладка журнала событий "События" переименован в "События посещений". Новая вкладка "События" содержит в себе данные о действиях пользователей над объектами системы, и в целом дает ответ на вопросы "Что, кто и когда создал/изменил/удалил".

Подробнее о значении данных в каждом из столбцов:
  • Событие - класс событий, содержит значений Create, Update, Delete;
  • Время - дата время совершения события;
  • Пользователь - внутренний ID пользователя, отображается в виде гиперссылки;
  • Имя пользователя - имя пользователя в системе (логин);
  • Объект - объект, с которым взаимодействовал пользователь;
  • Успешность событий - отображает статус завершения события - Success, Failed;
  • Комментарий - в случае Failed, отображает ошибку.


Вкладка "События" журнала событий
Секция "Журнал событий" так же получила новую вкладку - "Запросы к API", которая отображает все запросы полученные в апи (события, пришедшие из UI системы здесь не отображаются). Помимо успешных запросов, отображаются так же попытки запросить данные из несуществующих эндпоинтов.

Подробнее о значении данных в каждом из столбцов:
  • Событие - класс событий, содержит значений Create, Update, Delete;
  • Время - дата время совершения события;
  • Время ответа - длительность обработки запроса в секундах;
  • Пользователь - внутренний ID пользователя, отображается в виде гиперссылки;
  • Имя пользователя - имя пользователя в системе (логин);
  • Объект - эндпоинт, с которым взаимодействовал пользователь;
  • Параметры объекта - параметры, которые были переданы в запрос;
  • Успешность событий - отображает статус завершения события - Success, Failed;
  • Комментарий - в случае Failed, отображает ошибку.


Вкладка "Запросы к API" журнала событий
2.2. Реструктуризация записей на вкладке "События информационной безопасности"
Вкладка претерпела значительные изменения в составе регистрируемых записей и в формате отображения их в таблице. Подробный список событий и их атрибутный состав указан в Эксплуатационной документации по PIX BI (стр. 78).
2.3. Новая роль администратора - "Администратор ИБ"
Новая роль имеет доступ к секции "Журналы событий" панели администрирования. Пользователь, имеющий роль "Администратор ИБ" может иметь только Pro лицензию.

Новая роль "Администратор ИБ"
2.4. Настройка времени неактивности
В "Настройки" панели администрирования добавлены пункты управления временем жизни токена и времени неактивности. При авторизации в системе пользователь получает токен и обновление файлов cookie. Время жизни токена задается настройкой "Время жизни токена, мин", а время жизни рефреш куки задается как сумма "Время жизни токена, мин" и "Время неактивности, мин".
Таким образом, когда заканчивается время жизни токена, у пользователя есть период равный "Время неактивности, мин", чтобы совершить какое-либо действие в системе. При совершении действия в заданное время пользователь получает новый токен и новую рефреш куки. Если пользователь не совершит никаких действий в течение "Время неактивности, мин" после того, как завершилось "Время жизни токена, мин", то для работы с системой ему нужно будет пройти авторизацию повторно.
Под "действие в системе" понимается такое взаимодействие с системой, которое осуществляет API запрос к серверной части.

Настройки "Время жизни токена" и "Время неактивности"
2.5. Возможность смены пароля пользователем самостоятельно
На главной странице под записью "Доброе утро, <username>" появилась кнопка "Сменить пароль", которая открывает страницу смены пароля. Таким образом, пользователь, сумевший пройти авторизацию, получает возможность менять пароль самостоятельно. При этом, возможность смены пароля пользователю администратором сохраняется. Сделать это можно через редактирование карточки пользователя в панели администрирования.

    Кнопка "Сменить пароль"
    3. Общее
    3.1. Новый улучшенный дизайн страниц директорий, приложений, окна привязки наборов и модели данных

    Новый дизайн коснулся каркаса всего продукта, были заменены шрифты, общие цвета и компоненты. Все эти изменения были направлены на улучшение пользовательского опыта и общего удобства работы с системой.
    Новый дизайн так же сопутствовал некоторым улучшениям, далее подробнее о них:
    • Добавлены bread crumbs для страницы директорий;
    • Добавлен поиск приложений;
    • Разработаны 3 вида отображения приложений: классический, в виде списка и табличное представление;
    • Переработали окно привязки данных;
    • Разработали множество новых удобных pop-ups.

    Страница директории

    Окно привязки данных к приложению
    4. Прочие улучшения и доработки
    • Добавлена проверка на уникальность имен для источников данных
    • Увеличено количество столбцов, которые можно отобразить в прямой таблице до 20
    • Добавлена возможность указывать кастомный путь вместо конкретного текстового имени группы AD
    • В панели навигации по схеме отображаются view и materialized view объекты СУБД
    • Существенно оптимизировали загрузку данных из QVD файлов
    • В окне "Преобразования" в ETL применение фильтра теперь указывает на столбец и отображает примененную фильтрацию
    • В JS визуализации отображается базовая функция для асинхронного получения данных
    • Убрана обязательность поля "Описание" для всех объектов
    • При создании объектов через API, в ответе запроса отражается ID созданного объекта
    • Исправлена ошибка с отображением визуализации "Датчик"
    • Устранен баг с использованием формата значений "%" для линейных и столбчатых диаграмм
    • Исправлено наложение фильтров по полю с типом "Дата"
    А также было исправлено более 100 других менее значимых недочетов.
    25 апреля 2023
    Анонс релиза PIX BI 1.23.465 - beta
    Описание нового функционала
    При обновлении на 1.23.465 с более ранних версий необходимо убедиться, что все параметры настроены согласно инструкции "Установка необходимых параметров и компонентов для установки PIX BI 1.23.465 и выше".
    Расширен функционал и доработаны интерфейсы:
    • Ролевая модель и правила безопасности;
    • Мета-язык формул для расчетных показателей;
    • QVD файлы как источник данных;
    • Импорт пользователей из Active Directory;
    • Сквозная авторизация (SSO);
    • Функционал замены значений и извлечения для строковых столбцов в ETL;
    • Интерфейсы назначения лицензий;
    • Pro пользователи получили Персональную директорию;
    • Функционал публикации приложений из персональной директории;
    • Функционал дублирования приложений в персональную директорию;
    • Журнал событий с трекингом посещений страниц пользователями;
    • "Новый столбец" в ETL;
    • Формирование полного SQL запроса при нажатии на конкретное поле;
    • Настройка парольной политики в панели администратора;
    • Изменена страница "Пользователи" в панели администратора;
    • ODBC коннектор;
    • Новые источники данных: JSON, XML, REST API;
    • Пакетная загрузка файлов;
    • Таблица со статусами закрепления лицензий за пользователями;
    • Тумблер "Не отображать на мобильном виде" для скрытия объектов на мобильных устройствах.
      1. Администрирование
      1.1. Новая страница "Пользователи"

      Таблица пользователей на одноименной странице в панели администрирования получила несколько улучшений:
      • Таблица отображает пользователей, заведенных внутри системы, и всех пользователей импортированных из Active Directory.
      • Таблица получила расширение списка отображаемых данных, добавились колонки:
      1. "Импорт из AD" отображает был ли импортирован этот пользователь из Active Directory ("Да") или заведен внутри системы("Нет);
      2. "Группа AD" указывается для импортированных пользователей. Указывается крайняя (последняя в иерархии) группа;
      3. "Роли администратора" отображает занимаемую роль администратора пользователем. На данный момент такая роль одна - "Admin"
      4. "Деактивирован" показывает активирован ли данный пользователь. Деактивированные пользователи не смогут войти в систему до их активации;
      5. "Дата создания" отображает дату создания пользователя в системе;
      6. "Дата последнего изменения";
      7. "Кем изменен" показывает пользователя, который применил последнее изменение;
      8. "Внутренний ID" - ID пользователя в системе;
      9. "AD ID" - ID пользователя в AD в случае импорта этого пользователя
      • В правом верхнем углу над таблицей отображается кнопка обновления, которая выполняет принудительную синхронизацию с Active Directory и импортирует новых пользователей;
      • Таблица получила функционал поиска. Поиск работает по колонкам "Имя" и "E-mail" по маске "содержит".

      Таблица пользователей с новым наполнением
      1.2. Импорт пользователей из Active Directory
      На странице "Настройки" в панели администратора появилась возможность указать группу, начиная с которой произойдет импорт пользователей из Active Directory.

        Настройка импорта пользователей из Active Directory
        1.3. Функционал сквозной авторизации (SSO) через Active Directory
        В настройках появился тумблер "Разрешить вход через AD". После заполнения настроек LDAP и включения тумблера, при определенных настройках сервера и Active Directory, возможна сквозная авторизация в PIX BI. Документ с подробным описанием серверных настроек выйдет отдельно.
        1.4. Настройка парольной политики
        На странице "Настройки" в панели администратора появилась возможность настраивать парольную политику системы. Появились тумблеры позволяющие управлять:
        • Длиной пароля в символах;
        • Обязательным наличием в пароле пользователей специальных символов, букв в нижнем и верхнем регистрах, а также цифр.

        Настройка парольной политики
        В случае, если администратор усложнил парольную политику, пользователей, чьи пароли перестали удовлетворять заданным правилом, система перенаправит на страницу смены пароля.
          1.5. Новая ролевая модель. Основные положения
          Принципиально новая ролевая модель содержит несколько ключевых положений:
          • Есть 2 типа пользователей по происхождению: импортированные из AD и созданные администратором внутри системы. Все пользователи отображаются на странице "Пользователи" в администрировании.
          • Пользователи, отображающиеся на странице "Пользователи" не обязаны иметь лицензий. По умолчанию они их не имеют. Лицензии назначаются на отдельных страницах: "Назначение Pro" и "Назначение Base". "NFR" лицензии с этого релиза приравнены к "Pro".
          • Пользователи не обязаны иметь "Роль", ее имеет только администратор, либо пользователи, которые не имеют лицензии ("Без роли").
          • Пользователи по умолчанию обладают нулевыми (пустыми) правами и доступами к любым объектам системы. Назначение прав и доступов осуществляется с помощью гибкого модуля "Правила безопасности". Все права являются разрешающими.
          • При разворачивании системы в ней по умолчанию создано несколько базовых разрешающих правил - автоправила.
          Страницы "Назначение Pro" и "Назначение Base" являются идентичными по наполнению и функциональности, за исключением назначаемой/отображаемой лицензии. Ниже будет пояснен функционал "Назначения Pro". Для понимания работы со страницей "Назначение Base" достаточно в пояснении заменить "Pro" на "Base".

            1.6. Назначение лицензий. Страницы "Назначение Pro" и "Назначение Base"
            Страница назначения лицензий содержит список пользователей, обладающих, указанным в названии страницы, типом лицензии. Данная таблица содержит некоторые поля из таблицы "Пользователи".

            Страница "Назначение Pro"
            Над левым верхним углом таблицы расположились кнопки назначения и снятия лицензий с пользователя. Нажатие на "Назначить лицензию" открывает всплывающее окно с таблицей со страницы "Пользователи", в которой указаны пользователи, не имеющие лицензию Pro.

            Галочками отмечаются желаемые пользователи, далее по нажатию кнопки "Назначить", выделенным пользователям распределяются свободные лицензии.

            Если назначить "Pro" лицензию пользователю, обладающему лицензией "Base", то произойдет переназначение лицензий. "Base" будет снята и помещена в 24-часовой карантин, а "Pro" назначена, если есть хотя бы 1 свободная лицензия.

            Снятие лицензии
            Для снятия лицензии достаточно выделить галочками желаемых пользователей и нажать кнопку "Снять лицензию". В этом случае с пользователей будут сняты лицензии и помещены в карантин на 24 часа.
            1.7. Таблица со статусами закрепления лицензий
            На панели администратора в разделе "Лицензии" появилась новая закладка "Детализация", которая открывает таблицу с историей назначения лицензий пользователям. Таблица содержит информацию о последнем входе, активации лицензии, дате окончания использования лицензии и срок ее блокировки.

            Закладка "Детализация"
            1.8. Правила безопасности
            С появлением концепции правил безопасности вводятся некоторые новые понятия:
            • Ресурс - тип объекта системы, к которому может быть назначен доступ правилами безопасности (Директория, Приложение, Источник, Набор данных, …);
            • Модификаторы - идентификатор типа доступа (Create, Read, Update, Delete, …). Набор возможных модификаторов зависит от типа ресурса;
            • Фильтр - выражение, фильтрующее объекты заданного типа ресурса.
            На странице "Правила безопасности" в администрировании можно найти таблицу, содержащую правила безопасности:

              Таблица "Правила безопасности"
              Таблица правил безопасности содержит следующие поля:
              • Название;
              • Описание;
              • Ресурс;
              • Фильтр;
              • Модификаторы;
              • Отключен - YES/NO сигнализирует об активности конкретного правила;
              • Дата создания;
              • Дата изменения;
              • Кем изменен;
              • Кнопки "Редактировать", "Удалить";
              • Кнопку "Создать правило";
              • Кнопку поиска и обновление списка правил.
              При нажатии кнопки "Создать правило" открывается новая страница создания правил безопасности:

                Страница создания правила безопасности
                • Название - название правила;
                • Описание - необязательное поле с описанием правила;
                • Отключен - тумблер, при включении деактивирует правило;
                • Тип ресурса - селектор, содержит в себе следующие значения типов ресурсов: Директория, Приложение, Дашборд, Источник данных, Набор данных, Модель данных;
                • После выбора Типа ресурса открывается поле для выбора конкретных объектов ресурса и назначения модификаторов. Возможные модификаторы и их значения для каждого типа ресурса будут указаны ниже;
                • Сегмент для фильтрации пользователей, для которых будет применяться правило. Фильтрацию можно назначить по всем атрибутам пользователей из таблицы "Пользователи". Можно назначить составную фильтрацию, используя логические операторы И/ИЛИ.
                Сопоставление модификаторов, ресурсов и их значение.
                Директории
                • Create (C) - разрешить создавать директории. Функционал доступен для администраторов системы;
                • Read (R) - открывает видимость директории. Пользователь сможет увидеть директорию в списке всех директорий;
                • Update (U) - разрешает редактировать директории, в том числе изменять название директории из интерфейса;
                • Delete (D) - разрешает удалять директорию;
                • Publish (P) - разрешает публиковать приложения в данную директорию;
                • Change owner (O) - разрешает изменять владельца ресурса. Функционал смены владельца через интерфейс находится в разработке.
                Приложения
                • Create (C) - разрешить создавать приложения в персональной директории;
                • Read (R) - открывает видимость приложения. Пользователь сможет увидеть приложение в некоторой директории, если у него есть доступ на чтение директории. Пользователь может открыть приложение по прямой ссылке, даже если он не имеет прав на чтение директории;
                • Update (U) - разрешает редактировать приложение, в том числе изменять название и описание приложения из интерфейса;
                • Delete (D) - разрешает удалять приложение;
                • Export (E) - разрешает экспортировать приложение из панели администратора. Функционал доступен для администраторов системы;
                • Duplicate (T) - разрешает дублировать приложение в персональную директорию;
                • Publish (P) - разрешает публиковать приложения в данную директорию;
                • Change owner (O) - разрешает изменять владельца ресурса. Функционал смены владельца через интерфейс находится в разработке;
                • Export data (A) - разрешает экспортировать данные из приложения.
                Дашборд
                • Create (C) - разрешить создавать дашборды;
                • Read (R) - открывает видимость дашбордов. Пользователь увидит дашборд если у него есть права на чтение приложения;
                • Update (U) - разрешает редактировать дашборд, в том числе изменять название и описание дашборда из интерфейса;
                • Delete (D) - разрешает удалять дашборд.
                Источник данных
                • Create (C) - разрешить создавать источники;
                • Read (R) - открывает видимость источников. Пользователь увидит источник в списке источников, сможет использовать источник для создания новых наборов (при наличии прав на создание наборов). Увидит источник и его наборы (к которым есть доступ) в списке "Привязка данных";
                • Update (U) - разрешает изменять существующий источник;
                • Delete (D) - разрешает удалить источник.
                Наборы данных
                • Create (C) - разрешить создавать наборы данных;
                • Read (R) - открывает видимость наборов данных. Пользователь увидит набор в списке наборов данных и сможет использовать наборы на странице "Привязка данных" к приложению. Набор будет виден на экране модели данных. Скрытые наборы будут закрыты заглушкой. Визуализации, использующие данные из скрытого набора, не будут отображать данные;
                • Update (U) - разрешает изменять существующий набор данных;
                • Delete (D) - разрешает удалить набор данных.
                Модель данных
                • Read (R) - открывает видимость модели данных. Пользователь; сможет перейти на страницу модели данных приложения
                • Update (U) - разрешает изменять модель данных у существующего приложения в персональной директории.
                Правило создается нажатием кнопки "Создать" после заполнения всех обязательных полей. Правила вступают в силу спустя некоторое время (приблизительно 5 минут).
                  1.9. Автоправила
                  Список правил, предусматривающий базовый функционал доступов в системе:
                  • Все пользователи должны иметь возможность создавать приложение в персональной директории:
                  1. Название: CreateApp
                  2. Описание: Все пользователи должны иметь возможность создавать приложение
                  3. Ресурс - приложения (Все)
                  4. Модификатор - разрешить создавать приложения ("С")
                  • Все, кто имеет права на чтение приложения, должны иметь возможность создавать персональные дашборды:
                  1. Название: CreateDashboardsInPublishedApp
                  2. Описание: Все, кто имеет права на чтение приложения, должны иметь возможность создавать персональные дашборды
                  3. Ресурс - дашборды (Все)
                  4. Модификатор - разрешить создавать дашборды ("С")
                  • Все, кто имеет права на чтение приложения, должны видеть все дашборды
                  1. Название: ReadAllDashboardsInPublishedApp
                  2. Описание: Все, кто имеет права на чтение приложения, должны видеть все дашборды
                  3. Ресурс - дашборды (Все)
                  4. Модификатор - разрешить читать дашборды ("R")
                  • Максимальные права на приложения, находящееся в персональной директории
                  1. Название: AllRightsToAppInPersonalDirectory
                  2. Описание: Максимальные права на приложения, находящееся в персональной директории
                  3. Ресурс - приложение (В персональной директории)
                  4. Модификатор - (Все)
                  • Все пользователи могут создавать источники
                  1. Название: CreateSources
                  2. Описание: Все пользователи могут создавать источники
                  3. Ресурс - источники (Все)
                  4. Модификатор - разрешить создавать источники ("C")
                  • Все пользователи могут экспортировать данные из видимых приложений
                  1. Название: ExportData
                  2. Описание: Все пользователи могут экспортировать данные из видимых приложений
                  3. Ресурс - приложения (Все)
                  4. Модификатор - Export data ("A")
                  • Владелец
                  1. Название: Owner
                  2. Описание: Владелец имеет RUD права на собственные ресурсы
                  3. Ресурс - Все
                  4. Модификатор - RUD
                  • Владелец может публиковать и дублировать свои объекты
                  1. Название: OwnerPublishDuplicate
                  2. Описание: Владелец имеет PT права на собственные ресурсы
                  3. Ресурс - Все
                  4. Модификатор - PT
                  • Все, кто имеет R на директорию, имеют R на все содержимое
                  1. Название: Directory
                  2. Описание: Все, кто имеет R на директорию, имеют R на все содержимое
                  3. Ресурс - Приложения, Дашборд, Модель
                  4. Модификатор - Read("R")
                    1.10. Журнал событий
                    В панели администрирования появилась страница "Журнал событий", где можно отследить некоторые действий пользователей. На странице представлены таблицы "События" и "События Информационной Безопасности".
                    Таблица "События" содержит следующие поля:
                    • Время входа - таймстемп входа пользователем на ресурс;
                    • Время выхода - таймстемп выхода пользователя с ресурса;
                    • Время сессии - длительность сессии, Время выхода - Время входа
                    • Пользователь - логин пользователя;
                    • Тип ресурса - список объектов, которые можно посетить. Список аналогичен списку ресурсов в назначении правил безопасности;
                    • id ресурса - уникальный идентификатор ресурса;
                    • Имя ресурса - пользовательское имя ресурса.


                    Таблица "События" на вкладке "Журнал событий"
                    Таблица "События Информационной Безопасности" отслеживает действия в системе, связанные с информационной безопасностью.
                    Таблица содержит поля:
                    • События - список базовых событий (Create, Update, Delete, Entry, Exit);
                    • Время - таймстемп события;
                    • Измененные параметры - в случае, если событие предполагает изменение параметров ИБ, здесь отображаются старое значение и измененное значение;
                    • Адрес хоста - IP адрес сервера, с которого были применены изменения;
                    • Имя хоста - имя компьютера;
                    • Уровень важности - "Info" в случае успешного завершения события, "Warn" в случае неуспешного завершения;
                    • Сообщение - комментарий;
                    • Объект операции - над чем совершалось событие;
                    • Адрес объекта - в случае, если объект - обезличенная сущность, здесь отмечается внутренний адрес объекта;
                    • Субъект - ID объекта, создавшего событие;
                    • Адрес субъекта - в случае, если объект - обезличенная сущность, то здесь отмечается внутренний адрес объекта;
                    • Результат операции - Success в случае успешного завершения, Failed в случае ошибки.


                    Таблица "События Информационной Безопасности" на вкладке "Журнал событий"
                    Над таблицей так же есть кнопки поиска и обновления списка записей.

                    В секции "Настройки" появилось поле "Срок хранения события ИБ, дни", отвечающее за срок хранения записей Событий ИБ в днях. После истечения срока хранения записи удаляются
                      1.11. Настройка URL-адреса для подложки карт

                      В панели администратора на вкладке "Настройки" появился пункт для указания URL-адреса для импорта подложки карт. По умолчанию он будет заполнен адресом открытого сервиса openstreetmap: https://{s}.tile.openstreetmap.org/{z}/{x}/{y}.png .

                      Если в компании есть свой сервер, здесь можно указать адрес корпоративного сервиса карт.
                        1.12. Настройка параметров ограничений для неуспешных попыток входа
                        В панели администратора на вкладке "Настройки" появился пункт для настройки ограничений, в зависимости от количества неуспешных попыток входа.
                        В настройках можно указать:
                        • Количество неуспешных попыток, после которых начнут действовать ограничения.
                        • Тип ограничения: "Заблокировать на время", "Деактивировать".
                          В случае блокировки на время необходимо так же указать количество минут блокировки. В заданное время все попытки авторизации для пользователя, находящегося под блокировкой будут проигнорированы.
                          В случае деактивации учетная запись становится неактивной. Активировать учетную запись может только администратор.


                        Настройки ограничений неуспешных попыток входа
                        1.13. Шифрование параметров подключений в конфигурационном файле
                        В appsettings.json появился параметр ConnectionStringsEncrypted - его нужно поставить в true, чтобы включить расшифровку зашифрованных строк подключения.

                        Шифроваться могут строки в разделах ConnectionStrings, DataWarehouseConnectionStrings и DataWarehouseReadOnlyUser.

                        Для шифрования используется "PIX Encryption utility" (EncryptionUtil), которая поставляется вместе с PIX BI. Чтобы зашифровать строки подключений, необходимо запустить "PIX Encryption utility", выбрать пункт меню для шифрования, передать в консоль незашифрованную строку. Утилита выдаст результат, который необходимо передать в нужный параметр конфигурационного файла.
                          2. Загрузка данных
                          2.1. ODBC коннектор

                          В списке источников появился новый тип источника - ODBC. Он содержит стандартные опции подключения, кроме опции Driver, которая позволяет выбрать желаемый драйвер установленный на сервере, на котором размещен PIX BI.

                            Настройка ODBC подключения
                            Подключение возможно только в виде "Загрузка в хранилище".
                            2.2. Пакетная загрузка файлов
                            Продолжением варианта перегрузки данных используя "Локальный путь" стала возможность пакетной загрузки файлов с локального пути. Для настройки загрузки необходимо указать маску, по которой будет выполнять поиск файлов. Маска настраивается по следующим правилам:
                            • "*" - обозначение нескольких символов, "#" - обозначение одного символа.
                            • Маска считается только после последнего слеша ("\" или "/" в зависимости от системы). Все что до последнего слеша читается как путь.
                            Пример:
                            "C:/Users/PixTheBest/sales/saleReport#-*.csv" загрузит все файлы, названия которых начинаются с "saleReport", далее содержат 1 символ, затем содержат "-" и далее любое кол-во символов, которые заканчиваются на ".csv".

                            В результате загрузки данных, появится дополнительный столбец, который не был в исходных данных - название файла, из которого загружена конкретная строка данных.

                            Данные, содержащиеся в каждом файле, подходящим под маску, объединяются (UNION, CONCATENATE). При этом столбцы с совпадающим названием записываются в один столбец. Каждый новый столбец добавляется в результирующую таблицу таким образом, что для этого столбца данные, отличные от пустоты есть только у тех строк, которые относятся к файлам, содержащим этот столбец.
                              2.3. QVD файлы как источник данных
                              Расшился список файловых источников. Добавлена возможность загружать данные из QVD файлов (QlikView Data Files). Теперь в PIX BI можно загружать данные обработанные и/или сохраненные в формат данных систем Qlik.
                              Подключение настраивается аналогично CSV и Excel, за исключением возможности пакетной загрузки, которая будет добавлена в следующих релизах.

                                Настройка подключения к QVD
                                2.4. Новые источники данных - JSON, XML
                                Добавили новые источники данных из файлов JSON и XML.

                                Рассмотрим на примере файла формата JSON (для XML загрузка осуществляется так же).
                                При загрузке файла необходимо ввести название, описание и выбрать файл с компьютера пользователя или указать путь к файлу на хосте, где размещен PIX BI. В случае загрузки с локального хоста имеется возможность пакетной загрузки.

                                Загрузка JSON файла
                                После выбора файла(-ов) появляется новый селектор: Название таблицы.

                                  Выбор таблицы JSON файла
                                  Рассмотрим загрузку на примере файла users.json. Файл содержит несколько вложенных объектов, например свойства "address", "geo" и "company" каждый из которых является отдельным объектом, а значит может быть распознан как отдельная таблица.

                                  Структура файла users.json
                                  При загрузке этого файла система нам покажет 3 таблицы, которые мы отметили выше, и еще одну - Root_Json_Node. Это обозначение корневой таблицы, в данном примере к ней относятся поля: id, name, username, email, phone, website. Вдобавок к указанным полям также появится поле-ключ, которое поможет связать таблицы "address" и "company" с корневым уровнем. Таблица "address" при загрузке также будет иметь отдельное поле - ключ для привязки к ней таблицы "geo". То есть каждую таблицу-наследник можно привязать к таблице-родителю через создаваемые системой ключевые поля.
                                  2.5. Новый источник данных - REST API коннектор
                                  В списке источников также появился коннектор REST API.

                                    . Параметры источника REST API
                                    REST API коннектор содержит следующие опции:
                                    • Стандартные наименование и описание;
                                    • URL - адрес, куда будет посылаться запрос;
                                    • Timeout - время ожидания ответа от сервера;
                                    • Method - GET/POST;
                                    • Схема авторизации - выбор из "Анонимная", "Базовая", "Токен". В зависимости от выбранной опции появляются поля для ввода авторизационных данных;
                                    • Параметры запроса - кастомные параметры, указывается наименование параметра в "Название", и значение в "Значение". Параметров может быть несколько, для добавления нового параметра необходимо нажать на "+";
                                    • Параметры заголовков. Аналогично параметрам запроса.
                                    При успешном ответе на запрос, система выдаст список распознанных в ответе таблиц, как это сделано в JSON/XML коннекторе.
                                    2.6. "Новый столбец" в ETL
                                    При загрузке данных появилась возможность добавлять новый столбец, используя язык запросов источника(если источник СУБД) или внутреннего хранилища.
                                    Кнопка "Новый столбец" расположена над правым верхнем углом таблицы предпросмотра значений в ETL. При нажатии на кнопку открывается всплывающее окно, в которое необходимо ввести желаемое название нового столбца и формулу для расчета.

                                    "Новый столбец" в ETL
                                    "Новый столбец" применим ко всем типам источников, в том числе для Excel файлов и REST API коннектора.
                                    2.7. "Замена значений" и "Преобразование" столбцов со строковым типом данных
                                    Для столбцов с типом данных строка в ETL можно применить "Замена значений" или "Преобразование". Функции находится в меню, которое открывается при нажатии правой кнопкой мыши на заголовок столбца.

                                      "Замена значений" и "Преобразование" для строковых типов данных
                                      "Замена значений" открывает всплывающее окно, где предлагается ввести желаемый текст для замены и текст, на который будет производиться замена.

                                      Преобразования "нижний регистр" и "ВЕРХНИЙ РЕГИСТР" приводят текст в столбце к соответствующему регистру. Функция "Извлечь" открывает всплывающее окно настройки извлечения текста.

                                        Всплывающее окно настройки извлечения текста
                                        2.8. Формирование полного SQL запроса при клике на конкретное поле
                                        Улучшен функционал работы с формированием SQL запроса на этапе загрузки с помощью кликов на конкретные названия полей таблицы. Ранее подставлялось само название поля, теперь формируется полноценный SQL запрос (конструкции SELECT {[fieldNames]} FROM {tableName} ).
                                          2.9. Окно "История перегрузки" для наборов
                                          Для наборов с типом "Загрузка в хранилище" добавили возможность отслеживать историю ручных и регламентных перегрузок данных во внутреннее хранилище.
                                          Отображается таблица с временем окончания операции, автором, статусом перегрузки и комментарий для операций, завершившихся неудачно.

                                            3. Мета-язык формул для расчетных показателей
                                            Получил развитие функционал расчётного показателя. В систему добавлен новый язык формул, позволяющий гибко управлять фильтрацией на уровне функций агрегаций, выполнять сброс фильтров, расчет итогов и подитогов.
                                            Синтаксис мета-языка дублирует функциональность некоторых зарубежных систем.

                                            Пример написания расчётного показателя на мета-языке
                                            
                                            названиеПоказателя = функция([модификаторыФильтров] [TOTAL] полеТаблицы)
                                            
                                            1. названиеПоказателя - текстовое поле, которое будет отображаться как название показателя во всех визуализациях и в списке показателей по умолчанию;
                                            2. функция - одна из списка поддерживаемых функций. На сегодня это - SUM(), MAX(), MIN(), AVG(), COUNT(), DISTINCT();
                                            3. модификаторыФильтров - компонент показателя, управляющий фильтрацией. Весь компонент синтаксически отделяется от остальных с помощью фигурных скобок {} и треугольных скобок внутри <>: {<модификаторыФильтров>}. Внутри компоненты фильтры могут быть наложены и сброшены, рассмотрим эти действия по отдельности:
                                            • Наложение фильтров: наложения фильтра по конкретному полю осуществляется с помощью указания поля таблицы в виде: 'имяТаблицы'[имяПоля]. Далее через знак равно (=) в фигурных скобках указываются значения через запятую. Например: 'спрГорода'[Город] = {"Москва", "Санкт-Петербург"}. Наложение фильтров может быть выполнено по нескольким полям, для этого нужно их указать через запятую. Например: 'спрГорода'[Город] = {"Москва", "Санкт-Петербург"}, 'спрТовары'[SKU]={"Молоко фермерское"}. Фильтры по разным полям внутри одной функции действуют с пересечением по типу "И". Наложение фильтров по числовым полям, по полям с типом дата выполняется аналогичным образом, то есть значения для любых типов данных должны указываться в кавычках. Так же фильтрацию можно наложить не только с типом "Является", но и "Больше", "Меньше", "Больше или равно", Меньше или равно", для этого необходимо в значениях указать соответствующий знак и значение. Например: 'Товары'[цена] = {"1000", ">100", "<=500"}, что вернет нам товары с ценами являющимися 1000 или находящимися в промежутке 101-500
                                            • Сброс фильтров: для игнорирования внешней фильтрации на уровне конкретного вычисления в модификаторе фильтров можно указать поле, не указывая чему оно равно, например: {<'спрГорода'[Город] = {"Москва", "Санкт-Петербург"}, 'спрТовары'[SKU]>}, такая конструкция наложит фильтр по полю Город и не будет учитывать внешнюю фильтрацию по полю SKU таблицы спрТовары.
                                            4. TOTAL - специальная команда для вычисления итогов, позволяющая изменять порядок группировки вычисления. Например, если в визуализации в качестве измерения выступают поля "Год", "Месяц", а в качестве вычисления SUM('Sales_table'[Revenue]), то это фактически означает группировку показателя по каждому уникальному сочетанию Год-Месяц. Если необходимо посчитать показатель с группировкой только по году, то достаточно написать в формуле TOTAL <'Calendar'[Year]>, что по сути сохранит группировку по полю Год, а по всем остальным полям группировку отменит. Если необходимо подсчитать полный итог, достаточно указать TOTAL без каких-либо аргументов.

                                            4. Общие
                                            4.1. Персональная директория для Pro пользователей

                                            У каждого пользователя с лицензией Pro появилась директория с именем "Персональная", у каждого пользователя она своя и не доступна другим пользователям. "Персональная" директория располагается первой в списке директорий.
                                              4.2. Функционал "Дублирование" в персональную директорию
                                              Для пользователей обладающих модификатором доступа "T" (дублирование) появляется возможность дублировать приложение из некоторой публичной директории в персональную.
                                              После применения функционала появляется возможность создавать общедоступные дашборды и редактировать приложение.

                                                "Дублирование" приложения
                                                4.3. Функционал "Публикация" из персональной директории
                                                Для пользователей обладающих модификатором доступа "P" (публикация) появляется возможность публиковать приложение из персональной директории в общедоступную директорию, для которой есть такое правило.

                                                При публикации открывается всплывающее окно публикации, где необходимо выбрать директорию, в которую будет опубликовано приложение. Если выбрана директория, откуда было дублировано приложение, появляется галочка "Заменить существующее приложение". При активации галочки старое приложение в выбранной директории будет заменено.

                                                После публикации приложение из персональной директории исчезает.

                                                "Публикация" приложения
                                                5. Визуализации
                                                5.1. Тумблер "Не отображать на мобильном виде"

                                                Для всех визуализаций в группе настроек "Общие" появился тумблер "Не отображать на мобильном виде". При включенном тумблере визуализация в мобильном представлении не будет отображена.

                                                  Тумблер "Не отображать на мобильном виде"

                                                  Результат применения тумблера "Не отображать на мобильном виде"
                                                  5.2. Динамическая подгрузка данных в фильтрах
                                                  Для визуализации "Фильтр", функции выбора фильтра в заголовках прямой таблицы и в "Панель примененных фильтров" появилась динамическая подгрузка значений (по 200 штук). Теперь, если поле содержит большое количество уникальных записей, список значений для фильтрации не будет подгружать все уникальные опции. Подгрузка значений осуществляется динамически при скролле появившихся значений. Поиск в фильтре при этом работает на стороне сервера, а не клиента, как это было ранее.
                                                    Прочие улучшения и доработки
                                                    • Перевели ядро платформы на .NET 7 версии;
                                                    • Перенесены настройки подключения Active Directory из конфигурационного файла в интерфейс панели администратора;
                                                    • Таблицы интерфейсов администрирования, наборов и источников данных переведены на новый механизм с постраничной подгрузкой и поиском;
                                                    • Связи таблиц на экране модели теперь можно назначать перетаскиванием полей из одной таблицы во вторую с помощью drag-n-drop;
                                                    • Перевели Комбо-график, пузырьковкую диаграмму и Спидометр (датчик) на ECharts;
                                                    • Визуализации типа "Кнопка" в мобильном виде разместили в очереди следующими за объектами типа фильтр;
                                                    • В "Абстрактная JS визуализация" добавили возможность применять сортировку на уровне данных;
                                                    • Добавили возможность настраивать визуальное оформление объекта типа фильтр;
                                                    • Улучшили отображение меток значений на оси Х для пузырьковой визуализации;
                                                    • Устранена ошибка с отображением итогов в прямой таблице;
                                                    • Исправлена ошибка с неработающими (в некоторых случаях) приставками "млн", "тыс" и др. для прямой таблицы;
                                                    • По просьбам пользователей PIX BI произведено уменьшение минимальной ширины для объекта типа фильтр;
                                                    • Исправили некорректное отображение типов фильтрации для столбцов с типами Boolean, Numeric, Decimal;
                                                    • Исправили ситуацию, когда условное форматирование не применялось для полей с пустым значением;
                                                    • Сделали поле "Пароль" обязательным для изменения любых параметров секции "Настройки" и параметров источника;
                                                    • Обновлен и дополнен перевод на английский и испанский языки.
                                                    Большое количество прочих улучшений и доработок.
                                                      1 марта 2023
                                                      Анонс релиза PIX BI 1.23.227
                                                      Описание нового функционала
                                                      ВНИМАНИЕ! Установка PIX BI 1.23.227 выполняется по инструкции "Установка PIX BI 1.23.227"
                                                      Расширен функционал и доработаны интерфейсы:
                                                      • Разработан функционал экспорта визуализаций в PDF;
                                                      • Статусы загрузки данных в "Внутреннее хранилище ПИКС";
                                                      • Загрузка файлов с хоста PIX BI через путь с возможностью настроить регламентное обновление;
                                                      • Автоматическое продление лицензий при наличии свободных;
                                                      • Унификация различных форматов для типа данных "Дата";
                                                      • Разработан функционал раскрытия визуализаций на весь экран.
                                                        1. Улучшения визуализаций
                                                        1.1. Экспорт визуализаций в PDF

                                                        Для всех визуализаций появилась новая опция для экспорта - PDF.

                                                          Опция PDF для экспорта
                                                          После применения опции на ваш компьютер скачается файл, содержащий визуализацию в состоянии на момент создания экспорта.
                                                            1.2. Раскрытие визуализаций на весь экран
                                                              Для всех визуализаций по умолчанию доступен функционал раскрытия на весь экран (на все полотно PIX BI). Раскрытие выполняет нажатием по специальной иконке в заголовке каждой визуализации.

                                                                Раскрытие визуализаций на весь экран
                                                                2. Общее
                                                                2.1. Автоматическое продление лицензий

                                                                В случае, когда заканчивается срок действия одной группы лицензии, но при этом уже загружена новая группа лицензий, срок начала действия которой подошел, то может быть применено автоматическое назначение лицензий пользователя по следующему алгоритму:
                                                                • В 00:00 по временной зоне сервера стартует алгоритм проверки актуальности действия текущих лицензий. Если программа обнаруживает, что лицензии закончили свое действие и есть лицензии, которые никому не назначены, то они переназначаются автоматически по следующему приоритету: Администраторы -> Про -> Базовый в порядке создания учетных записей (старые вперед);
                                                                • В случае, если описанный алгоритм не отработал успешно по любой причине, то переназначение лицензий, в случае наличия свободных, происходит во время попытки авторизации пользователем.
                                                                  2.2. Унификация различных форматов для типа данных "Дата"
                                                                  Для отображения полей с типом "Дата" в верном для поддерживаемых локалей формате, например, для России - DD.MM.YYYY, для англоговорящих стран - MM/DD/YYYY и др. была создана обработка и приведение различных форматов дат к единому формату ISO 8601. Унификация форматов позволит пользователям видеть даты в понятном формате, создаст возможность корректного наложения фильтров по таким полям, а так же ускорит взаимодействие компонентов системы, что положительно скажется на производительности.
                                                                    3. ETL
                                                                    3.1. Статусы загрузки данных в Внутреннее хранилище ПИКС

                                                                    При использовании типа подключения источника как "Загрузка в хранилище", в списке наборов данных появляются отдельные иконки с обозначением последнего зарегистрированного статуса загрузки набора данных. На данный момент используются следующие статусы:
                                                                    • In progress - при запуске загрузки данных вручную или автоматически, в случае настроенного регламента обновления;
                                                                    • Finished - при успешном завершении;
                                                                    • Crashed - процесс загрузки начался и не завершился успешно по некоторым причинам;
                                                                    • Failed - процесс загрузки данных не смог начаться по некоторым причинам;
                                                                    • Scheduled - процесс загрузки запланирован, значит, что для набора назначено регламентное обновление.
                                                                    При настроенном регламентном обновлении и отображаемым статусе Scheduled так же отображается последний статус, например, прошлое обновление данных было завершено успешно, а следующее запланировано на следующий день в 10:00 утра. В таком случае будет отображен статус Scheduled и предыдущий статус Finished.

                                                                      3.2. Загрузка файлов с локального пути хоста PIX BI
                                                                      Для файловых источников (Excel, CSV) появилась возможность не только выбирать конкретный файл с своей машины, но и указывать путь к файлу на хосте.

                                                                        Визард загрузки файлов с локальным путем
                                                                        При загрузке таким образом, появляется возможность настроить регламент обновления на странице редактирования набора данных.
                                                                          4. Прочие улучшения и доработки
                                                                          • Добавили возможность редактирование названия и описания набора из окна редактирования набора;
                                                                          • Описание набора отображается в ETL на странице редактирования набора;
                                                                          • В случае источника типа СУБД, при сохранении набора данных запоминается последняя выбранная схема данных;
                                                                          • При включении функционала "Топ" в круговой диаграмме отображается автоматически выбранной первый показатель из полки "Меры";
                                                                          • Оптимизация запросов к данным для сводной таблицы;
                                                                          • Добавлен тумблер, автоматически скрывающий все пустоты в визуализациях. Тумблер доступен на уровне общих настроек приложения и в настройках каждой визуализации;
                                                                          • Настройка по отображению зума и/или скролла для визуализаций, импортированных из ECharts, вынесена в настройки соответствующей Оси;
                                                                          • Исправлена ошибка при попадании "(пусто)" в ТОП;
                                                                          • Устранили ошибку, когда в настройках условного форматирования для числовых полей отсутствовали агрегации SUM() и AVG();
                                                                          И другие менее значимые доработки и исправления
                                                                            10 февраля 2023
                                                                            Анонс релиза PIX BI 1.23.210
                                                                            Описание нового функционала
                                                                            Расширен функционал и доработаны интерфейсы:
                                                                            • Разработан функционал отображения ТОП-N и упаковка остальных значений в "Другое" для круговой диаграммы;
                                                                            • Сохранение уровня раскрытых значений при фильтрации в сводной таблице;
                                                                            • Регламентное обновление для источников типа СУБД;
                                                                            • Множественный выбор значений на ECharts визуализациях объектным выделением;
                                                                            • Обновлены модули системы исходя из требований безопасности.

                                                                            1. Улучшения визуализаций
                                                                            1.1. ТОП-N для круговой диаграммы

                                                                            Для круговой диаграммы теперь можно ограничить количество выдаваемых значений - функционал ТОП-N. Для его включения существует настройка "Топ" в настройках круговой диаграммы.

                                                                            Настройка Топ для круговой диаграммы
                                                                            Настройка содержит тумблер включения. Определение порядка отображения для Топ: сверху или снизу, количество значений и выбор формулы, по которой будут определяться значения, попадающие в Топ. По умолчанию выбирается первая мера из полки мер в визуализации.
                                                                            Также, значения, не попавшие в Топ, можно "упаковать" в отдельную секцию "Другое". Для такого поведения достаточно включить тумблер и определить название для категории.

                                                                              Круговая диаграмма с ТОП-N
                                                                              1.2. Сохранение "раскрытости" сводной таблицы при фильтрации
                                                                              При применении фильтрации кликом на пересечение измерений в сводной таблице она не перестраивается, а сохраняет те же уровни раскрытыми. Ранее при применении фильтрации сводная таблица "сбрасывалась" до исходного положения.

                                                                                Сохранение "раскрытости" сводной таблицы
                                                                                1.3. Множественный выбор на визуализациях из ECharts
                                                                                Для визуализаций, интегрированных из библиотеки ECharts появилась возможность использовать объектное множественное выделение с помощью встроенного функционала.
                                                                                Каждая иконка обозначает отдельный тип выделения из списка:
                                                                                • Прямоугольное - выделяет прямоугольную область на визуализации. Выделенными оказываются все элементы диаграммы, попавшие внутрь прямоугольника;
                                                                                • Лассо - позволяет выделить произвольную область данных;
                                                                                • Горизонтальное - выделяет значения по горизонтали;
                                                                                • Вертикальное - выделяет значения по вертикали;
                                                                                • Кнопка управления "сохранением" выделений, в случае когда необходимо выбрать два диапазона с разрывом посередине.

                                                                                  Иконки множественного выделения
                                                                                  2. Базовый ETL
                                                                                  2.1. Регламентное обновление наборов данных из СУБД

                                                                                  Для источников типа СУБД, в случае режима подключения "Загрузка в хранилище", появилась возможность задавать правила регламентного обновления данных. Кнопка, открывающая окно настройки регламентного обновления, находится на верхней панели над блоком для написания SQL запроса, рядом с кнопкой "Запустить запрос".

                                                                                    Кнопка "Регламентное обновление"

                                                                                    Окно настройки регламентного обновления
                                                                                    Регламент настраивается по cron выражению. Его можно настраивать как в техническом варианте, с помощью специального выражения, так и в нативном формате, выбирая значения для уточнения частоты обновлений: каждый N год в каждый N месяц по D день месяца и D день недели в CC час и MM минут.
                                                                                    Выражение выполняется согласно выбранному в первом пункте часовому поясу.
                                                                                      3. Прочие улучшения и доработки
                                                                                      • Обновили компоненты кода, в которых были системные уязвимости;
                                                                                      • Увеличили допустимый размер Excel файла;
                                                                                      • Добавили возможность растягивать панели "Наборы" и "Визуализации" в режиме редактирования;
                                                                                      • Улучшили интерфейс назначения "Все" при выборе групп при создании пользователя;
                                                                                      • Увеличили размер загружаемых файлов до 2 ГБ;
                                                                                      • Удалили технический столбец в ETL при импорте Excel;
                                                                                      • Исправили ошибку, когда не удавалось связать в модели 2 таблицы из разных наборов, в случае когда они загружены в внутреннее хранилище PIX;
                                                                                      • Устранили ошибку при загрузке Excel, CSV файлов в ETL;
                                                                                      • Исправили ошибку в работе объекта фильтр с настройка "Единичный выбор";
                                                                                      • Добавили автоматическую подстановку SELECT и FROM конструкций при использовании "Все поля" в ETL;
                                                                                      • Исправили ошибку, когда в UI интерфейсе для RLS одновременно можно было выбрать "И" и "ИЛИ";
                                                                                      • Исправили ошибки с минимальным и максимальным значении по Оси Y для линейных и столбчатых визуализаций;
                                                                                      • Исправили работу сортировки для объекта типа фильтр;
                                                                                      • Восстановили работу экспорта данных в CSV и Excel из визуализаций, интегрированных из ECharts;
                                                                                      • Исправили ошибку, когда визуализация, использующая удаленную из модели таблицу, находилась в режиме вечного ожидания данных.
                                                                                      И другие менее значимые доработки и исправления.
                                                                                        20 января 2022
                                                                                        Анонс релиза PIX BI 1.23.120
                                                                                        Описание нового функционала
                                                                                        Расширен функционал и доработаны интерфейсы:
                                                                                        • Разработан функционал регламентного обновления для наборов, перегружаемых в проприетарное хранилище;
                                                                                        • Добавлена возможность использования формул в сортировке;
                                                                                        • Добавлен функционал Drill-down и применение фильтрации из абстрактной JS-визуализации;
                                                                                        • Интегрирована библиотека ECharts для использования в абстрактной JS-визуализации;
                                                                                        • Реализован функционал и интерфейс импорта/экспорта приложений, источников и наборов между установками PIX BI.

                                                                                        1. Визуализации и их изменения
                                                                                        1.1. Использование формул в сортировке
                                                                                        Реализован функционал использования общедоступных или локальных формул для сортировки в визуализациях.
                                                                                        Для использования общедоступной формулы в сортировке необходимо выбрать опцию "Другое поле" в настройке "Поле для сортировки". В появившийся контейнер из папки "Формулы" в списке наборов данных необходимо перенести желаемый общедоступный показатель.
                                                                                        Чтобы использовать "локальный" показатель, действующий только на уровне этой настройки и не сохраняющийся в папку "Формулы", необходимо выбрать опцию "Другое поле" в настройке "Поле для сортировки". Нажать на кнопку создания формулы (выделена на картинке). В открывшемся окне написать желаемую формулу для сортировки.


                                                                                        Использование формул в сортировке

                                                                                        1.2. Отображение промежуточных итогов в сводной таблице

                                                                                        Реализован функционал отображения промежуточных итогов в сводной таблице. При раскрытии некоторого значения в строках или столбцах таблицы, значения для группы также отображаются.


                                                                                        Промежуточные итоги строк в сводной таблице

                                                                                        Столбец подытогов в сводной таблице

                                                                                        Для управления промежуточными итогами созданы отдельные пункты меню настроек визуализации.


                                                                                        Настройки управления подытогами

                                                                                        1.3. Улучшения произвольной JS визуализации
                                                                                        Функционал произвольной JS визуализации получил следующие улучшения:
                                                                                        • Добавлена возможность интегрирования визуализаций из библиотеки ECharts
                                                                                        • Добавлены специализированные JS events, используя которые появилась возможность интегрировать встроенные в платформу действия, такие как: нажатие на объекты позволяет отправлять значения в примененные фильтры, применения Drill-down (одинарные стрелочки), циклическая замена измерений (двойные стрелочки).
                                                                                        Список event и места их вызова:
                                                                                        • itemResetFilters - вызывается при нажатии на Drill-down, циклическую замену, поднятие вверх, применить фильтр, сбросить выделение;
                                                                                        • itemApplyFilters - вызывается при нажатии на Применить фильтр;
                                                                                        • itemApplyDrill - вызывается при нажатии на Drill-down;
                                                                                        • itemApplyDoubleDrill - вызывается при нажатии на Drill-down, циклическую замену;
                                                                                        • itemApplyUnDrill - вызывается при нажатии на поднятие вверх.
                                                                                        Для того, чтобы уведомить PIX BI о выборе категории, вызываем событие itemExternalSelection и передаем ключ (идентификатор) и список значений.
                                                                                        Примеры кода, использующие подобные event в произвольной JS визуализации будут указаны в базе знаний PIX BI.

                                                                                        1.4. Улучшения объекта типа фильтр
                                                                                        В объекте типа "фильтр" произошли значительные улучшения. Теперь система демонстрирует выбранные пользователем значения, а также подсказывает, какие значения логически исключаются вследствие действия других фильтров.

                                                                                        Рассмотрим пример. В фильтре по менеджерам выбран "Алексеев Иван", данные по которому относятся только к федеральным округам "Центральный" и "Западный". Теперь, открыв фильтр по Фед. округам, мы видим, что значения "Центральный" и "Западный" окрашены в белый цвет, а все остальные - в серый. Выделение серым цветом означает, что эти значения логически исключены из выборки другими наложенными фильтрами.

                                                                                        Цветное выделение значений фильтров

                                                                                        Выбранные значения выделяются зеленым цветом и поднимаются наверх в списке значений. Значения, выделенные серым цветом, также можно выбирать в фильтре. "Градусник" примененных фильтров также отображает цветное выделение.


                                                                                        "Градусник" примененных фильтров
                                                                                        1.5. Выгрузка из прямой и сводной таблиц в Excel
                                                                                        Разработана выгрузка из прямой и сводной таблиц в Excel. В случае прямой таблицы, таблица экспортируется на один лист в том виде, в котором она открыт в PIX BI на момент выгрузки. Учитываются все фильтры и сортировки. Визуальные настройки в Excel не будут отражены.
                                                                                        Сводная таблица экспортируется сразу в трех форматах на отдельные листы Excel:
                                                                                        1. Экспорт "as-is" - таблица выгружается в том же состоянии и виде, в котором она находится на момент экспорта. Учитываются раскрытые категории и промежуточные итоги;
                                                                                        2. Экспорт в виде прямой таблицы - таблица превращается в прямую таблицу со столбцами, где идут столбцы, указанные в строках, затем в столбцах и после все использующиеся в визуализации меры;
                                                                                        3. Экспорт в виде сводной таблицы - таблица экспортируется в виде объекта "Сводная таблица Excel".
                                                                                        1.6. Замещающий текст в объекте типа "Карточка"
                                                                                        Замещающий текст позволяет использовать объект как текстовый. Также позволяет выводить набранный текст в случае, когда "Карточка" принимает пустоту или приходит ошибка. Для каждого из случаев есть отдельное поле для ввода текста.


                                                                                        Замещающий текст в карточке

                                                                                        Настройка "Текст" позволяет использовать карточку как текстовый объект. Отображается в случае, когда в полку "Меры" не добавлено ни одно поле.
                                                                                        Настройки "Пустота" и "Ошибка" позволяют заменить пустое значение или ошибку. Отображаются в случае, когда в полку "Меры" добавлено одно поле.


                                                                                        Настройки замещающего текста


                                                                                        2. Платформа
                                                                                        2.1. Экспорт и импорт контента между установками PIX BI
                                                                                        В панель администрирования добавлен функционал и разработан интерфейс экспорта и импорта приложений, наборов данных и источников (без данных об авторизации). Кнопки экспорта и импорта находятся в Панель администратора -> Директории .


                                                                                        Кнопки экспорта и импорта контента
                                                                                        Интерфейс Экспорт контента выглядит следующим образом:
                                                                                        Наверху расположена опция, позволяющая экспортировать связанные с выбранными приложениями настройки наборов данных и источники, при этом сами данные или настройки авторизации источника не экспортируются. Далее в древовидной структуре размещены директории и приложения. После выбора необходимых приложений и нажатия кнопки "Эскпортировать" будет скачан архив с приложениями.


                                                                                        Интерфейс экспорта данных
                                                                                        Интерфейс импорта содержит кнопку для загрузки экспортированного архива с приложениями и информацией об источниках и наборах.


                                                                                        Интерфейс импорта данных
                                                                                        После загрузки файла, система распознает экспортированные приложения и предложит выбрать какие из них вы хотите импортировать. Для выбранных приложений откроется окно для выбора директории.


                                                                                        Интерфейс импорта данных


                                                                                        3. Прочие улучшения и доработки
                                                                                        • Добавлена ссылка на Базу знаний PIX BI в список "Полезное" на стартовом экране
                                                                                        • Добавлено подключение к внутреннему хранилищу по умолчанию;
                                                                                        • Разработан функционал сортировки дашбордов. Для Pro пользователей данный функционал в приложении реализуется простым перетаскиванием;
                                                                                        • Добавлено всплывающее окно с оригинальным названием поля, добавленного в полку визуализации.
                                                                                        22 декабря 2022
                                                                                        Анонс релиза PIX BI 1.12.22
                                                                                        Описание нового функционала
                                                                                        Расширен функционал и доработаны интерфейсы:
                                                                                        • Добавлен функционал базового ETL с новыми интерфейсами создания наборов и источников.
                                                                                        • Часть визуализаций переведены на библиотеку ECharts.
                                                                                        • Добавлено 6 новых визуализаций и доработан функционал в старых.
                                                                                        • Реализовано подключение по Active Directory.
                                                                                        • Реализован функционал копирования и дублирования дашбордов.
                                                                                        • Реализован переход на Clickhouse в качестве внутреннего хранилища.
                                                                                        • Выполнена локализация системы на английский и испанский языки.

                                                                                        1. Проприетарное хранилище
                                                                                        В этом релизе появилось внутреннее проприетарное хранилище на базе СУБД Clickhouse или Postgres.

                                                                                        Подключение к проприетарному хранилищу
                                                                                        Настройка подключения к проприетарному хранилищу выполняется на уровне опций конфигурационного файла 'PostgreSqlConnection' и 'ClickhouseConnection'. Необходимо указать Host, Port, User и Password. У пользователя должны быть права на создание и чтение объектов СУБД.
                                                                                        2. ETL
                                                                                        2.1. Новый интерфейс создания источника и набора
                                                                                        Для удобства мы перенесли создание, выбор источника для набора и создание набора в единое меню. Новое окно вызывается кликом на "Добавить набор данных" на странице наборов данных.

                                                                                        Новое создание набора выполняется в 2 шага. На первом выбирается тип источника и фиксируется выбор уже существующего или нового источника. В первом случае источник выбирается из списка созданных, при добавлении нового появятся поля для ввода информации для подключения.

                                                                                        На втором шаге потребуется указать название и описание (при необходимости).

                                                                                        Стал доступен выбор типа подключения: "Загрузка в хранилище" или "Прямое подключение", настраиваемое на уровне подключения к источнику. В случае прямого подключения запросы будут обрабатываться на уровне источника данных, в случае загрузка в хранилище результирующий запрос будет перегружаться в проприетарное хранилище.

                                                                                        2.2. Новые типы источников
                                                                                        В качестве источника данных теперь доступны "Microsoft SQL Server" и "Clickhouse". Подключение к выбранным типам источников производится посредством библиотек "Octonica.Clickhouse" и "System.Data.SqlClient". В текущей реализации доступные типы источников: Clickhouse, Excel, Microsoft SQL Server, PostgreSQL

                                                                                        2.3. Панель трансформаций

                                                                                        Панель трансформаций - это этап загрузки данных в PIX BI, на котором можно составить SQL запрос к базе данных, выполнить необходимые преобразования над данными, сохранить скрипт преобразований отдельно или выполнить загрузку, а также назначить регламент обновления информации в наборах.
                                                                                        Разберем отдельно по блокам интерфейс панели:
                                                                                        1) Блок "SQL запрос" представляет собой блок для написания SQL запроса к выбранному источнику. Блок имеет синтаксическую подсветку базовых общеизвестных SQL команд, умеет принимать данные в результате действий на панели "Навигация".

                                                                                        2) Блок "Навигация" содержит сводную информацию об источнике данных. В первых двух секциях отображена информация о названии источника, к которому подключен данный набор, и База данных, из которой тянутся данные.
                                                                                        "Schema" непосредственно связан с блоком навигации по выбранной базе данных. В секции "Schema" выбирается схема из числа доступных в рамках текущего подключения, данные из которой отображаются ниже в виде древовидной структуры: "Таблица" - "Поле". У каждого поля показан тип данных, который это поле имеет в СУБД. При нажатии на название поля, оно подставляется в панель "SQL запрос". При нажатии на кнопку "Добавить все поля" напротив каждой таблицы в панель "SQL запрос" подставляются все поля, написанные через запятую.
                                                                                        Панель "Навигация" доступна только для источников типа СУБД.

                                                                                        3) Блок "Рабочее полотно" состоит из 6 различных секций:
                                                                                        • Просмотр представляет собой окно для предпросмотра актуального состояния данных на последнем шаге трансформаций, а также предоставляет возможность выполнять сортировку и фильтрацию (открывается по нажатию на галочку справа от имени каждого столбца), смену типов столбца (открывается при нажатии на иконку типов слева от названия столбца). Удаление и дублирование столбцов открывается по нажатию на заголовок столбца



                                                                                        • Секция "Фильтры" хранит информацию о всех шагах с применением фильтров.
                                                                                        • "Удаленные столбцы" хранит информацию обо всех удалениях столбцов.
                                                                                        • "Измененные типы" хранит информацию об изменении типов столбцов.
                                                                                        • В секции "Преобразования" сохраняются все шаги трансформаций таблицы. Шаги преобразований можно передвигать, изменяя очередность применения трансформаций к набору данных.


                                                                                        • В секции "Доступы" можно разграничить уровень доступа для владельцев лицензии Pro.
                                                                                          Доступы ранжируются следующим образом:
                                                                                          1. "Владелец" - полные права на редактирование, удаление набора и назначение доступов.
                                                                                          2. "Редактор" - получает право на редактирование, без права удаления набора и просмотра выданных доступов, а также их назначение.
                                                                                          3. "Наблюдение" - имеет доступ на просмотр примененных шагов и SQL запроса

                                                                                        4) Блок "Кнопки управления"
                                                                                        содержит кнопки для управления редактированием и загрузкой данных
                                                                                        • Кнопки "Отмена", "Сохранить", "Загрузить и сохранить", "Удалить" - стандартные кнопки действий, которые позволят отменить изменения, сохранить набор указанных преобразований без загрузки данных, загрузить данные и сохранить преобразования, а также удалить текущий набор данных


                                                                                        ● Кнопки "Запустить запрос", "Регламент обновлений" и прочие позволяют управлять работой с механизмом загрузки данных. Кнопка "Запустить запрос" отвечает за посылку исходного запроса к источнику. Кнопка "Регламент обновлений" позволяет настраивать регламентное обновление набора данных.

                                                                                        3. Визуализации и их улучшение
                                                                                        3.1. Комбо график
                                                                                        Добавлен новый тип визуализации, сочетающий в себе гистограмму и линейную диаграмму - комбо график.

                                                                                        Комбо график имеет полки:
                                                                                        • Категории - принимает до 10 полей, отображаются на оси Х в качестве измерений.
                                                                                        • Линия - отвечает за отображение линий в комбо диаграмме. Принимает агрегации типа "Мера". Зависит от заполнения полки "Серии". В случае отсутствия полей в "Серии", может содержать до 5 агрегаций и написанных формул. В случае наличия поля в "Серии", может содержать максимум 1 агрегацию или написанную формулу.
                                                                                        • Столбцы - отвечает за отображение столбцов на диаграмме. Принимает агрегации типа "Мера". Может содержать до 5 агрегаций и написанных формул. В случае наличия поля в "Серии" один столбик распадается на несколько, каждый из которых отвечает за одно значение серии
                                                                                        • Серии - контролирует отображение столбцов на диаграмме. Принимает аргумент типа "Измерение".
                                                                                        Для отображения информации на визуализации необходимо наличие хотя бы одного поля в "Категории" и одного поля в "Линии" или "Столбцы".
                                                                                        Для настроек вида графика есть множество опций, часть из которых присуща только Комбо графику.

                                                                                        3.2. Карта
                                                                                        Добавлен новый тип визуализации, позволяющий проводить геоаналитику - отображать точки на карте и управлять их размерами.

                                                                                        Карта имеет полки:
                                                                                        • Широта - принимает значения широт в текстовом и числовом форматах.
                                                                                        • Долгота- принимает значения долгот в текстовом и числовом форматах.
                                                                                        • Размер точки - влияет на масштаб пузырька при отображении. Принимает агрегацию типа "Мера".
                                                                                        • Условные обозначения - отвечает за подпись категории каждого пузырька. Принимает любое поле.
                                                                                        Для отображения визуализации необходимо заполнить по одному полю в "широте" и "долготе".


                                                                                        3.3. Картинка
                                                                                        Новый тип визуализации - картинка. Позволяет загрузить произвольную картинку, выполнить классические визуальные трансформации (поворот, масштабирование) и разместить ее на дашборде. Картинки также могут выполнять функции кнопок и содержать в себе ссылки на другие дашборды или внешние ресурсы. При клике на изображение будет открыта новая вкладка с переходом по указанной ссылке.

                                                                                        Поддерживаемые форматы: JPEG, PNG, BMP, GIF, WEBP, X-ICON.
                                                                                        Полок данных не содержит.


                                                                                        3.4. Произвольная JS визуализация
                                                                                        Особенный тип визуализации, являющийся, на самом деле, любой визуализацией - произвольная JS визуализация. При редактировании этой визуализации открывается окно для написания JS кода, результат выполнения которого будет отражен в контейнере визуализации.

                                                                                        Внутри блока кода можно пользоваться данными, которые в удобном формате пришлет PIX BI, над областью написания кода изображен ID блока/Ключ данных и способ получения данных в классическом формате. Из коробки система поддерживает вызов API для ECharts и HighCharts. В случае использования произвольной JS визуализации все необходимые трансформации отображения графиков и преобразования расчетов, выходящие за пределы стандартных, необходимо выполнять кодом на JS.

                                                                                        Произвольная JS визуализация имеет полки:
                                                                                        ● Категории. Принимает значения типа "Измерения", по которым будет проводиться группировка агрегаций.
                                                                                        ● Меры. Принимает значения агрегаций и формул.
                                                                                        ● Серии. Добавленное поле позволяет сделать дополнительную группировку series для каждого значения категории.
                                                                                        Для отображения визуализации необходимо хотя бы по одному полю в "Категории" и "Меры".



                                                                                        3.5. Каскадная диаграмма (водопад)
                                                                                        Визуализация, позволяющая отобразить совокупный итог и вклад каждого значения измерения - каскадная диаграмма. Визуализация строит значения выбранного показателя в виде столбиков и отражает подытог (сумму всех положительных значений), а также общий итог с учетом вкладов всех значений.

                                                                                        Каскадная диаграмма содержит уникальный способ сортировки "+/-", который сортирует значения в обратном порядке, с отображением подытога после всех положительных значений.

                                                                                        Каскадная диаграмма имеет полки:
                                                                                        • Измерения. Принимает значения типа "Измерения", по которым будет проводиться группировка агрегаций.
                                                                                        • Меры. Принимает значения агрегаций и формул.
                                                                                        Для отображения визуализации необходимо хотя бы по одному полю в "Измерениях" и "Мерах".


                                                                                        3.6. Кнопки и функционал навигации
                                                                                        Визуализации, позволяющие записывать действия на клик по ним - кнопки. У кнопок настройки отображения зависят от состояния: обычное, при наведении, при нажатии. Из-за этого кнопки можно делать интерактивными - меняющими текст и стиль отображения, подсказывающими пользователю, что будет при взаимодействии с объектом.

                                                                                        Следующая функциональность кнопок - навигации при клике. Для навигации в настройках визуализации можно выбрать дашборд приложения, или "другое" и назначить произвольную ссылку.



                                                                                        3.7. Улучшения визуальных компонентов

                                                                                        Добавлены:
                                                                                        • Регулировка минимальной ширины категории в графиках: линейная диаграмма, график с областями (area), столбчатая диаграмма, горизонтальная столбчатая. После регулировки может появляться прокрутка внутри графика.

                                                                                        • Сортировка значений измерений в строках и столбцах сводной таблицы по значению полей или по произвольной агрегации. Настройка сортировки находится в опциях "Столбцы" и "Строки".

                                                                                        • Расширены возможности настроек визуализаций Сводной таблицы, Прямой таблицы.
                                                                                        • Добавлен внутренний радиус в настройки круговой диаграммы.
                                                                                        • Поля, добавленные в полки, теперь можно перемещать между полками drag-n-drop, аналогично перемещению поля из набора в полку.
                                                                                        • Возможность кастомизации меток данных в графиках (обводка, шрифт, цвета).
                                                                                        • Отображение незавершенных визуализаций и визуализаций с ошибкой. При клике на "Подробнее" выйдет описание ошибки.

                                                                                        • Улучшены функциональные возможности визуализации "Карточка". Теперь в ней можно отобразить даты или строки.
                                                                                        • Добавление нескольких полей в визуализацию типа "Фильтр" и отображение значение в иерархическом формате.

                                                                                        • Возможность копирования объекта визуализации и вставка на произвольный дашборд. Копирование возможно через action-меню в правом углу визуализации, а также сочетанием клавиш ctrl+C. Вставка через нажатие ПКМ на пустом месте или сочетанием клавиш ctrl+V.
                                                                                        • Условное форматирование цвета фона в таблицах. Условное форматирование позволяет окрасить фон ячеек таблиц в зависимости от настроенных правил. Правила применяются "сверху вниз".

                                                                                        4. Портал и администрирование
                                                                                        4.1. Авторизация через Active Directory (AD)

                                                                                        Теперь на этапе создания учетной записи в PIX BI можно связать учетную запись с учетной записью Active Directory.

                                                                                        Для связывания учетных записей необходимо поставить галочку "Использовать аутентификацию по Active Directory" и выбрать учетную запись Active Directory из выпадающего списка.
                                                                                        Подключение к Active Directory может выполняться двумя способами:
                                                                                        • Если AD находится на внешнем сервере, подключение выполняется посредством LDAPS. В appsettings.json необходимо указать параметры подключения.
                                                                                        • Если AD находится на локальном сервере, никаких параметров указывать не нужно

                                                                                        4.2. Row Level Security (RLS)
                                                                                        Чтобы разграничить доступ на уровне строк данных, можно использовать RLS. На странице редактирования набора приложения необходимо нажать на кнопку в левом верхнем углу. Откроется окно ввода фильтрующих правил.

                                                                                        Правила фильтрации работают в скрытом формате, пользователь дашборда не может знать правил, и что они существуют. Правила можно назначать пользователю или группе пользователей. Если пользователь попадает под несколько групп, то правила для него работают по расширяющемуся принципу. Например, пользовать "user" находится в группе "Менеджеры", которая получила фильтр Город = "Москва", а также пользователю "user" назначено правило Город = "Тверь" персонально. В таком случае он увидит "Москва" и "Тверь".


                                                                                        4.3. Прочие улучшения
                                                                                        • Добавлена базовая роль "Без роли", позволяющая создать пользователя без запроса лицензии.
                                                                                          "Без роли" пригодится, когда необходимо временно снять лицензию с пользователя, не удаляя его из системы.

                                                                                        • Добавлен функционал Дублирования дашбордов в приложении. Дублированный дашборд помещается в конец списка "Персональные дашборды".
                                                                                        • Изменен интерфейс и функционал "Привязка данных". Теперь одно приложение может использовать данные только из одного источника. При загрузки данных в проприетарное хранилище, можно использовать все наборы.
                                                                                        • Система стала доступна на английском и испанском языках.

                                                                                        5. Исправлены обнаруженные ошибки
                                                                                        • Исправили белый экран при работе с системой через браузер Safari.
                                                                                        • Скорректирована работа подсказок в кастомных формулах.
                                                                                        • Исправлена ошибка отображения сводной таблицы без полей в "Столбцы".
                                                                                        • Исправлена ошибка, когда после смены авторизации на учетную запись с меньшими правами оставались видны директории пользователя с большими правами .
                                                                                        • Исправлена ошибка применения настроек визуализаций на уровне приложения.
                                                                                        • Исправлены ошибки суффиксов значений (тыс., млн., …) в метках.
                                                                                        • Исправлены ошибки смены типа графика для случаев разных типов и количества входных данных. (Смена "Круговая диаграмма" на тип "Картинка").
                                                                                        • Исправлено отображение количества загруженных лицензий сразу после загрузки архива с лицензиями.
                                                                                        • Исправлено отображение процентного формата в визуализации "Таблица".
                                                                                        • Исправлена работа связи по полям с разными типами.

                                                                                        Исправлены прочие мелкие ошибки.