Операции, производимые с данными (данные и сообщения)

Содержание:

Введение.

Данные – составная часть информации, представляющая собой зарегистрированные сигналы. При этом физический метод регистрации может быть любым: механическое перемещение физических тел, изменение электрических, магнитных, оптических характеристик, химического состава и (или) характера химических связей, изменение состояния системы и многое другое.

В соответствии с методом регистрации данные могут храниться и транспортироваться на носителях различных видов. Ранее самым распространенным носителем данных являлась бумага. На бумаге данные регистрируются путем изменения оптических характеристик ее поверхности. Регистрация данных путем изменения химического состава поверхностных веществ носителя широко используется в фотографии. На биохимическом уровне происходит накопление и передача данных в живой природе. Изменение оптических свойств (изменение коэффициента отражения поверхности в определенном диапазоне длин волн) используется также в устройствах, осуществляющих запись лазерным лучом на пластмассовых носителях с отражающим покрытием (CD-ROM). В качестве носителей, использующих изменение магнитных свойств, можно назвать накопители на жестких магнитных дисках. В настоящее время наиболее распространена регистрация данных путем изменения электрического состояния объекта (Flash-накопители).

В обыденной жизни информацию отождествляют с понятиями сообщение, сведения, данные, знания.

Следовательно, данные или сообщения содержат нечто такое, от чего зависит их сравнительная ценность, ради чего они собираются, передаются и обрабатываются. Именно поэтому под термином "информация" чаще всего понимают содержательный аспект данных, проводя, таким образом, различие между информацией и данными. Термин "данные" происходит от латинского слова data – факт, а термин "информация" – от латинского "informatio", что означает разъяснение, изложение.

Информация не существует сама по себе, так как она подразумевает наличие объекта (источника), отражающего информацию, и субъекта (приемника, потребителя), воспринимающего ее. Всякое событие, всякое явление служит источником информации.

2. Структуры данных.

Можно показать не один случай, где у информации видна явная структура. Наглядным примером служат книги самого разного содержания. Они разбиты на страницы, параграфы и главы, имеют, как правило, оглавление, то есть интерфейс пользования ими. В широком смысле, структурой обладает всякое живое существо, без нее органика не смогла бы существовать.

Нам приходилось сталкиваться со структурами данных непосредственно в информатике, например, с теми, что встроены в язык программирования. Часто они именуются типами данных. К таковым относятся: массивы, числа, строки, файлы и т. д.

Работа с большими наборами данных автоматизируется проще, когда данные упорядочены, то есть образуют заданную структуру. Существует три основных типа структур данных: линейная, иерархическая и табличная.

Основные структуры данных:

Линейные структуры – это хорошо знакомые нам списки. Список – это простейшая структура данных, отличающаяся тем, что адрес каждого элемента данных однозначно определяется его номером. Проставляя на отдельных страницах рассыпанной книги, мы создаем структуру списка, поскольку все студенты группы зарегистрированы в нем под своими уникальными номерами. Мы называем номера уникальными потому, что в одной группе не могут быть зарегистрированы два студента с одним и тем же номером.

Линейные структуры данных (списки) – это упорядоченные структуры, в которых адрес элемента однозначно определяется его номером.

С таблицами данных мы тоже хорошо знакомы, достаточно вспомнить всем известную таблицу умножения. Табличные структуры отличаются от списочных тем, что элементы данных определяются адресом ячейки, который состоит не из одного параметра, как в списках, а из нескольких. Для таблицы умножения, например, адрес ячейки определяется номерами строки и столбца. Нужная ячейка находится на их пересечении, а элемент выбирается из ячейки.

Табличные структуры данных (матрицы) – это упорядоченные структуры, в которых адрес элемента определяется номером строки и номером столбца, на пересечении которых находится ячейка, содержащая искомый элемент.

Нерегулярные данные, которые трудно представить в виде списка или таблицы, часто представляют в виде иерархических структур. С подобными структурами мы очень хорошо знакомы по обыденной жизни. Иерархическую структуру имеет система почтовых адресов. Подобные структуры также широко применяются в научных систематизациях и всевозможных классификациях. В иерархической структуре адрес элемента определяется путем доступа (маршрутом), ведущим от вершины структуры к данному элементу.

3. Операции с данными

В ходе информационного процесса данные очень часто преобразуются из одного вида в другой с помощью различных методов. Обработка данных включает в себя большое множество различных операций. По мере развития НТП и общего усложнения связей в обществе затраты на обработку данных постоянно растут. Во-первых, это связано с постоянным усложнением условий управления производством и обществом. Второй фактор, который также вызывает общее увеличение объемов обрабатываемых данных – это быстрые темпы появления и внедрения новых носителей данных, средств хранения и доставки данных.

В структуре возможных операций с данными можно выделить основные операции. Рассмотрим их.

3.1. Сбор данных.

Сбор данных – накопление данных с целью обеспечения достаточной полноты информации для принятия решения.

Рассмотрим систему сбора данных. (ССД; Data acquisition, DAS, DAQ) — комплекс средств, предназначенный для работы совместно с персональным компьютером, либо специализированной ЭВМ и осуществляющий автоматизированный сбор информации о значениях физических параметров в заданных точках объекта исследования с аналоговых и/или цифровых источников сигнала, а также первичную обработку, накопление и передачу данных.

Совместно с персональной ЭВМ, оснащенной специализированным программным обеспечением, система сбора данных образует информационно-измерительную систему (ИИС). ИИС — это многоканальный измерительный прибор с широкими возможностями обработки и анализа данных. На основе ИИС могут быть построены различные автоматизированные системы управления (АСУ), среди которых: информационно-логические комплексы (их называют АСУ технологическими процессами — АСУ ТП), информационно-вычислительные комплексы (автоматизированная система научных исследований — АСНИ), информационно-диагностические комплексы и информационно-контролирующие системы.

По способу сопряжения с компьютером системы сбора данных можно разделить на:

• ССД на основе встраиваемых плат сбора данных со стандартным системным интерфейсом (наиболее распространен интерфейс PCI).

• ССД на основе модулей сбора данных с внешним интерфейсом (RS-232, RS-485, USB).

• ССД, выполненные в виде крейтов (магистрально-модульные ССД — КАМАК, VXI).

• Группы цифровых измерительных приборов (ЦИП) или интеллектуальных датчиков. Для их организации применяются интерфейсы: GPIB (IEEE-488), 1-wire, CAN, HART.

По способу получения информации ССД делятся на:

• сканирующие,

• мультиплексные (мультиплексорные, иногда говорят «многоточечные»),

• параллельные,

• мультиплицированные.

Последний тип ССД практически не используется в силу своего исключительно низкого быстродействия. Единственное достоинство ССД этого типа — относительная простота — полностью нивелируется современными технологиями изготовления интегральных схем.

Типовая система сбора данных является мультиплексной и содержит в себе следующие узлы: датчики, аналоговый коммутатор, измерительный усилитель, аналого-цифровой преобразователь, контроллер сбора данных, модуль интерфейса. Также ССД часто оснащаются цифровыми линиями ввода-вывода и цифро-аналоговым преобразователем (ЦАП).

В качестве примера можно привести систему радиоэлектронного оборудования автомобиля с интерфейсом CAN.

3.2. Формализация данных

Формализация данных – приведение данных, поступающих из разных источников, к одинаковой форме, чтобы сделать их сопоставимыми между собой, то есть повысить их уровень доступности.

Лингвистика любого современного языка абсолютно не совпадает с выражением логических форм или природой мышления. Таким образом, логика сама по себе вынуждена использовать некие понятия, чтобы описать то или иное явление. Так и возникает относительное понятие формальности происходящего.

Суть формализации сводится к тому, чтобы описать или предопределить некие свойства объекта или процесса (даже не существующего на данный момент) и спрогнозировать его применение в случае появления в реальном мире. Для начала рассмотрим как данное понятие применяется в компьютерных технологиях.

Метод формализации такого типа является обработкой начально заданных условий, которые позволяют с достаточно высокой степенью точности определить дальнейшее поведение объекта или процесса.

По такому принципу работают практически все метеослужбы. Имея компьютерную модель циклона, можно спрогнозировать его цикл и мощность над сушей или над водным пространством.

Основные методы формализации – это прогнозирование и моделирование. Применяются такие технологии исключительно для получения конечных данных об объектах или процессах, которые не известны, но их можно предположить и с высокой точностью рассчитать.

Результатом формализации является получение анализа действительного предсказуемого события, которое последует после того, как исследуемая технология будет применена на практике или определенный природный процесс войдет в стадию реального проявления.

Примером можно назвать тестирование новых машин, проводимое автомобильными концернами, либо разработка новых конструкций самолетов. Основной метод формализации в данном случае заключается в том, что сначала все они проходят виртуальный тест, и лишь после получения положительных результатов опытные образцы запускаются в производство для тестирования в реальных условиях.

3.3. Фильтрация данных

Фильтрация данных – отсеивание «лишних» данных, в которых нет необходимости для принятия решений; при этом должен уменьшаться уровень «шума», а достоверность и адекватность данных должны возрастать.

С помощью фильтров пользователь может в удобной для себя форме выводить или удалять (скрывать) записи списка. В отличие от сортировки данные при фильтрации не переупорядочиваются, а лишь скрываются те записи, которые не отвечают заданным критериям выборки. Отобранные записи можно форматировать или удалять, копировать в отдельную область таблицы, распечатывать, а также использовать для последующих вычислений или построения диаграмм.

В качестве примеров можно привести работу с такими программными продуктами как MS Excel, 1С-Предприятие.

3.4. Сортировка данных

Сортировка данных [data sorting, ordering] — один из этапов обработки данных, упорядочение элементарных данных в последовательности, определяемой значениями некоторых признаков, называемых ключами сортировки. Например, расположение записей сортируемого массива данных по возрастанию или уменьшению значений величин, содержащихся в массиве. Сортировка массивов данных существенно ускоряет их дальнейшую обработку.

Обычно она производится так: сначала множество строк сортируется по первому символу каждой строки, затем каждое подмножество строк, имеющих одинаковый первый символ, сортируется по второму символу, и так до тех пор, пока все строки не будут упорядочены.

В MS Excel и MS Access данную операцию можно проводить очень быстро, а также возможно одновременное использование нескольких ключей.

Также существуют алгоритмические способы сортировки.

Алгоритм сортировки — это алгоритм для упорядочивания элементов в списке. В случае, когда элемент списка имеет несколько полей, поле, служащее критерием порядка, называется ключом сортировки. На практике в качестве ключа часто выступает число, а в остальных полях хранятся какие-либо данные, никак не влияющие на работу алгоритма. Наиболее известный алгоритмический способ сортировки – «сортировка пузырьком».

3.5. Группировка данных

Группировка данных – объединение данных по заданному признаку с целью повышения удобства использования; повышает доступность информации. С помощью группировки можно выявить влияние отдельных единиц на средние итоговые показатели.

В зависимости от степени сложности массового явления и задач анализа - группировки могут производиться по одному или нескольким признакам:

• Если производится группировка только по одному признаку, то она называется простой.
• Если по двум и более признакам, то такая группировка называется сложной или комбинационной.

В зависимости от решаемых задач различают типологические, структурные и аналитические группировки:

• Типологическая группировка — представляет собой разделение исследуемой совокупности на однородные группы. (группировка предприятий по формам собственности)
• Структурная группировка — группировка, в которой происходит разделение однородной совокупности на группы, характеризующие ее структуру по какому-то варьирующему признаку (группировка населения по уровню дохода). Анализ статистических данных структурных группировок, взятых за ряд периодов, показывает изменение структуры изучаемых явлений, то есть структурные сдвиги.
• Аналитическая (факторная) группировка — позволяет выявить взаимосвязи между изучаемыми явлениями и их признаками (группировка банков по сумме уставного капитала, величине активов и балансовой прибыли).

Технически процесс группирования статистических данных состоит из следующих этапов:

1. Выбор признака группировки;

2. Ранжирование совокупности по признаку группировки;

3. Определение числа групп;

4. Определение величины интервала;

5. Распределение единиц совокупности по образованным группам.

Сложные группировки могут быть комбинационными и многомерными.

Технически построение комбинационной группировки заключается в последовательном распределении на группы по одному признаку, затем каждой группы на подгруппы по другому признаку и т.д.

Многомерная группировка строится не последовательно, а одновременно по большому числу признаков с целью формирования качественно однородных групп на основе определенной процедуры оценки близости объектов.

Например, группировка студентов по результатам экзаменационной сессии может быть произведена по двум группам, если задача исследования – выявление успевающих и не успевающих по какому-то предмету; по трем группам, если задача состоит в выявлении неуспевающих, получивших «удовлетворительно» и успевающих на «хорошо» и «отлично» и т.д.

3.6. Архивация данных

Архивация данных – организация хранения данных в удобной и легкодоступной форме; служит для снижения экономических затрат на хранение данных и повышает общую надежность информационного процесса в целом.

Архивация - это сжатие одного или более файлов с целью экономии памяти и размещение сжатых данных в одном архивном файле. Архивация данных - это уменьшение физических размеров файлов, в которых хранятся данные, без значительных информационных потерь.

Архивация производится в случае:

- необходимости создания резервных копий наиболее важных файлов;

- необходимости освобождения места на диске;

- необходимости передачи файлов по E-mail.

Архивный файл представляет собой набор из нескольких файлов (одного файла), помещенных в сжатом виде в единый файл, из которого их можно при необходимости извлечь в первоначальном виде. Архивный файл содержит оглавление, позволяющее узнать, какие файлы содержатся в архиве.

В оглавлении архива для каждого содержащегося в нем файла содержится информация о:

- имени файла;

- размере файла на диске и в архиве;

- о расположении файла на диске;

- дате и времени последней модификации файла;

- коде циклического контроля для файла, используемом для проверки целостности архива;

- степени сжатия.

Любой архив имеет собственную шкалу степени сжатия. Наиболее часто встречается следующая градация методов сжатия:

- без сжатия (соответствует обычному копированию файлов в архив без сжатия);

- скоростной;

- быстрый (характеризуется самым быстрым, но наименее плотным сжатием);

- обычный;

- хороший;

- максимальный (максимально возможное сжатие является одновременно и самым медленным методом сжатия).

Степень сжатия зависит от:

- используемого архиватора;

- метода сжатия;

- типа исходного файла.

Файлы различных типов сжимаются по-разному. Например, коэффициент сжатия текстовых документов значительно выше, чем графических.

Для сжатия файлов используются программы архиваторы.

Архиваторы - это программы (комплекс программ) выполняющие сжатие и восстановление сжатых файлов в первоначальном виде.

Процесс сжатия файлов называется архивированием. Процесс восстановления сжатых файлов - разархивированием.

Современные архиваторы отличаются используемыми алгоритмами, скоростью работы, степенью сжатия (WinZip, WinAce, PowerArchiver, 7Zip, WinRAR).

3.7. Защита данных

Защита данных (data protection) – меры, обеспечивающие доступ к конфиденциальной, особенно компьютерной, информации, только тем, кто имеет на это право. При этом преследуются две цели: обеспечивается конфиденциальность личной и деловой информации, а также гарантируется точность хранимой информации.

Термин защита данных означает предупреждение случайного или несанкционированного доступа к данным, их изменения или разрушения со стороны пользователей или при сбоях аппаратуры.

Защита включает в себя две основные функции:

· обеспечение безопасности данных,

· обеспечение секретности данных.

  В данной работе я рассмотрю только обеспечение безопасности данных (обеспечение физической защиты).

Под функцией безопасности данных подразумевается предотвращение разрушения или искажения данных при случайном доступе или в результате аппаратного сбоя. Обеспечение безопасности является внутренней задачей БД, поскольку связано с её нормальным функционированием, и решается на уровне СУБД. Цель восстановления БД после сбоя – обеспечить, чтобы результаты всех подтверждённых транзакций были отражены в восстановленной базе данных, и вернуться к нормальному продолжению работы как можно быстрее, в то же время изолируя пользователей от проблем, вызванных сбоем.

Наиболее типичными сбоями являются следующие:

1. Пользовательские ошибки.

Ошибки пользователей могут потребовать восстановления базы данных в состояние на момент возникновения ошибки. Например, пользователь может случайно удалить таблицу.

2. Сбой предложения.

Сбой происходит при логической ошибке предложения во время его обработки (например, предложение нарушает ограничение целостности таблицы). Когда возникает сбой предложения, результаты этого предложения (если они есть) должны автоматически отменяться СУБД, а управление – возвращаться пользователю.

3. Сбой процесса.

Это ошибка в пользовательском процессе, обращающемся к БД, например, аварийное разъединение или прекращение процесса. Сбившийся процесс пользователя не может продолжать работу, тогда как СУБД и процессы других пользователей могут. Система должна откатить неподтверждённые транзакции сбившегося пользовательского процесса и освободить все ресурсы, занятые этим процессом.

4. Сбой экземпляра базы данных (сервера).

Этот сбой происходит при возникновении проблемы, препятствующей продолжению работы сервера. Сбой может быть вызван аппаратной проблемой, такой как отказ питания, или программной проблемой, такой как сбой операционной системы. Восстановление после такого сбоя может потребовать перезагрузки БД с откатом всех незавершённых транзакций.

5. Сбой носителя (диска).

Эта ошибка может возникнуть при попытке записи или чтения файла, требуемого для работы базы данных. Типичным примером является отказ дисковой головки, который приводит к потере всех файлов на данном устройстве. Этот тип сбоя может касаться различных типов файлов, поддерживаемых СУБД. Кроме того, поскольку сервер не может продолжать работу, данные из буферов оперативной памяти не могут быть записаны в файлы данных.

3.8. Транспортировка данных

Транспортировка данных – прием и передача (доставка и поставка) данных между удаленными участниками информационного процесса; при этом источник данных в информатике принято называть сервером, а потребителя – клиентом.

Сеть Интернет, являющаяся сетью сетей и объединяющая громадное количество различных локальных, региональных и корпоративных сетей, функционирует и развивается благодаря использованию единого принципа маршрутизации и транспортировки данных.

Маршрутизация данных. 

Маршрутизация данных обеспечивает передачу информации между компьютерами сети. Рассмотрим принцип маршрутизации данных по аналогии с передачей информации с помощью обычной почты. Для того чтобы письмо дошло по назначению, на конверте указывается адрес получателя (кому письмо) и адрес отправителя (от кого письмо).

Точно так же, передаваемая по сети информация "упаковывается в конверт", на котором "пишутся" Интернет-адреса компьютеров получателя и отправителя, например: "Кому - 123.178.113.100", "От кого - 195.132.58.133".

Отправленная информация на компьютерном языке называется Интернет-пакетом и представляет из себя набор байтов.

Интернет-пакеты на пути к компьютеру-получателю также проходят через многочисленные промежуточные серверы Интернета, на которых производится операция маршрутизации. В результате маршрутизации Интернет-пакеты направляются от одного сервера Интернета к другому, постепенно приближаясь к компьютеру-получателю.

Теперь представим себе, что нужно переслать по почте многостраничный научный труд, а почта принимает только конверты. Выход прост: если всё не помещается в обычный почтовый конверт, его надо разобрать на листы и пересылать их несколькими конвертами. При этом листы работы необходимо обязательно пронумеровать, чтобы получатель знал, в какой последовательности потом эти листы собрать.

Транспортировка данных

В Интернете часто случается аналогичная ситуация, когда компьютеры обмениваются большими по объему файлами. Если послать такой файл весь сразу, то он может надолго "забить" канал связи и, в результате, мы не сможем ничего отправить в это время.

Для того чтобы этого не происходило, на компьютере, который отправляет, необходимо разделить исходный файл на мелкие части, пронумеровать их и транспортировать в виде отдельных Интернет-пакетов до компьютера, который должен получить информацию.

Затем необходимо собрать полученный файл из отдельных частей в правильном порядке, поэтому файл не может быть собран до тех пор, пока не будут получены все Интернет-пакеты.

Время, которое требуется для транспортировки отдельных Интернет-пакетов между отправителем и получателем можно узнать с помощью специальных программ.

Маршрутизация и транспортировка данных в сети Интернет производится на основе протокола TCP/IP, который является основным протоколом Интернета.

В термине TCP/IP включено название двух протоколов передачи данных:

- TCP (Transmission Control Protocol - транспортный протокол);

- IP (Internet Protocol - протокол маршрутизации).

3.9. Преобразование данных

Преобразование данных – перевод данных из одной формы в другую или из одной структуры в другую. Преобразование данных часто связано с изменением типа носителя, например книги можно хранить в обычной бумажной форме, но можно использовать для этого и электронную форму, и микрофотопленку.

Необходимость в многократном преобразовании данных возникает также при их транспортировке, особенно если она осуществляется средствами, не предназначенными для транспортировки данного вида данных. В качестве примера можно упомянуть, что в начале 21-века для транспортировки цифровых потоков данных по каналам телефонных сетей (которые изначально были ориентированы только на передачу аналоговых сигналов в узком диапазоне частот) было необходимо преобразование цифровых данных в некое подобие звуковых сигналов, чем и занимались специальные устройства – телефонные модемы.

В сфере компьютерных технологий есть множество вариантов представления данных. Точно так же операционная система утверждена по определенным стандартам касательно обработки файлов и данных. Кроме того, каждая компьютерная программа обрабатывает данные по-своему. Каждый раз, когда любая из этих переменных изменена, данные должны быть некоторым образом преобразованы, прежде чем они смогут быть пригодны для использования другим компьютером, операционной системой или программой. Даже различные версии этих элементов обычно включают различные структуры данных.

Процесс преобразования данных также называется конвертацией. Конвертация может потребовать использование специальной конвертирующей программы или может включать сложный процесс прохождения промежуточных стадий или вовлечения сложных "экспортирующих" и "импортирующих" процессов перехода от одного формата к другому.

Конвертация данных может происходить как при операциях с файлами (операции файл->файл), так и «на лету» (например при импорте или экспорте данных).

Конвертация может быть с потерей информации или без потери информации. Обычно связано с «богатством» того или иного формата данных. Например: преобразование из формата «plain text» в формат «OpenDocument Text» практически всегда пройдет без потерь, так как формат OpenDocument включает все и даже больше возможностей, чем формат plain text. А вот преобразование из формата OpenDocument Text в простой текстовый формат, скорее всего, сохранит всю текстовую составляющую, но почти всегда (кроме самых простых случаев) приведет к потере форматирования текста (выделение жирным/курсивом, шрифты, таблицы, размещение на странице и т. п. — будут утеряны). Также конвертеры «pdf» в «doc» зачастую не могут корректно преобразовать информацию.

По своему «статусу» программы-конвертеры бывают

- бесплатные (freeware);

- условно-бесплатные, с ограниченным сроком действия (trial);

- платные с обязательной регистрацией.

Примеры бесплатных программ-конвертеров:

- VirtualDub — свободное приложение для конвертирования видеофайлов.

- FormatFactory — бесплатный конвертер видео, аудио и графических файлов.

4. Заключение

Приведенный здесь список типовых операций с данными далеко не полон. Миллионы людей во всем мире занимаются созданием, обработкой, преобразованием транспортировкой данных, и на каждом рабочем месте выполняются свои специфические операции, необходимые для управления социальными, экономическими, промышленными, научными и культурными процессами. Полный список возможных операций составить невозможно, да и не нужно. Сейчас нам важен другой вывод: работа с информацией может иметь огромную трудоемкость, и ее надо автоматизировать.

5. Список литературы.

1) studopedia.ru/3_174147_operatsii-s-dannimi.html

2) ru.wikipedia.org›Система сбора данных

3) fb.ru/article/227419/chto-takoe-formalizatsiya-metod-formalizatsii-ponyatie-sut-etapyi-rezultat-primeryi-vidyi-formalizatsii

4) economic_mathematics.academic.ru›4199/Сортировка

5) studfiles.net/preview/2152383/page:13/

6) ru.wikipedia.org/wiki/Алгоритм_сортировки

7) grandars.ru/student/statistika/gruppirovka-statisticheskih-dannyh.html

8) studopedia.ru/7_142691_gruppirovka-statisticheskih-dannih.html

9) studbooks.net/2184373/informatika/arhivatsiya_dannyh

10) studopedia.su/4_14703_obespechenie-zashchiti-dannih.html

11) zdamsam.ru/a23691.html

12) ru.wikipedia.org/wiki/Конвертация_данных

13) kvodo.ru/osnovnye-struktury-dannyh.html