WEBVTT

00:00:08.424 --> 00:00:09.942
Здравствуйте, уважаемые студенты.

00:00:10.222 --> 00:00:14.218
Вашему вниманию предлагается лекция по
дисциплине «Использование больших данных в

00:00:14.298 --> 00:00:15.616
информационных системах».

00:00:16.255 --> 00:00:18.333
Тема лекции — технология больших данных.

00:00:18.413 --> 00:00:23.887
Лекция вторая. Лекцию ведёт кандидат
технических наук, доцент Черничук Игорь

00:00:24.007 --> 00:00:24.247
Владимирович.

00:00:26.632 --> 00:00:32.549
План лекции. Информация, большие данные,
то есть Big-дата, основы управления

00:00:32.669 --> 00:00:37.626
большими данными, подходы к управлению
Big-дата, содержание задач процесса

00:00:37.745 --> 00:00:42.183
управления большими данными, эволюция
организационных основ работы с Big Data с

00:00:42.263 --> 00:00:43.062
Big-дата.

00:00:43.649 --> 00:00:47.971
Проблемы использования Big Data Big Data.

00:00:48.051 --> 00:00:52.052
Технологии работы с большими данными,
основные технологии работы с большими

00:00:52.173 --> 00:00:56.935
данными, становление технологии работы с
большими данными и современные технологии

00:00:57.015 --> 00:00:58.816
управления большими данными.

00:01:00.496 --> 00:01:02.017
Так, ну и таким образом.

00:01:02.831 --> 00:01:05.030
Если хватит времени, то и другие вопросы.

00:01:05.110 --> 00:01:10.987
Хранилище данных, эволюция общие основы
современной технологии хранения данных,

00:01:11.267 --> 00:01:14.105
аналитика больших данных, её
инструментарий.

00:01:18.223 --> 00:01:20.662
Информация и особенности её хранения,
обработки.

00:01:20.822 --> 00:01:24.180
Человек постоянно получает информацию из
окружающего мира.

00:01:24.705 --> 00:01:28.588
Анализирует её, выявляет существенные
закономерности и таким образом познаёт

00:01:28.748 --> 00:01:34.072
мир. В процессах понимания информации, её
анализа и применения на практике у

00:01:34.152 --> 00:01:35.553
человека формируются знание.

00:01:35.673 --> 00:01:40.077
Одна и та же информация может приводить к
появлению разных знаний у разных людей.

00:01:40.848 --> 00:01:43.567
Сформированные знания человек использует в
своей деятельности.

00:01:43.647 --> 00:01:49.325
Информация для человека — это сведения,
которые уменьшают существующую до их

00:01:49.365 --> 00:01:51.405
получения неопределённость знания.

00:01:52.124 --> 00:01:56.283
Слово «информация» происходит от
латинского слова «информатио».

00:01:57.095 --> 00:02:01.379
Что в переводе означает сведения,
разъяснение, ознакомление.

00:02:02.020 --> 00:02:04.703
Понятие информации многозадачно,
многозначно.

00:02:04.823 --> 00:02:07.586
Существуют различные подходы к пониманию
информации.

00:02:07.786 --> 00:02:12.230
Например, с семантической точки зрения
информация — это сведения, обладающее

00:02:12.310 --> 00:02:12.871
новизной.

00:02:14.577 --> 00:02:17.576
Соответственно, такое определение.

00:02:18.175 --> 00:02:22.653
С технологической точки зрения информация
— это все сведения, которые представлены в

00:02:22.693 --> 00:02:27.011
определённой форме для хранения, передачи
и обработки с помощью технических средств.

00:02:27.770 --> 00:02:31.528
Соответственно, ссылки можете посмотреть в
конце слайда.

00:02:33.313 --> 00:02:36.910
С точки зрения традиционного, то есть
обыденного подхода, информация — это

00:02:37.030 --> 00:02:41.266
сведения, знания, сообщение о положении
дел, которое человек воспринимает из

00:02:41.386 --> 00:02:43.704
окружающего мира с помощью органов чувств.

00:02:44.224 --> 00:02:47.661
То есть зрения, слуха, вкуса, обоняния,
осязания.

00:02:48.221 --> 00:02:52.217
С точки зрения вероятностного подхода,
информация — это сведения об объектах.

00:02:53.168 --> 00:02:57.292
...и явлениях окружающей среды, их
параметрах, свойствах и состояниях,

00:02:57.332 --> 00:03:03.256
которые уменьшают имеющуюся у них степень
неопределённости и неполноты знаний.

00:03:06.178 --> 00:03:10.822
По мнению основоположника кибернетики
Энвинера, информация — это обозначение

00:03:10.982 --> 00:03:14.104
содержания, полученного людьми из внешнего
мира в процессе...

00:03:14.764 --> 00:03:19.607
приспосабливание к нему самих людей и их
чувств Информация обладает определёнными

00:03:19.687 --> 00:03:23.529
свойствами, такими как достоверность,
отражает истинное положение дел,

00:03:23.649 --> 00:03:28.332
объективность, не зависит от чьего-либо
мнения или суждения, полнота.

00:03:28.532 --> 00:03:30.093
Достаточна для принятия решения

00:03:31.049 --> 00:03:33.931
Актуальность необходима в данный момент.

00:03:34.412 --> 00:03:38.736
Понятность, выраженная на языке, понятном
для человека, и доступность.

00:03:38.776 --> 00:03:42.300
Имеется информации возможность её
получения.

00:03:43.100 --> 00:03:44.942
То есть свойства информации.

00:03:45.142 --> 00:03:48.185
Соответственно, ещё раз можно перечислить
объективность.

00:03:49.392 --> 00:03:55.030
Полнота, актуальность, понятность и
доступность.

00:03:55.190 --> 00:03:59.509
Говоря об информации, люди всегда
подразумевают информационные процессы.

00:04:00.029 --> 00:04:02.189
Например, получение, хранение информации.

00:04:02.349 --> 00:04:06.188
Совокупность последовательных действий с
информацией образует информационный

00:04:06.348 --> 00:04:06.788
процесс.

00:04:07.543 --> 00:04:11.383
Информационные процессы могут быть как
целенаправленными, объяснение нового

00:04:11.503 --> 00:04:15.382
материала или знания, так и случайными.

00:04:15.502 --> 00:04:20.782
Например, непроизвольное запоминание
текста мелодии, рекламного ролика.

00:04:21.182 --> 00:04:24.982
Естественно, информационные процессы
протекают в биологических системах, в

00:04:25.022 --> 00:04:27.342
живой природе и социальных системах в
обществе.

00:04:28.232 --> 00:04:35.229
Ну, опять же, ссылки в конце слайда можно
посмотреть в

00:04:35.349 --> 00:04:39.947
природе получение, приобретение, хранение
и использование информации являются

00:04:40.067 --> 00:04:43.626
условиями жизнедеятельности любого живого
организма.

00:04:44.309 --> 00:04:48.546
Человек преобразует информацию с помощью
головного мозга и центральной нервной

00:04:48.625 --> 00:04:52.662
системы, принимает её на основе этой
информации решение выполняет определённые

00:04:52.782 --> 00:04:57.378
действия. В социуме люди постоянно
общаются друг с другом, обмениваются

00:04:57.538 --> 00:05:01.615
информацией. Искусственные информационные
процессы искусственно порождаются людьми.

00:05:02.359 --> 00:05:06.162
С помощью разнообразных технических
устройств для осуществления различных

00:05:06.242 --> 00:05:09.484
действий с информацией происходит в
социологических системах.

00:05:09.764 --> 00:05:16.329
То есть, например, пилоты управляют
самолётом на основе информации из

00:05:16.449 --> 00:05:17.410
бортовых приборов.

00:05:18.333 --> 00:05:19.573
И технических системах.

00:05:19.653 --> 00:05:22.371
То есть примером может служить мобильный
телефон.

00:05:26.568 --> 00:05:31.285
Выделяют следующие виды информационных
процессов: получение, обработка, передача,

00:05:31.325 --> 00:05:36.202
хранения, поиск, кодирование и защита
информации.

00:05:37.645 --> 00:05:41.804
Соответственно, получение информации
осуществляется человеком с помощью органов

00:05:41.924 --> 00:05:48.804
чувств, различных приборов: термометра,
борометра, весов, микроскопа и других.

00:05:49.204 --> 00:05:53.924
Второе, обработка информации выполняется
человеком как в уме, так и с помощью

00:05:54.004 --> 00:05:56.363
вспомогательных средств, например,
калькулятора.

00:05:57.078 --> 00:06:01.874
В результате обработки человек делает
выводы, получает информацию новую по форме

00:06:02.113 --> 00:06:03.872
представления или содержания.

00:06:04.351 --> 00:06:09.146
Передача информации осуществляется при
помощи речи, жестов, мимики, условных

00:06:09.306 --> 00:06:15.380
сигналов, дыма костра, взмаха флажка,
сигнала автомобиля, специальных средств:

00:06:15.420 --> 00:06:17.018
телеграфа, телефона, радио.

00:06:17.621 --> 00:06:19.859
телевидения, то есть компьютерных сетей.

00:06:19.978 --> 00:06:24.213
Хранение полученной информации необходимо
для её неоднократного использования.

00:06:24.613 --> 00:06:28.168
Человек сохраняет информацию как в
собственной, то есть внутренней, так и во

00:06:28.248 --> 00:06:32.003
внешней памяти, делая, например, записи в
телефонной книжке или ежедневнике,

00:06:32.043 --> 00:06:33.202
дневнике или тетради.

00:06:33.640 --> 00:06:37.082
...в мобильном телефоне или облачном
хранилище и тому подобное.

00:06:37.242 --> 00:06:43.526
Поиск информации может привести провести
оперативно, если

00:06:43.766 --> 00:06:44.246
информация

00:06:50.090 --> 00:06:53.892
упорядочена. Например, телефона в
телефонной книжке можно быстро найти по

00:06:53.972 --> 00:06:54.812
фамилии человека.

00:06:56.485 --> 00:07:00.242
Шестое. Кодирование информации
осуществляется с помощью фонэм, звуков,

00:07:00.402 --> 00:07:01.921
символов, письменной речи.

00:07:01.961 --> 00:07:03.959
С помощью специальных кодов.

00:07:04.279 --> 00:07:10.234
Люди стремятся представить информацию
компактно, то есть стенографически и

00:07:10.514 --> 00:07:15.391
диограммы. В форме удобно для передачи или
хранения — Азбука Морзе, а также защитить

00:07:15.511 --> 00:07:17.349
информацию с помощью криптографических

00:07:18.580 --> 00:07:21.103
Секретных кодов, то есть шифров.

00:07:21.583 --> 00:07:25.386
Защита информации необходима для
предотвращения её потери, то есть

00:07:25.466 --> 00:07:29.670
искажения, умышленного уничтожения и
незаконного использования, то есть

00:07:29.790 --> 00:07:33.994
организация технической защиты каналов
связи, дублирование блоков информации или

00:07:34.114 --> 00:07:37.437
защита информационных хранилищ от
несанкционированного доступа с помощью

00:07:37.517 --> 00:07:37.917
пароля.

00:07:38.700 --> 00:07:41.659
Все информационные процессы взаимосвязаны
между собой.

00:07:41.859 --> 00:07:48.818
Защита информации может осуществляться с
помощью процесса кодирования.

00:07:48.858 --> 00:07:52.698
А кодирование, в свою очередь, информации
невозможно без процесса обработки.

00:07:52.858 --> 00:07:53.618
То есть обработка

00:07:54.484 --> 00:07:59.604
Являясь важной частью процесса поиска, а
поиск информации подразумевает процесс

00:07:59.724 --> 00:08:02.604
передачи. Передача невозможна без
хранения.

00:08:02.764 --> 00:08:05.845
Хранение информация даёт возможность её
получения.

00:08:06.205 --> 00:08:10.885
Таким образом, пример информационного
процесса представлен на рисунке один.

00:08:12.045 --> 00:08:18.084
То есть, видите, вот схема обращения
информации при сдаче студентом сессии

00:08:19.844 --> 00:08:25.924
источник информации: сбор, передача,
обработка,

00:08:26.244 --> 00:08:28.884
представление и потребитель информации.

00:08:30.506 --> 00:08:32.668
Вот, как видите, такой наглядный рисунок.

00:08:33.628 --> 00:08:39.913
То есть ответы студентов на экзаменах,
«ведомость сдачи экзамена, распределение,

00:08:40.274 --> 00:08:46.679
журнал успеваемости справка о результатах

00:08:46.759 --> 00:08:50.522
сессии». Вот если у декана посмотреть, то
есть в информационных процессах могут

00:08:50.562 --> 00:08:52.043
участвовать несколько объектов.

00:08:52.996 --> 00:08:58.678
которые связаны между собой отношениями,
что требует постоянного сбора,

00:08:58.758 --> 00:09:05.680
преобразования, обработки, хранения и
распространения

00:09:05.760 --> 00:09:06.800
информационных сигналов

00:09:23.392 --> 00:09:30.238
Автоматизируя информационные процессы
человек имеет

00:09:30.318 --> 00:09:33.161
возможность автоматизировать и свою
информационную деятельность.

00:09:33.281 --> 00:09:36.884
Автоматизация этих процессов с помощью
современных технических средств позволяет

00:09:37.084 --> 00:09:40.767
избавить человека от рутинных и однотипных
действий с информацией.

00:09:41.330 --> 00:09:45.851
Увеличить объём хранимой информации,
повысить скорость её обработки и передачи.

00:09:46.171 --> 00:09:51.051
В современном мире информация — это одна
из важнейших ресурсов, в то же время одна

00:09:51.171 --> 00:09:54.292
из движущих сил развития человеческого
общества.

00:09:54.652 --> 00:09:57.092
Исследованием непосредственно информации
занимается

00:09:58.060 --> 00:10:03.984
Две комплексные отрасли науки, то есть
кибернетика и

00:10:04.104 --> 00:10:05.505
информатика.

00:10:06.786 --> 00:10:13.511
Ссылку видите результат фиксации
отображения информации на каком-либо

00:10:13.591 --> 00:10:14.832
материальном носителе.

00:10:16.240 --> 00:10:21.917
То есть зарегистрирован на носителе
представления сведений независимо от того,

00:10:21.997 --> 00:10:26.114
дошли ли эти сведения до какого-нибудь
приёмника и интересуют ли они его,

00:10:26.194 --> 00:10:27.474
называются данными.

00:10:27.993 --> 00:10:32.910
Данными — это представление факта и идеи в
информационном виде, пригодном для

00:10:33.070 --> 00:10:35.948
передачи, обработки в некоторых
информационных процессах.

00:10:36.602 --> 00:10:39.682
Данные сами могут выступать как источники
информации.

00:10:39.842 --> 00:10:44.841
Информация извлекается из данных, может
подвергаться обработке.

00:10:45.521 --> 00:10:49.561
Соответственно, и результаты обработки
фиксируются в виде новых данных.

00:10:50.001 --> 00:10:54.040
Именованную совокупность данных,
содержащих состояние объектов и их

00:10:54.080 --> 00:10:57.400
отношения в рассматриваемой предметной
области называют базой данных.

00:10:57.520 --> 00:10:57.920
БД.

00:10:58.641 --> 00:11:02.844
Базы данных используют для организации
управления автоматизацией, например,

00:11:02.964 --> 00:11:04.686
предприятия, вузы и так далее.

00:11:05.126 --> 00:11:08.969
Для управления базами данных разработаны
языковые и программные средства,

00:11:09.089 --> 00:11:13.492
предназначенные для создания, наполнения,
обновления и удаления баз данных.

00:11:14.013 --> 00:11:17.655
Люди испокон веков пытались сохранить
имеющиеся у них данные, то есть

00:11:18.729 --> 00:11:24.533
Наскальные записи, записи на костях,
бересте, деревянных столбах и использовать

00:11:24.694 --> 00:11:30.058
их. Однако с развитием письменности
способность фиксировать опыт и события

00:11:30.178 --> 00:11:33.621
окружающего мира значительно увеличила
объём собираемых данных.

00:11:36.350 --> 00:11:42.145
Значит, самая ранняя форма письма была
разработана в Месопотамии.

00:11:42.745 --> 00:11:46.941
Около 3 200 лет до нашей эры.

00:11:47.540 --> 00:11:49.619
Использование для коммерческого учёта.

00:11:49.858 --> 00:11:52.496
Этот тип учёта фиксирует так называемые

00:11:53.677 --> 00:11:55.438
Транзакционные данные.

00:11:55.678 --> 00:12:01.363
То есть информацию о событиях, таких как
продажа товара, выставление счёта,

00:12:01.483 --> 00:12:05.927
доставка, оплата кредитной картой,
страхование требования и так далее.

00:12:08.490 --> 00:12:11.892
Данные, например, демографические, также
имеют долгую историю.

00:12:12.093 --> 00:12:12.773
Первые известные

00:12:13.414 --> 00:12:17.892
Переписи населения прошли в Древнем Египте
около 3 000 лет до нашей эры.

00:12:18.092 --> 00:12:24.689
Причина, по которой древние правители так
вкладывали так много усилий и ресурсов,

00:12:24.769 --> 00:12:28.647
масштабные проекты по сбору данных
заключались в том, что им нужно было

00:12:28.887 --> 00:12:30.726
повышать налог и увеличивать армию.

00:12:30.964 --> 00:12:35.726
В середине XVIII века накопление
достаточного количества данных привело к

00:12:35.806 --> 00:12:39.568
необходимости начать серьёзный анализ
имеющейся информации.

00:12:39.648 --> 00:12:43.689
В XIX веке возникла проблема подсчёта
получаемых данных.

00:12:43.930 --> 00:12:48.732
С ней столкнулись специалисты США в 1880
году при переписи населения.

00:12:49.250 --> 00:12:54.973
С имеющимися в то время подходами к работе
с данными подсчёты производились в течение

00:12:55.213 --> 00:12:59.655
восьмидесяти лет, то есть результаты были
готовы как раз к следующей переписи.

00:13:01.095 --> 00:13:05.657
В 1881 году американский
инженер-изобретатель Герман Холрид

00:13:06.189 --> 00:13:10.230
Создал устройство-табулятор, которое,
оперируя перфокартами, сокращало

00:13:10.310 --> 00:13:13.391
десятилетний труд трёх до трёх месяцев.

00:13:13.471 --> 00:13:16.832
Им была создана компания ТМС,
специализирующаяся на создании

00:13:16.912 --> 00:13:22.673
табулируемых табулирующих машин, которую
позже купила компания СТР.

00:13:23.338 --> 00:13:29.371
Переименованная в 1924 году в IBM,
International Business Mshin, знаменитая.

00:13:30.290 --> 00:13:35.325
Во время Второй мировой войны британские
учёные создали машину

00:13:38.402 --> 00:13:39.640
От слова «коллосо», наверное.

00:13:39.800 --> 00:13:40.479
Данные из которых

00:13:41.670 --> 00:13:47.145
Подавались через перфорированное колесо,
поскольку личной памяти у неё не было.

00:13:47.304 --> 00:13:51.900
Эта машина ускоряла расшифровку сообщений
неприятеля с нескольких недель до

00:13:52.020 --> 00:13:56.975
нескольких часов. Скорость анализа была не
единственным вопросом, над которым

00:13:57.055 --> 00:13:59.252
размышляли учёные в середине XX века.

00:13:59.604 --> 00:14:04.285
Проблемой стали объёмы хранилищ, в
частности библиотек, в связи с ростом

00:14:04.405 --> 00:14:06.486
выпускаемых печатных трудов.

00:14:06.886 --> 00:14:12.367
Начиная с 1950 годов, в результате решения
вопросов хранения информации и её быстрого

00:14:12.447 --> 00:14:16.808
анализа появляются центры обработки
данных, так называемый ЦОТ.

00:14:17.152 --> 00:14:21.915
С появлением интернета возникают поисковые
системы.

00:14:26.757 --> 00:14:29.278
Одна из них — система Альтависта.

00:14:29.398 --> 00:14:32.680
Она использовала лингвистический алгоритмы
разбития

00:14:34.107 --> 00:14:39.511
Разбивая поисковую фразу на слова и
проводя поиск по существующим индексам для

00:14:40.112 --> 00:14:41.793
ранжирования результата.

00:14:42.273 --> 00:14:47.637
Использование этой системы позволило
увеличить количество запросов с 300 000 до

00:14:47.797 --> 00:14:49.438
80 млн в день.

00:14:50.638 --> 00:14:55.915
Ссылки можете посмотреть, соответственно,
указанные

00:15:00.952 --> 00:15:05.549
по мере увеличения объёмов информации,
большая доля, которая представляет собой

00:15:06.029 --> 00:15:08.347
неструктурированные данные, вопросы
корректны

00:15:10.838 --> 00:15:15.037
Интерпретации информационных потоков
становились всё более актуальными и

00:15:15.157 --> 00:15:20.116
сложными. Крупные компании IT-рынка стали
приобретать наиболее успешные

00:15:21.036 --> 00:15:25.875
узкоспециализированные фирмы, то есть
стартапы, так называемые.

00:15:26.435 --> 00:15:26.475
И

00:15:27.854 --> 00:15:31.092
Развивать инструменты для работы с
большими объёмами данных.

00:15:31.212 --> 00:15:34.450
Работа с такими данными велась в
научно-исследовательских центрах.

00:15:34.810 --> 00:15:40.007
Данные, которые сейчас называют большими
данными, Big Data имеют свою историю, хотя

00:15:40.087 --> 00:15:41.167
и не такую давнюю.

00:15:42.124 --> 00:15:45.647
Концепция больших данных возникла во
времена мы Ефремов, в

00:15:45.727 --> 00:15:50.932
семидесятые-двадцатые-семидесятые годы XX
века и компьютерных вычислений.

00:15:51.052 --> 00:15:55.216
Наукоёмкие вычисления всегда отличались
сложностью требований, требований

00:15:55.336 --> 00:15:57.297
обработки больших объёмов информации.

00:15:57.497 --> 00:16:01.461
Ключевое событие в этой сфере произошло в
1970 году.

00:16:02.138 --> 00:16:08.623
Когда британский учёный Эдгар Кот описал
роли модель данных, то есть представляет

00:16:08.743 --> 00:16:11.905
собой набор двухмерных модель,
ролиационная модель данных, имеется в

00:16:11.945 --> 00:16:16.589
виду, представляет собой набор двухмерных
таблиц, которая совершила переворот в

00:16:16.669 --> 00:16:19.912
способе хранения данных, их
индексирование, извлечение.

00:16:20.825 --> 00:16:27.380
их из базная модель позволила извлекать
данные из базы путём простых запросов,

00:16:27.500 --> 00:16:32.057
которые определяли, что нужно
пользователю, не требуя от него знаний о

00:16:32.137 --> 00:16:36.814
внутренней структуре данных или о том, где
они физически хранятся.

00:16:37.385 --> 00:16:41.989
Документ когда послужил основой кода.

00:16:42.509 --> 00:16:47.072
Прошу прощения, документ код послужил
основой для современных баз данных и

00:16:47.232 --> 00:16:52.035
разработки так называемой эсквел, значит,
языка структурированных запросов.

00:16:54.568 --> 00:17:00.327
Стрекчургвидж международного стандарта
формулировки запросов баз данных.

00:17:00.407 --> 00:17:05.445
Реакционные базы данных хранят данные в
таблицах со структурой из одной строки на

00:17:05.565 --> 00:17:08.244
объект и одного столбца на атрибут.

00:17:08.364 --> 00:17:12.043
Такое отображение идеально подходит для
хранения данных с чёткой структурой,

00:17:12.123 --> 00:17:13.123
которой можно располагать

00:17:14.278 --> 00:17:16.717
Разложить на базовые атрибуты.

00:17:17.637 --> 00:17:20.635
Соответственно, ссылки опять же можно
посмотреть

00:17:27.111 --> 00:17:30.909
в 1990-х годах для анализа данных.

00:17:31.558 --> 00:17:34.718
Компаниям потребовалась технология,
которая могла бы объединять и

00:17:34.798 --> 00:17:39.996
согласовывать данные из разных народных
баз и облегчить проведение более сложных

00:17:40.156 --> 00:17:41.516
аналитических операций.

00:17:41.836 --> 00:17:45.995
Решение этой бизнес-задачи привело к
появлению хранилищ данных, технологии

00:17:46.114 --> 00:17:47.594
создания баз данных OLAP.

00:17:48.372 --> 00:17:50.574
Соответственно, и No Esquel.

00:17:50.654 --> 00:17:55.820
В 2004 году корпорация Google, то есть
Judin ES

00:17:58.543 --> 00:18:04.429
Gemowat предложила действенный подход к
обработке огромного количества данных.

00:18:05.899 --> 00:18:07.537
Так называемый Map Redus.

00:18:07.777 --> 00:18:12.133
Большие данные привели к появлению новых
платформ для их обработки.

00:18:13.691 --> 00:18:19.605
Ходуп. В целом можно сказать, что Google
создал то, что сейчас называется Big Deta.

00:18:20.125 --> 00:18:21.484
Сам термин Big Ditta

00:18:21.924 --> 00:18:28.367
Впервые появился в прессе 3 сентября 2008
года, когда редактор журнала

00:18:28.647 --> 00:18:35.449
Nature Cliford Линч опубликовал статью на
тему развития будущего науки с помощью

00:18:35.529 --> 00:18:38.210
технологий работы с большим количеством
данных.

00:18:38.290 --> 00:18:42.292
До 2009 года термин Big Data
рассматривался только с точки зрения

00:18:42.412 --> 00:18:43.292
научного анализа.

00:18:43.997 --> 00:18:47.998
Но после выхода ещё нескольких статей
процесс стал широко его использовать.

00:18:48.278 --> 00:18:50.279
Пресса стала его широко использовать.

00:18:50.359 --> 00:18:57.081
Итак, начало 1970-х годов ознаменовало
приход современной

00:18:57.201 --> 00:18:59.482
технологии с революционной моделью данных.

00:19:00.017 --> 00:19:06.890
Отгара кода с последующий взрывной рост
генерации данных и их хранения, который

00:19:07.090 --> 00:19:11.525
в девяностых годах привёл к развитию
хранилища, а позднее, к возникновению

00:19:11.685 --> 00:19:13.123
феномена больших данных.

00:19:13.323 --> 00:19:16.120
Так, ну и что же такое пик Дейта?

00:19:17.162 --> 00:19:18.920
Сущность понятия больших данных.

00:19:19.040 --> 00:19:21.477
Так, ну и в конце слайда видите ссылки.

00:19:22.396 --> 00:19:26.552
Появление больших данных связано с
расширением источников информации в

00:19:26.592 --> 00:19:30.787
современном мире. Сейчас в качестве
таковых могут выступать непрерывно

00:19:31.267 --> 00:19:33.624
поступающие данные с измерительных
устройств.

00:19:33.744 --> 00:19:34.184
События

00:19:34.735 --> 00:19:40.460
От радиочастотных идентификаторов с
устройств аудио и видеорегистраций, потоки

00:19:40.580 --> 00:19:43.863
сообщений из социальных сетей,
метрологические данные, данные

00:19:43.983 --> 00:19:49.787
дистанционного зондирования Земли, потоки
данных о местонахождении абонентов сетей

00:19:49.907 --> 00:19:50.708
сотовой связи.

00:19:53.045 --> 00:19:57.806
ЖПС-сигналы от автомобилей для
транспортной компаний.

00:19:57.886 --> 00:20:03.646
Информация о транзакциях всех клиентов
банка, всех покупках крупной литейл-сети и

00:20:03.766 --> 00:20:07.967
многое другое. Под термином «большие
данные» понимают наличие данных больше,

00:20:08.007 --> 00:20:08.047
чем

00:20:09.616 --> 00:20:12.979
Сто ГБ, например, 500 ГБ, 1 ТБ.

00:20:13.060 --> 00:20:15.982
И также данные, которые невозможно
обработать в Excel.

00:20:16.103 --> 00:20:20.107
То есть традиционным способом, данные,
которые невозможно обработать на одном

00:20:20.227 --> 00:20:24.671
компьютере. Некоторые специалисты
предлагают следующую классификацию объёмов

00:20:24.791 --> 00:20:25.072
данных.

00:20:26.073 --> 00:20:27.392
Большие наборы данных.

00:20:27.512 --> 00:20:32.468
То есть от одной тысячи мегабайт, 1 ГБ до
сотен Гегабайт.

00:20:32.628 --> 00:20:37.504
Огромные наборы данных: от одной тысячи
Гбабайт один тебайт до нескольких

00:20:37.584 --> 00:20:42.740
терабайт. Биг Дейта — от нескольких
терабайт до сотен терабайт.

00:20:43.691 --> 00:20:48.133
Экстремили Биг Дейта — от одной тысячи до
десяти тысяч терабайт, то есть от одного

00:20:48.253 --> 00:20:49.933
до десяти петабайт.

00:20:50.053 --> 00:20:56.135
То есть одна тысяча петабайт или одна
тысяча умножить на 1 000 терабайт.

00:20:56.336 --> 00:20:58.616
Это 1.

00:20:59.017 --> 00:21:00.657
Соответственно, согласно отчёту

00:21:01.781 --> 00:21:08.429
Соответственно, МК Институт Большие Данные
— новый рубеж для

00:21:08.549 --> 00:21:11.152
инноваций, конкуренции и
производительности.

00:21:11.392 --> 00:21:12.674
Термин «большие данные».

00:21:14.629 --> 00:21:18.547
Относится к наборам данных, размер которых
превосходит возможности типичных баз

00:21:18.667 --> 00:21:22.185
данных по занесению, хранению, управлению
и анализу информации.

00:21:22.265 --> 00:21:26.462
Таким образом, понятие больших данных
отличается от традиционного подхода к

00:21:26.542 --> 00:21:29.580
термином «большое количество данных» или
«большой массив данных».

00:21:29.700 --> 00:21:33.378
Большие данные по определению,
предложенному в 2011 году

00:21:35.315 --> 00:21:42.227
Адрианом в компании Гартнер — это данные
сбора, управления,

00:21:42.267 --> 00:21:46.223
обработка которых невозможно осуществить с
помощью наиболее часто используемых

00:21:46.303 --> 00:21:49.739
аппаратных средств и программных
инструментов в течение допустимого для

00:21:49.859 --> 00:21:50.858
пользователя времени.

00:21:52.250 --> 00:21:56.330
Ну, опять же, набор ссылок внизу слайда.

00:21:58.529 --> 00:22:00.929
Статьи интересные, желательно, конечно,
посмотреть

00:22:05.969 --> 00:22:06.809
в докладе.

00:22:07.638 --> 00:22:13.835
В Маккенситут от 2011 года даётся такое
определение: «Большие данные — это наборы

00:22:13.955 --> 00:22:17.952
данных, размеры которых выходят за пределы
возможностей по сбору, хранению,

00:22:18.032 --> 00:22:22.670
управлению и анализу присущих обычному
программному обеспечению баз данных».

00:22:23.670 --> 00:22:27.268
Словосочетание «большие данные»
подразумевает не только их объём.

00:22:27.388 --> 00:22:27.827
Согласно

00:22:29.681 --> 00:22:34.606
Gartner Group слова большие — это не
только возросший объём, но и возросшая

00:22:34.686 --> 00:22:37.770
скорость передачи и разнообразие
источников данных.

00:22:37.890 --> 00:22:42.175
Таким образом, приходится иметь дело не
просто с большим количеством данных, а с

00:22:42.215 --> 00:22:45.178
тем, что они поступают очень быстро в
сложных формах.

00:22:46.132 --> 00:22:48.411
И из разнообразных источников.

00:22:48.491 --> 00:22:53.410
Неслучайно большие данные сравниваются с
приливной волной, а её приручение — это

00:22:53.530 --> 00:22:58.609
настоящее испытание. Большими данными,
большим данным свойственны следующие

00:22:58.689 --> 00:23:04.928
особенности. Они часто автоматически
генерируются машиной без участия человека.

00:23:05.088 --> 00:23:07.768
Так встроенный двигатель-датчик генерирует
данные.

00:23:08.339 --> 00:23:10.138
Даже если никто его об этом не просит.

00:23:10.218 --> 00:23:13.737
В то время как традиционные источники
данных всегда предполагают присутствие

00:23:13.817 --> 00:23:15.776
человека, совершающего какое-либо
действие.

00:23:15.896 --> 00:23:20.654
Например, выставление счетов на плату,
телефонные звонки и тому подобное.

00:23:21.052 --> 00:23:24.650
Большие данные обычно относятся к
совершенно новым источникам данных.

00:23:24.730 --> 00:23:28.008
То есть данные могут быть
структурированными, неструктурированными,

00:23:28.088 --> 00:23:31.246
полуструктурированными или даже
мультиструктурированными.

00:23:32.006 --> 00:23:37.283
Большие данные часто описываются как
неструктурированные, а эти традиционные

00:23:37.403 --> 00:23:41.600
данные как структурированные, то есть
представляемые в чётко предопределённом

00:23:42.121 --> 00:23:44.964
...неизменном формате, что облегчает
работу с ними.

00:23:45.364 --> 00:23:49.207
Источники неструктурированных данных
невозможно контролировать.

00:23:49.488 --> 00:23:53.571
Значительная часть данных относится к
категории полуструктурированных.

00:23:53.972 --> 00:23:58.055
Они подразумевают логическую схему и
формат, который может быть понятным.

00:23:58.806 --> 00:24:00.565
Но недружественным пользователям.

00:24:00.685 --> 00:24:06.603
Так, ссылочка можно посмотреть,
соответственно, полуструктурированные

00:24:06.723 --> 00:24:09.321
данные иногда называют
мультиструктурированными.

00:24:09.361 --> 00:24:12.800
В потоке таких данных, кроме ценных
фрагментов информации, может

00:24:13.040 --> 00:24:14.439
присутствовать множество ненужных

00:24:15.196 --> 00:24:16.517
...и бесполезных данных.

00:24:16.637 --> 00:24:20.719
Чтобы прочитать полуструктурированные
данные, необходимо использовать сложные

00:24:20.799 --> 00:24:24.560
правила, которые определяют, что следует
делать после чтения каждого фрагмента

00:24:24.680 --> 00:24:28.282
информации. Некоторые источники больших
данных могут не учитывать правила

00:24:28.402 --> 00:24:30.883
грамматики, синтаксиса или лексические
нормы.

00:24:31.459 --> 00:24:36.223
Работать с такими данными бывает очень
трудно, а иногда и совсем не совсем

00:24:36.343 --> 00:24:41.187
приятно. Потоки больших данных не всегда
представляют собой особую ценность, могут

00:24:41.228 --> 00:24:44.791
быть бесполезными. То есть требуется
сортировка информации, извлечение её

00:24:44.951 --> 00:24:46.672
ценных из неё.

00:24:49.156 --> 00:24:51.754
Релевантных, то есть соответствующих
фрагментов.

00:24:52.034 --> 00:24:55.670
Традиционно же источники данных с самого
начала разрабатывались так, чтобы

00:24:55.830 --> 00:24:58.108
содержать на 100% релевантные данные.

00:24:58.228 --> 00:25:01.865
Это было связано с ограниченной
масштабируемостью, то есть включение в

00:25:01.945 --> 00:25:05.022
поток данных чего бы неважного слишком
дорого обходилось.

00:25:05.935 --> 00:25:09.694
Сейчас люди не ограничены объёмом
носителей информации.

00:25:10.213 --> 00:25:15.772
Поэтому большие данные по умолчанию
включают всю возможную информацию, в

00:25:15.852 --> 00:25:17.211
которой приходится разбираться.

00:25:17.371 --> 00:25:21.610
В этом случае ничего не будет упрощено, но
усложняется процесс анализа данных.

00:25:22.422 --> 00:25:29.222
Большие данные — это очередная волна новых
данных, которая раздвигает

00:25:29.342 --> 00:25:31.022
существующие пределы.

00:25:33.062 --> 00:25:38.183
В отличие от традиционных данных, поток
больших данных — это большой объём,

00:25:38.263 --> 00:25:40.343
скорость передачи, разнообразие и
сложность.

00:25:40.423 --> 00:25:42.103
Укрощение больших данных похоже

00:25:42.728 --> 00:25:47.326
Не на задачку, не закачку воды в бассейн,
а скорее на питьё воды из шланга.

00:25:47.366 --> 00:25:52.684
То есть человек отхлёбывает только то, что
ему нужно, остальное позволяет течь мимо.

00:25:52.844 --> 00:25:57.521
Главное в процессе упрощения больших
данных, упрощения, прошу прощения больших

00:25:57.561 --> 00:25:58.201
данных в кавычках.

00:25:59.699 --> 00:26:03.981
Определить, какие фрагменты имеют
долгосрочное стратегические значение,

00:26:04.141 --> 00:26:09.745
какие пригодны только для немедленного и
тактического использования, какие вообще

00:26:09.985 --> 00:26:13.027
бесполезны. С большими данными связаны
определённые риски.

00:26:13.107 --> 00:26:15.268
Так, например, экранизация может оказаться

00:26:16.175 --> 00:26:17.655
настолько перегруженный.

00:26:17.936 --> 00:26:24.299
Соответственно, смотрим ссылочку большими
данными, что не будет

00:26:24.499 --> 00:26:26.180
способно на какой-либо прогресс.

00:26:26.300 --> 00:26:30.061
Расходы по сбору больших данных могут
расти быстрее, чем возможности организации

00:26:30.221 --> 00:26:31.622
по их использованию и других

00:26:33.037 --> 00:26:37.515
Большие данные интересны для организации
не только тем, что они большие, но и

00:26:37.755 --> 00:26:44.111
столько с точки зрения важности учёта
перечисленных выше

00:26:44.271 --> 00:26:49.748
особенностей, но и тем, что их
использование на благо организации требует

00:26:49.828 --> 00:26:52.347
внедрения новых информационных средств
анализа.

00:26:53.085 --> 00:26:55.880
Без них использование больших данных
станет невозможным.

00:26:56.199 --> 00:27:00.032
Неслучайно в научной литературе есть
расширенный подход к пониманию больших

00:27:00.072 --> 00:27:02.748
данных, который обозначается термином "Big
Da.

00:27:02.947 --> 00:27:04.185
Термин бигдейта шире

00:27:05.507 --> 00:27:07.227
простого понятия большие данные.

00:27:07.267 --> 00:27:11.468
Под бигдейты понимают не только какой-то
конкретный большой объём данных, хотя это

00:27:11.668 --> 00:27:14.349
тоже важно, но и методы их обработки и
использования.

00:27:14.509 --> 00:27:17.910
Методы поиска необходимой информации в
больших массивах.

00:27:18.270 --> 00:27:22.591
Хотя это не означает, что методы работы с
большими данными нельзя применять к

00:27:22.631 --> 00:27:23.791
небольшим массивам данных.

00:27:24.506 --> 00:27:29.620
По мнению исследователей, Big Data — Daita
— это серия подходов, инструментов и

00:27:29.740 --> 00:27:33.175
методов обработки структурированных и
неструктурированных данных огромных

00:27:33.295 --> 00:27:33.815
объёмах.

00:27:43.750 --> 00:27:49.471
И значительного многообразия для получения
воспринимаемых человеком результатов,

00:27:49.591 --> 00:27:55.071
эффективных в условиях непрерывного
прироста данных, распределения по

00:27:55.191 --> 00:27:59.832
многочисленным узлам вычислительной сети,
альтернативных традиционных систем

00:27:59.992 --> 00:28:01.112
управления базами данных.

00:28:01.793 --> 00:28:04.917
...и решением класса Business
Intelligence.

00:28:05.037 --> 00:28:07.840
Ссылка 26, соответственно, посмотрите.

00:28:09.642 --> 00:28:15.729
Становится ясно, что толкование термина
бигдейта предполагает нечто большее, чем

00:28:15.889 --> 00:28:17.251
просто анализ больших данных.

00:28:18.141 --> 00:28:22.262
Проблема не в том, что организации создают
огромные объёмы данных, а в том, что

00:28:22.382 --> 00:28:27.104
большая большая часть их представлена в
формате, плохо соответствующем

00:28:27.144 --> 00:28:29.704
традиционному структурному формату больших
данных.

00:28:29.905 --> 00:28:33.826
Данные хранятся во множестве разнообразных
хранилищ, иногда даже за пределами

00:28:33.986 --> 00:28:34.586
организации.

00:28:35.229 --> 00:28:41.706
В результате фирмы могут иметь доступ к
огромному объёму своих данных, но не иметь

00:28:41.826 --> 00:28:46.784
необходимых инструментов, чтобы установить
взаимосвязи между этими данными и сделать

00:28:47.743 --> 00:28:49.662
на их основе соответствующие выводы.

00:28:49.742 --> 00:28:52.541
К тому же данные сейчас обновляются всё
чаще и чаще.

00:28:56.700 --> 00:29:00.822
И традиционные методы анализа информации
не могут угнаться за огромными объёмами

00:29:00.942 --> 00:29:04.583
постоянно обновляемых данных, что в итоге
вызывает необходимость разработки

00:29:04.663 --> 00:29:08.344
технологии обработки больших данных,
приводя к появлению Big Da.

00:29:08.744 --> 00:29:11.265
В отечественной литературе Big Dat
рассматривается как

00:29:11.425 --> 00:29:15.666
социально-экономический феномен, который
связан с появлением новых технологических

00:29:15.746 --> 00:29:18.147
возможностей для анализа огромного
количества данных.

00:29:18.655 --> 00:29:23.100
Фактически, Big Data — это решение
проблемы управления информаци- информацией

00:29:23.421 --> 00:29:26.545
и альтернатива традиционным системам
управления данными.

00:29:27.025 --> 00:29:31.311
Big Data — это, естественно, развитие
приёмов математической статистики и

00:29:31.391 --> 00:29:33.553
усовершенствование методов обработки
информации.

00:29:34.410 --> 00:29:39.014
Итак, под Big Date мы будем понимать
технологию разработки информации огромного

00:29:39.174 --> 00:29:45.379
объёма, разнообразного состава, часто
обновляемого и

00:29:45.619 --> 00:29:49.463
находящегося в разных источниках, то есть
большие данных, в целях увеличения

00:29:49.903 --> 00:29:53.426
эффективности работы, создания новых
продуктов и повышения

00:29:53.546 --> 00:29:55.508
конкурентоспособности предприятия.

00:29:57.444 --> 00:30:02.203
Так, соответственно, снизу опять
приводятся ссылки

00:30:04.442 --> 00:30:06.842
на статьи и источники.

00:30:07.522 --> 00:30:07.882
Так.

00:30:08.261 --> 00:30:10.060
Пункт третий. Значение бигдейта.

00:30:10.140 --> 00:30:14.219
В настоящее время нет такой сферы, где бы
использование технологии бигдейта не

00:30:14.299 --> 00:30:15.939
давало положительного результата.

00:30:16.139 --> 00:30:20.257
Так, коммерция. Эти технологии выполняют
роль создания портрета потенциального

00:30:20.337 --> 00:30:23.257
клиента с целью проанализировать
персоналифици...

00:30:23.838 --> 00:30:30.037
Персонализированность таргетирование

00:30:30.157 --> 00:30:32.277
рекламы, соответственно.

00:30:36.636 --> 00:30:42.235
Благодаря BigDate не является секретом,
какие продукты покупает конкретный клиент.

00:30:42.479 --> 00:30:44.200
Как часто ходит в магазин?

00:30:44.320 --> 00:30:50.083
Какой у него средний чек, где он отдыхает,
каков его примерный уровень

00:30:51.123 --> 00:30:52.324
дохода и прочее?

00:30:52.404 --> 00:30:57.446
Информация, попадая в систему Bigda,
связывается воедино, создаёт приближённый

00:30:57.526 --> 00:30:59.447
к действительности портрет покупателя.

00:31:00.164 --> 00:31:05.923
Пример, разработчики игры World of Tanks
на основе Big Data провели исследование

00:31:06.043 --> 00:31:12.722
информации обо всех игроках, что помогало
спрогнозировать их возможной

00:31:12.762 --> 00:31:15.721
отток, организовать более эффективное
взаимодействие.

00:31:16.459 --> 00:31:20.140
С пользователями. Благодаря технологиям
Bigdata компании могут проводить

00:31:20.900 --> 00:31:26.860
репутационный анализ, обрабатывая
компетенции пользователей,

00:31:27.661 --> 00:31:31.181
комментарии пользователей, прошу прощения
в социальных сетях, на которых

00:31:31.866 --> 00:31:34.787
На торговых площадках, форумах и других
ресурсах.

00:31:35.227 --> 00:31:39.148
Банковский сектор активно использует
аналитику больших данных в своих процессах

00:31:39.268 --> 00:31:44.950
для привлечения клиентов, анализа их
активности решения проблем информационной

00:31:45.070 --> 00:31:48.552
безопасности. Интернет-вещей — ещё одна
сфера, которую изменили

00:31:50.017 --> 00:31:55.972
Big Date — это анализ тысячи параметров на
производстве, дорожном движении, сельском

00:31:56.052 --> 00:31:58.330
хозяйстве, здравоохранении и других
отраслях.

00:31:58.978 --> 00:32:00.777
Перспективы Bigdat огромные.

00:32:00.897 --> 00:32:03.895
Например, только в медицине можно
проводить бесчисленное множество

00:32:03.975 --> 00:32:09.332
экспериментов по борьбе с неизлечимыми
болезнями, опасными вирусами и

00:32:09.411 --> 00:32:10.771
анализировать их результаты.

00:32:10.971 --> 00:32:15.088
Интерес к инструментам сбора, обработки,
управления и анализа больших данных

00:32:15.922 --> 00:32:20.327
Проявили многие ведущие IT-компании,
поскольку большие данные открывают

00:32:20.487 --> 00:32:26.734
отличные возможности освещения новых ниш
рынка, привлечения новых

00:32:27.055 --> 00:32:30.899
заказчиков. Это также компании, такие как
Amazon.

00:32:31.306 --> 00:32:38.114
Dell, ubay, Facebooker, Google, IBM,
Макростоф,

00:32:38.194 --> 00:32:45.002
Орок, СабСata, Яху, HSBS

00:32:45.843 --> 00:32:46.643
и так далее.

00:32:48.303 --> 00:32:54.098
К примеру, АБМ применяет методы обработки
больших данных к проводным денежным

00:32:54.258 --> 00:32:57.175
транзакциям. К проводимым денежным
транзакциям.

00:32:57.215 --> 00:33:01.890
С их помощью было выявлено на 15% больше
мошеннических транзакций, что позволило

00:33:01.970 --> 00:33:04.727
увеличить сумму защищённости средств на
60%.

00:33:05.607 --> 00:33:08.927
Также были решены проблемы с сложными
срабатываемыми системами.

00:33:09.047 --> 00:33:12.127
Их число сократилось более чем наполовину.

00:33:13.127 --> 00:33:17.967
Министерство труда в Германии сумело
сократить расходы на €10 млрд €, внедрив

00:33:18.047 --> 00:33:21.168
технологию передайта в процесс по выдаче
пособий по безработице.

00:33:21.288 --> 00:33:24.368
Было выявлено, что пятая часть граждан
данные пособия получала

00:33:26.162 --> 00:33:33.125
Безосновательно. Исследование Ассентури, в
котором приняло участие более 1 000

00:33:33.486 --> 00:33:37.447
руководителей компаний из 19 стран мира,
показало, что главным преимуществом Big

00:33:37.527 --> 00:33:43.170
Date является поиск новых источников
дохода, улучшение опыта клиентов, новые

00:33:43.250 --> 00:33:46.932
продукты и услуги, приток новых клиентов и
сохранение лояльности старых.

00:33:47.613 --> 00:33:51.694
Вместе с тем, при внедрении технологии
Bigdate многие компании столкнулись с

00:33:51.734 --> 00:33:53.215
традиционными проблемами.

00:33:53.935 --> 00:33:58.457
Для почти половины это проблемы
безопасности финансов, нехватки

00:33:58.577 --> 00:34:03.739
необходимых кадров, для других сложности
при интеграции существующей системы.

00:34:04.203 --> 00:34:08.764
Их устаревшая IT-инфраструктура не
способна обеспечивать необходимую ёмкость

00:34:08.844 --> 00:34:11.205
системы хранения процесса обмена данных.

00:34:11.605 --> 00:34:15.726
Утилиты и приложения необходимы для
обработки и анализа больших массивов

00:34:16.607 --> 00:34:20.648
неструктурированных данных, для извлечения
из них ценной информации.

00:34:21.426 --> 00:34:28.264
По мнению Газы, прошу прощения, в
конкурентной борьбе победят

00:34:28.464 --> 00:34:34.463
именно те, кто научился с самыми разными
источниками, кто научился обращаться с

00:34:34.543 --> 00:34:36.942
разными источниками информации.

00:34:37.662 --> 00:34:38.262
Специалисты

00:34:38.869 --> 00:34:44.235
ТимакСофт считает, что если компания
станет успешно применять Big Data, она

00:34:44.435 --> 00:34:48.560
сможет продолжить продукты и сервисы
лучше, чем у конкурентов.

00:34:49.842 --> 00:34:51.524
Ссылочки опять же снизу.

00:34:52.125 --> 00:34:52.926
На рисунке два

00:34:53.750 --> 00:34:57.508
Дана сравнительная характеристика
показателей деятельности компании лидеров

00:34:57.668 --> 00:34:59.906
по использованию Bigdata и их конкурентов.

00:34:59.986 --> 00:35:06.943
Практически во всех указанных сферах
доход, соответственно и

00:35:07.343 --> 00:35:10.621
общий объём прибыли до вычета расходов.

00:35:11.235 --> 00:35:18.036
по выплате процентов, налогов и начислению
амортизации у

00:35:18.196 --> 00:35:24.678
компаний, применяющих технологию Big Date,
выше, чем у тех, которые такие технологии

00:35:24.838 --> 00:35:28.158
не используют. Соответственно, вот
показатель livene.

00:35:36.695 --> 00:35:43.447
Есть другой показатель — abite
сравнительный

00:35:43.527 --> 00:35:49.121
анализ показателей деятельности компаний,
лидеров использования Bigdate и их

00:35:49.201 --> 00:35:53.157
конкурентов. Синие конкуренты.

00:35:54.103 --> 00:35:58.582
В некоторых случаях вообще очень низкие
показатели по сравнению с текущими.

00:35:59.542 --> 00:36:03.261
Компании — лидеры, видите коричневый цвет.

00:36:03.621 --> 00:36:09.019
По мнению BFanco, поскольку Big Date
появляются везде, их игнорирование опасно

00:36:09.139 --> 00:36:10.659
для организации, чтобы оставаться

00:36:11.462 --> 00:36:16.583
Конкурентоспособными и крайне важно, чтобы
организации активно анализировали эти

00:36:16.743 --> 00:36:22.385
новые источники данных и пользовались
содержащимися в них ценными сведениями.

00:36:23.905 --> 00:36:27.706
Далее познакомься с основами управления
большими данными.

00:36:28.887 --> 00:36:31.609
Итак, следующий раздел. Основы управления
большими данными.

00:36:31.649 --> 00:36:33.450
Подходы к управлению бигдейтом.

00:36:33.730 --> 00:36:37.373
Использование больших данных потребовало
решения вопросов, связанных с хранением и

00:36:37.413 --> 00:36:42.016
обработкой информации. На это ещё в 2001
году обратил внимание Дуклейни.

00:36:43.271 --> 00:36:45.752
из метагрупп, то есть входит в состав
Гартнер.

00:36:45.792 --> 00:36:48.994
В результате были выявлены три
направления, на которых стоит

00:36:49.314 --> 00:36:54.437
сосредоточиться при решении вопросов
управления данными: Volume Velocity и

00:36:54.557 --> 00:36:57.118
verity. В общем, три большие.

00:36:57.558 --> 00:37:02.161
Похоже, они легли в основу описательной
модели больших данных, с таким же,

00:37:02.201 --> 00:37:03.762
соответственно, названием. Три.

00:37:04.533 --> 00:37:07.693
Ви-ви-ви. Остановимся на них подробнее.

00:37:08.693 --> 00:37:15.532
Объём. Big Dite — это целый набор методик
и технологий получения,

00:37:15.572 --> 00:37:17.531
хранения и обработки информации.

00:37:18.371 --> 00:37:20.171
Так как информация постоянно меняется

00:37:21.265 --> 00:37:25.783
Изменяющаяся, обновляется, к ней
добавляется новая.

00:37:25.863 --> 00:37:31.421
При работе с большим массивом информации
необходимо быть готовым к оперативному,

00:37:31.541 --> 00:37:36.020
горизонтальному масштабированию из-за
потенциального роста входных данных.

00:37:36.420 --> 00:37:37.619
Велосити, скорость.

00:37:38.307 --> 00:37:42.431
При постоянном росте количества данных
важна их обработка с той скоростью,

00:37:42.471 --> 00:37:43.993
которая требуют цели проекта.

00:37:44.113 --> 00:37:49.919
Например, огромное количество датчиков
фиксируют сейсмические изменения на

00:37:50.039 --> 00:37:55.405
территории конкретной страны или в мире
данные с них поступают в ЦОТ.

00:37:57.122 --> 00:38:02.125
Центр обработки данных, где выполняется
обработка и анализ полученной информации.

00:38:02.365 --> 00:38:06.527
Если поступившие данные в силу тех или
иных причин будут обрабатываться несколько

00:38:06.887 --> 00:38:11.169
часов вместо, например, нескольких минут,
то в случае получения информации о

00:38:11.249 --> 00:38:15.331
землетрясении после обработки данных будет
невозможно

00:38:16.168 --> 00:38:23.009
... вовремя принять превентивные меры, и
последствия катастрофы будут ужасными.

00:38:23.690 --> 00:38:29.731
Неслучайно к уже имеющимся параметрам,
соответственно, V компании добавил ещё

00:38:29.971 --> 00:38:33.132
один — Veriew или ценность информации.

00:38:33.475 --> 00:38:37.354
В приведённом примере эта ценность была
равна нулю, так как потеряла свою

00:38:37.394 --> 00:38:43.952
актуальность раньше, чем ей смогли
воспользоваться за период валиди, то есть

00:38:44.192 --> 00:38:46.312
полезного действия этой информации.

00:38:46.752 --> 00:38:49.551
Ценность информации заключается в её
достоверности.

00:38:56.636 --> 00:39:01.113
Становится понятно, что скорость обработки
поступающих данных очень важна, иначе

00:39:01.312 --> 00:39:06.389
можно потерять их ценность и передать на
дальнейший анализ уже неактуальные данные

00:39:06.549 --> 00:39:10.226
или в качестве результата представить
неактуальную информацию.

00:39:10.346 --> 00:39:12.105
Скорость обработки данных из хранилища

00:39:13.228 --> 00:39:17.067
... должны легко наращиваться при
необходимости, что также заложено в

00:39:17.147 --> 00:39:18.587
технологии Big Date.

00:39:18.907 --> 00:39:20.746
Значит, веорите, разнообразие.

00:39:20.866 --> 00:39:24.985
Как уже отмечалось выше, наряду со
структурированными данными, есть

00:39:25.145 --> 00:39:28.104
информация, которая поступает в
неструктурированном виде.

00:39:29.209 --> 00:39:35.494
И именно она определяет в общем потоке
информации.

00:39:35.774 --> 00:39:37.696
Преобладает в общем потоке информации.

00:39:37.776 --> 00:39:44.261
То есть вот рисунок 3 — описательная
модель Big Deta видите, скорость.

00:39:44.341 --> 00:39:47.584
То есть, видите, тут даже получается не
три, а пять.

00:39:48.453 --> 00:39:54.988
Ценность, объём, достоверность и

00:39:55.268 --> 00:39:56.190
многообразие.

00:40:05.788 --> 00:40:09.868
Одна из задач, которая ставится перед
использованием Big Data в большей степени,

00:40:09.908 --> 00:40:16.349
чем хранение информации, — это оперативное
выстроить между полученными данными связи

00:40:16.749 --> 00:40:20.669
и на выходе выдать данные, доступные для
структурированного или

00:40:20.829 --> 00:40:22.549
полуструктурированного анализа.

00:40:23.209 --> 00:40:27.890
Действительно, уметь находить связи между
любыми данными вне зависимости от уровня

00:40:27.970 --> 00:40:32.731
их структурированности и уметь получать
результат, который можно однозначно

00:40:32.851 --> 00:40:36.771
анализировать для решения той или иной
задачи, является для Big Date весьма

00:40:36.892 --> 00:40:37.332
важным.

00:40:40.556 --> 00:40:45.151
Кроме того, система должна быть хорошо
масштабирована, иначе будут получены

00:40:45.670 --> 00:40:49.306
недостоверные данные ввиду их потери
одного из примеров.

00:40:49.666 --> 00:40:51.583
То есть, соответственно, каких-то вы.

00:40:52.462 --> 00:40:56.497
Направления работы по управлению Big Date
должны основываться на определённых

00:40:56.657 --> 00:40:57.177
принципах.

00:40:57.607 --> 00:40:59.926
Первое. Горизонтальная масштабируемость.

00:41:00.166 --> 00:41:05.526
Поскольку данные могут быть очень много,
то любая система, которая подразумевает

00:41:05.646 --> 00:41:09.605
обработку больших данных, должна быть
расширяемой.

00:41:11.085 --> 00:41:12.325
Отказоустойчивость.

00:41:12.525 --> 00:41:16.525
Методы работы с большими данными должны
учитывать возможность выхода из строя

00:41:16.605 --> 00:41:17.005
машин.

00:41:17.568 --> 00:41:20.650
А их может быть много: до нескольких
тысяч.

00:41:21.050 --> 00:41:25.973
И способность преодолевать эти проблемы
без каких-либо значимых последствий.

00:41:26.573 --> 00:41:30.735
Локальность данных. В больших
распределённых системах данные

00:41:31.416 --> 00:41:33.937
рассредоточены по большому количеству
машин.

00:41:34.097 --> 00:41:38.259
Принцип локальности данных заключается в
том, чтобы по возможности обрабатывать

00:41:38.379 --> 00:41:38.620
данные

00:41:39.353 --> 00:41:41.392
...на той же машине, где они хранятся.

00:41:41.552 --> 00:41:45.429
Для того чтобы следовать этим принципам,
необходимы технологии, то есть включают

00:41:45.589 --> 00:41:48.267
разные методы и способы средства обработки
данных.

00:41:48.826 --> 00:41:54.622
С учётом принципов, направленных решения
вопросов управления большими данными,

00:41:54.701 --> 00:41:58.738
можно так определить Bigdate — это
горизонтально масштабируемая система,

00:41:58.818 --> 00:42:00.137
основанная на определениях...

00:42:01.027 --> 00:42:05.431
На определённых принципах использования
набора методик и технологий, позволяющих

00:42:05.511 --> 00:42:09.874
обрабатывать структурированную и
неструктурированную информацию и строить

00:42:09.995 --> 00:42:13.597
связи, необходимые для получения
однозначно интерпретируемых человеком

00:42:13.758 --> 00:42:18.361
данных, не успевших потерять актуальность,
несущие ценность для достижения

00:42:18.521 --> 00:42:19.442
поставленных целей.

00:42:20.879 --> 00:42:24.402
Содержание и задачи управления большими
данными.

00:42:25.243 --> 00:42:26.804
Управление большими данными.

00:42:27.004 --> 00:42:30.768
Так, заодно вот ссылки снизу слайда.

00:42:32.049 --> 00:42:35.853
Управление большими данными строится с
учётом так называемого жизненного пути

00:42:36.253 --> 00:42:37.534
данных. Или, по-другому

00:42:38.395 --> 00:42:40.793
Истории данных внутри организации.

00:42:43.591 --> 00:42:46.029
Существует несколько моделей пути.

00:42:46.349 --> 00:42:50.386
Одной из них является модель Мальклема
Чисхолма.

00:42:50.786 --> 00:42:54.983
Она состоит из семи активных фаз
взаимодействия с данными.

00:42:55.063 --> 00:42:58.181
Каждая фаза содержит в себе задачи по
управлению данными.

00:42:58.301 --> 00:42:58.820
Первая фаза

00:43:01.122 --> 00:43:05.885
Создание или сбор значений данных, которые
ещё не существуют и никогда не

00:43:06.005 --> 00:43:12.891
существовали в компании. Сюда относят Deta
asculation, то есть

00:43:13.091 --> 00:43:15.653
покупку данных, предложенных внешними
компаниями.

00:43:16.678 --> 00:43:20.954
Datain try, то есть генерацию данных
ручным вводом при помощи мобильных

00:43:21.073 --> 00:43:23.391
устройств или программного обеспечения.

00:43:26.788 --> 00:43:32.142
Сигнал рецепшн, то есть получение данных с
помощью телеметрии, то есть, например, как

00:43:33.188 --> 00:43:40.071
использование интернет-вещей Вторая
фаза-Мейнтайнс — передача данных в

00:43:40.191 --> 00:43:45.114
точке, где происходит синтез данных и их
использование в форме, наиболее подходящей

00:43:45.194 --> 00:43:45.994
для этих целей.

00:43:46.715 --> 00:43:51.317
Фаза часто включает в себя такие задачи,
как перемещение, интеграция, очистка,

00:43:51.357 --> 00:43:55.238
обогащение, изменение данных, а также
процессы экстракции, то есть увеличение

00:43:55.358 --> 00:43:56.758
преобразование загрузки.

00:43:57.398 --> 00:44:02.319
Смешение интерпретация и интеграция данных
нужны, если есть несколько разных

00:44:02.439 --> 00:44:03.640
источников данных, и нужно

00:44:04.801 --> 00:44:07.244
Анализировать эти данные в комплексе.

00:44:08.525 --> 00:44:13.049
Например, магазин ведёт торговлю оффлайн и
через Интернет, в том числе через

00:44:15.332 --> 00:44:17.934
маркетплейсы. Чтобы получить полную
информацию

00:44:18.959 --> 00:44:23.522
Соответственно, о продажах и спросе надо
собрать множество данных: кассовые чеки,

00:44:23.642 --> 00:44:28.765
товарные остатки на складе,
интернет-заказы, заказы через маркетплейс

00:44:28.885 --> 00:44:33.408
и так далее. Все эти данные поступают из
разных мест и обычно имеют разный формат.

00:44:33.768 --> 00:44:36.609
Чтобы работать с ними, их нужно привести к
единому виду.

00:44:36.689 --> 00:44:40.372
То есть традиционные методы интеграции
данных основаны на процессе EIL.

00:44:41.211 --> 00:44:43.769
Извлечение, преобразования и загрузки.

00:44:44.968 --> 00:44:49.604
Данные получают из разных источников,
очищают и загружают в хранилище.

00:44:49.723 --> 00:44:56.717
Специальные инструменты экосистем больших
данных, вот, допустим, hed Loop hedub,

00:44:56.757 --> 00:44:57.477
прошу прощения.

00:44:59.709 --> 00:45:03.985
До баз нового SQL также имеет собственный
подход для извлечения преобразования

00:45:04.145 --> 00:45:05.543
загрузки данных.

00:45:07.062 --> 00:45:13.855
Ссылка Шпрингер технологии Bigda
интеграции больших

00:45:13.895 --> 00:45:14.175
данных

00:45:15.258 --> 00:45:18.737
После интеграции большие данные
подвергаются дальнейшим манипуляциям,

00:45:18.857 --> 00:45:20.416
анализу, обработке и так далее.

00:45:20.496 --> 00:45:23.055
И вот описанный процесс представлен на
рисунке четыре.

00:45:23.614 --> 00:45:27.892
Видите различные источники данных: одна
база данных, другая база данных, третья

00:45:27.972 --> 00:45:30.771
база данных, какие-то там файлы.

00:45:31.640 --> 00:45:35.840
Вот. Соответственно, всё загружается в
инструменты ETL.

00:45:36.080 --> 00:45:42.841
Экстракт loid, loid Transform, то есть,
соответственно,

00:45:42.961 --> 00:45:44.521
загрузка, преобразование.

00:45:45.761 --> 00:45:48.602
Корпоративное и вводится в корпоративное
хранилище.

00:45:49.139 --> 00:45:52.903
Вот это вот Deta Workhouse.

00:45:53.664 --> 00:45:58.949
Соответственно, и потом, собственно, из
этого хранилища уже в удобном виде данные

00:45:59.029 --> 00:46:03.754
извлекаются и анализируются
статистическими методами, средствами

00:46:03.874 --> 00:46:04.875
машинного обучения.

00:46:05.759 --> 00:46:09.001
...или другими специальными средствами.

00:46:11.043 --> 00:46:17.367
Так, вот, значит, разные источники данных,
инструменты ITL и корпоративные хранилища.

00:46:18.167 --> 00:46:22.210
Соответственно, вот корпоративное
хранилище можно увеличить, видите, RAU

00:46:22.370 --> 00:46:23.691
Data сырые данные.

00:46:24.577 --> 00:46:25.858
Мета-дата.

00:46:26.459 --> 00:46:33.266
Соответственно, данные о непосредственно
структурах, какие-то мета-данные, может

00:46:33.506 --> 00:46:39.672
быть, модели. И сам ридата — уже какие-то
итоговые данные, как-то

00:46:39.873 --> 00:46:42.996
структурированные, как-то уже оценённые,
усреднённые.

00:46:43.723 --> 00:46:45.642
Сглажены и тому подобное.

00:46:46.521 --> 00:46:52.437
Так, таким образом, третья фаза —
Detasintesis.

00:46:52.477 --> 00:46:58.432
Создание ценностей из данных через
индуктивную логику занимается логическими

00:46:58.512 --> 00:47:02.709
процессами умозаключений, от частного к
общему индукции, использование других

00:47:02.789 --> 00:47:04.427
данных в качестве входных данных.

00:47:04.756 --> 00:47:08.076
Четвёртая фраза. Deta Used.

00:47:08.276 --> 00:47:13.037
Применение данных как информации для
задач, которые должны ставить и выполнять

00:47:13.317 --> 00:47:18.317
предприятие. Использование данных имеет
специальные задачи управления данными.

00:47:18.877 --> 00:47:22.277
Одна из них заключается в выяснении того,
является ли

00:47:23.234 --> 00:47:27.517
законами использования данных в том виде,
в котором хочет Базис

00:47:29.754 --> 00:47:35.197
Хочет бизнес. Речь идёт о так называемом
разрешённом использовании данных,

00:47:35.277 --> 00:47:40.360
поскольку могут существовать регулирующие
или конкретные ограничения на фактически

00:47:40.560 --> 00:47:43.481
используемых данных, а их необходимо
соблюдать.

00:47:43.921 --> 00:47:45.602
Так, ну опять же, ссылочки.

00:47:51.480 --> 00:47:57.563
Пятая фаза. Data Publication — отправка
данных в место за пределами предприятия.

00:47:57.643 --> 00:48:01.605
Например, отсылка ежемесячных отчётов
клиентам, после чего эти данные де-факто

00:48:01.805 --> 00:48:03.286
возможно отозвать.

00:48:05.127 --> 00:48:06.888
Невозможно отозвать, имеется в виду.

00:48:07.907 --> 00:48:10.748
То есть они уже как бы опубликованы.

00:48:14.150 --> 00:48:18.232
Неверные значения данных не могут быть
исправлены, поскольку они уже недоступны

00:48:18.352 --> 00:48:22.354
для предприятия. Управление данными может
потребоваться, чтобы решить, как будут

00:48:22.434 --> 00:48:25.596
обрабатываться неверные данные, которые
были отправлены клиентом.

00:48:26.273 --> 00:48:28.956
Шестая фаза — Дельта-архивал.

00:48:30.117 --> 00:48:35.803
Копирование данных в среду, где они, в
среду, где они были, где они хранятся до

00:48:35.843 --> 00:48:42.529
тех пор, пока не они понадобились снова
для их активного

00:48:42.690 --> 00:48:44.011
использования и удаления их

00:48:44.909 --> 00:48:48.267
Из всех активных производственных средств

00:48:54.984 --> 00:48:58.902
пока они не понадобятся снова для их
активного использования, удаления из всех

00:48:58.982 --> 00:49:01.021
активных производственных средств имеется
в виду.

00:49:01.300 --> 00:49:02.660
Седьмая фаза. Дельта.

00:49:03.459 --> 00:49:08.815
Пурш удаление каждой копии элемента данных
с предприятия.

00:49:09.215 --> 00:49:11.333
Выделять это необходимо делать из архива.

00:49:11.453 --> 00:49:17.209
Задача управления данными на этой фазе —
определить, что очистка действительно была

00:49:17.328 --> 00:49:18.847
выполнена должным образом.

00:49:19.817 --> 00:49:24.696
Следует отметить, что данные необязательно
должны проходить все восемь фаз.

00:49:25.136 --> 00:49:29.015
Фазы взаимодействия необязательно
выстраиваются в конкретную

00:49:29.175 --> 00:49:34.693
последовательность. В результате в
реальности фазы могут проявляться в

00:49:34.733 --> 00:49:35.813
хаотическом порядке.

00:49:36.338 --> 00:49:40.299
В любом случае стратегия управления
данными в организации имеет большую

00:49:40.419 --> 00:49:41.939
самостоятельную ценность.

00:49:42.339 --> 00:49:46.700
Современный вид системы управления данными
— это результат развития организационных

00:49:46.940 --> 00:49:50.261
основ работы с Big Data.

00:49:52.822 --> 00:49:54.662
Соответственно, ссылочка 40.

00:50:03.314 --> 00:50:06.793
Третий момент — эволюция организационных
основ работы с Биг Дейта.

00:50:07.153 --> 00:50:11.591
В первое десятилетие XXI века термин
бигдейта воспринимается уже как

00:50:11.711 --> 00:50:15.550
инфраструктурный. Под ним понимается
специальный класс баз данных, которые

00:50:15.830 --> 00:50:18.709
позволяли быстро обрабатывать большие
объёмы информации.

00:50:19.426 --> 00:50:23.741
Название Bigdate применялось к категории
серверов железа, которые умели выполнять

00:50:23.941 --> 00:50:25.219
определённые вычисления.

00:50:25.539 --> 00:50:30.213
Они были нужны, потому что обычное железо
не было приспособлено для работы с большим

00:50:30.253 --> 00:50:32.850
количеством данных, ему не хватало памяти
и скорости.

00:50:33.409 --> 00:50:37.129
Аудиофайлы, изображения, сложные и
слабоструктурированные данные мало

00:50:37.209 --> 00:50:40.928
обрабатывались. Для них требовалось
специальное программное обеспечение.

00:50:41.288 --> 00:50:45.528
Постепенно стало понятно, что проблема
заключается не только в железе, а в том

00:50:45.608 --> 00:50:49.447
числе и в программном обеспечении, то есть
софте, который работает

00:50:50.471 --> 00:50:53.310
На самых обычных компьютерах, объединённых
в узлы.

00:50:53.510 --> 00:50:56.828
Такие инструкции, конструкции могут
работать параллельно

00:51:01.027 --> 00:51:03.346
над конкретной задачи по обработке данных.

00:51:03.426 --> 00:51:06.345
Их назвали программными комплексами или
кластерами.

00:51:06.504 --> 00:51:10.583
После осознания этого технологии работы с
большими данными стали быстро развиваться.

00:51:12.019 --> 00:51:16.338
Уже в 2010 году стали осуществляться
первые попытки решения нарастающих проблем

00:51:16.658 --> 00:51:20.977
больших данных, и были выпущены
программные продукты, направленные на

00:51:21.097 --> 00:51:24.777
минимизацию рисков при использовании
огромных информационных массивов.

00:51:24.856 --> 00:51:27.816
В настоящее время к инструментам
управления Big Date, встроенным в

00:51:27.856 --> 00:51:30.535
корпоративную архитектуру многих крупных
компаний, относятся.

00:51:31.385 --> 00:51:35.311
Программно-аппаратные комплексы и
ускорители для баз данных.

00:51:35.512 --> 00:51:38.516
Соответственно, специализированные
устройства, объединяющие хранение,

00:51:38.557 --> 00:51:41.721
обработку, подключение и быстрое
выполнение запросов.

00:51:42.320 --> 00:51:45.600
На выделенной программно-аппаратной
платформе, оптимизированной для работы

00:51:45.880 --> 00:51:49.401
управления базами данными. Ускорители баз
данных используют самые последние

00:51:49.561 --> 00:51:53.682
достижения хранения данных и оптимизации
запросов для снижения размеров баз данных

00:51:53.802 --> 00:51:56.402
и повышения скорости выполнения сложных
запросов.

00:51:57.042 --> 00:52:00.403
Если простые обновления аппаратной
платформы могут повысить

00:52:00.483 --> 00:52:03.123
производительность традиционной
эволюционной базы данных в два раза

00:52:03.538 --> 00:52:08.176
То применение специализированных устройств
и ускорителей способно улучшить показатели

00:52:08.376 --> 00:52:10.176
цены производительности почти в сто раз.

00:52:10.335 --> 00:52:14.654
Важно и то, что эти технологии упрощают
управление администрированием, устраняя

00:52:15.333 --> 00:52:19.372
потребность в квалифицированной настройке
конфигурирования данных.

00:52:20.407 --> 00:52:26.893
No Squell — такие хранилища данных,
технология Not Only Esquel, появившиеся в

00:52:26.933 --> 00:52:32.377
среде Интернет с самого начала было
спроектировано для управления огромными

00:52:32.737 --> 00:52:37.141
распределёнными наборами данных, запрос к
которым должен выполняться в миллисекунды.

00:52:38.700 --> 00:52:42.417
Вместо нормализации данных по реационным
таблицам, которые затем должны

00:52:42.697 --> 00:52:47.134
объединяться для ответов на запросы,
сверхбольшие массивы данных распределяются

00:52:47.294 --> 00:52:51.331
по сотням или тысячам процессоров,
организационно организованных так, чтобы

00:52:51.571 --> 00:52:53.809
связанные данные располагались рядом.

00:52:54.249 --> 00:52:57.047
Запросы выполняются параллельно на всех
процессорах.

00:52:58.450 --> 00:53:02.366
Каждый возвращает ответы, основываясь на
локальных данных.

00:53:02.526 --> 00:53:08.881
Это простой и масштабируемый подход
оказался очень эффективным и гибким.

00:53:09.280 --> 00:53:13.996
Соответственно, он позволяет совместно
хранить данные самых разных типов, а также

00:53:14.116 --> 00:53:15.475
выполнять сложные запросы.

00:53:17.040 --> 00:53:18.679
Автоматизированную аналитику.

00:53:18.959 --> 00:53:23.677
Чтобы получить преимущество от обработки
сверхбольших массивов данных, требуется

00:53:23.837 --> 00:53:27.316
хорошая аналитика и группа
высококвалифицированных специалистов.

00:53:27.755 --> 00:53:33.353
Выборка, очистка, обработка тирабайтов
данных часто выполняется аналитиками

00:53:33.393 --> 00:53:33.953
вручную.

00:53:34.225 --> 00:53:36.983
Так как некоторые операции не могут быть
автоматизированы.

00:53:37.023 --> 00:53:42.380
Тем не менее, в последние десятилетия
наметился процесс в самообучающихся

00:53:42.620 --> 00:53:47.058
алгоритмах, генетических алгоритмах
автоматизированного тестирования, что

00:53:47.457 --> 00:53:52.575
привело к появлению программ, способных
распознавать образы, делать заключения и

00:53:52.695 --> 00:53:53.494
улучшаться.

00:53:53.922 --> 00:53:56.004
...с течением времени, то есть
самообучаться.

00:53:56.164 --> 00:54:01.087
Эти системы не всегда работают лучше
людей-аналитиков, но их автоматизированные

00:54:01.207 --> 00:54:04.529
процессы могут оказаться единственным
способом масштабирования в соответствии с

00:54:04.569 --> 00:54:06.570
требованием сфербольших массивов.

00:54:07.010 --> 00:54:09.812
Выше перечисленные инструменты PIDate
позволяют...

00:54:10.894 --> 00:54:14.733
Понять важность правильного использования
больших данных и привели к трансформации

00:54:14.973 --> 00:54:17.172
концепции управления всем предприятием.

00:54:17.692 --> 00:54:21.450
Если раньше данными занимались только
айтишники, работав со специальными

00:54:21.530 --> 00:54:26.609
операционными хранилищами, то есть вот
ОДС, куда данные загружались все вместе с

00:54:26.689 --> 00:54:31.007
разных источников, то теперь стало
понятным, что данные крайне важны.

00:54:31.515 --> 00:54:33.518
На них нужно строить успешный бизнес.

00:54:33.638 --> 00:54:39.244
Теперь многие понимают термин Bigdat не
просто как технологии управления большими

00:54:39.364 --> 00:54:44.330
данными, а как новую модель зрелости
бизнеса, общества и государства.

00:54:46.012 --> 00:54:47.213
Так, ссылочка снизу.

00:54:49.032 --> 00:54:53.994
Пользователь понимает, как с помощью Big
Data быстро и легально обработать

00:54:54.115 --> 00:54:58.157
информацию и как её структурировать таким
образом, чтобы результаты этой работы были

00:54:58.237 --> 00:55:02.439
понятны окружающим. Бигдейта привели к
централизации управленческих решений и

00:55:02.519 --> 00:55:04.080
постепенно распространялись

00:55:04.713 --> 00:55:07.034
...на все ключевые бизнес-процессы.

00:55:08.434 --> 00:55:11.676
Это, в свою очередь, привело к
возникновению новой формы внутренней

00:55:11.756 --> 00:55:15.437
работы организации, превратив его в
Date-дрейвен-организацию, то есть

00:55:15.557 --> 00:55:18.598
управляемого, управляемой датой-данными.

00:55:18.999 --> 00:55:24.921
В 2011 году крупные компании, то есть
Microsoft Orokel и MS ABM, стали первыми

00:55:25.903 --> 00:55:30.584
использовать наработки Big Data в своих
стратегиях развития Google, Facebook и

00:55:30.664 --> 00:55:35.425
другие крупные компании провозгласили себя
дейта-дрейвин организациями.

00:55:35.505 --> 00:55:40.626
Дейта-дрейвинг организации — это такие
компании, в которых все внутренние

00:55:40.826 --> 00:55:43.507
процессы и большие решения вокруг них

00:55:44.257 --> 00:55:48.174
Большинство решений вокруг них строится
исключительно на основе данных.

00:55:48.414 --> 00:55:55.049
В 2007 году эксперт в области вебаналитики
Аванис Кошик выделил семь ключевых

00:55:55.169 --> 00:55:59.566
шагов, которые позволяют трансформировать
культуру работы организации и перейти к

00:55:59.646 --> 00:56:02.124
управляемым данным, или, соответственно,

00:56:03.087 --> 00:56:05.929
Дата управляемой организацией.

00:56:13.373 --> 00:56:15.295
То есть приходите к результатам.

00:56:16.055 --> 00:56:16.375
Основа

00:56:17.068 --> 00:56:20.627
Коллаборации, то есть совместной
деятельности, взаимодействия между людьми

00:56:20.787 --> 00:56:24.465
с использованием данных, лежит прежде
всего в понимании того, что важно для

00:56:24.585 --> 00:56:25.944
каждого из участников.

00:56:26.384 --> 00:56:29.022
От чего зависят их бонусы или выплаты?

00:56:29.582 --> 00:56:32.620
На что обращают внимание люди, которые
принимают решение?

00:56:32.780 --> 00:56:33.940
Для этого нужно понимать,

00:56:34.871 --> 00:56:36.994
Какими объектами оперируют компании?

00:56:37.234 --> 00:56:39.276
Эти понимания перенести на уровень данных.

00:56:39.356 --> 00:56:44.242
Традиционная ошибка — начать собирать все
данные компании, считать на их основе все

00:56:44.402 --> 00:56:49.007
возможные метрики, отправлять всем
заинтересованным людям отчёты с этими

00:56:49.168 --> 00:56:49.888
показателями.

00:56:52.196 --> 00:56:55.759
Второй момент: Repoting is not Analis.

00:56:56.280 --> 00:57:00.364
Analisies. Отчётность — это ещё не
аналитика.

00:57:00.844 --> 00:57:05.048
Ключевой ошибкой всегда и везде была
простая демонстрация данных в надежде, что

00:57:05.128 --> 00:57:08.451
решение с использованием этих данных
найдётся само собой.

00:57:10.687 --> 00:57:11.086
Третий момент

00:57:17.801 --> 00:57:24.556
Design making, где персонифицируйте
принимаемые

00:57:24.636 --> 00:57:31.310
решения переход к фокусировке.

00:57:31.747 --> 00:57:36.106
На тех данных, которые действительно нужны
организации, ведёт к созданию новой формы

00:57:36.186 --> 00:57:41.385
культуры, где данным отводят центральное
место, а все расширения децентрализованы.

00:57:41.585 --> 00:57:47.864
Поэтому, потому что важно не мнение людей
в офисе, а данные, на которых оно

00:57:47.944 --> 00:57:48.624
строится.

00:57:50.752 --> 00:57:57.467
Так, в конце слайда ссылки данные сами
показывают, что идёт не в

00:57:57.507 --> 00:58:01.065
соответствии с ожиданиями. Это никак не
связано с субъективной оценкой.

00:58:01.864 --> 00:58:05.782
Проактив Insignt.

00:58:09.629 --> 00:58:16.030
То есть проактивный инсайт прогноз важнее
реактивной аналитики.

00:58:16.710 --> 00:58:21.151
В тот момент, когда данные получены и
началась подготовка инсайта, они уже

00:58:21.271 --> 00:58:23.592
устарели. Поэтому вместо того, чтобы
выполнять

00:58:24.502 --> 00:58:28.104
И готовить отчётность специалистов нужно
выполнять анализ, который ещё никто не

00:58:28.184 --> 00:58:33.027
просит. Он необходим, так как данные
быстро устаревают, и ряд ключевых аспектов

00:58:33.227 --> 00:58:36.509
может быть не освещён во время процесса
принятия решения.

00:58:38.991 --> 00:58:39.751
Пятый момент.

00:58:43.003 --> 00:58:48.841
MPATряйте полномочия аналитиков.

00:58:49.121 --> 00:58:54.239
Для того чтобы аналитик мог, мог потратить
своё рабочее время на анализирован

00:58:54.839 --> 00:58:57.997
неструктурированных или
слабоструктурированных данных, вместо

00:58:58.197 --> 00:59:01.636
подготовки регулярной отчётности у него
должны быть достаточно для этого

00:59:01.876 --> 00:59:02.475
полномочий.

00:59:03.180 --> 00:59:07.137
Дейта-дрейвинг организации вряд ли будут
существовать в условиях регулярного

00:59:07.257 --> 00:59:12.053
процесса выпуска отчётности, на который
тратится более 80% времени работы команды.

00:59:12.413 --> 00:59:17.209
Аналитики должны тратить минимум времени
на отчётность, используя остальное время,

00:59:17.329 --> 00:59:22.046
чтобы улучшить иные процессы организации в
работе с данными и их продукты, то есть

00:59:22.206 --> 00:59:23.525
это ежемесячная отчётность.

00:59:26.750 --> 00:59:29.548
Solf Detrinity — треугольник ценности.

00:59:30.148 --> 00:59:34.146
Внутри треугольника находятся метрики и
инсайды, которые приводят к действию по

00:59:34.226 --> 00:59:37.584
созданию ценности. На вершинах
треугольника обозначены ключевые

00:59:37.664 --> 00:59:40.542
направления создания ценности с
использованием данных.

00:59:40.902 --> 00:59:42.661
Это поведение Behevio.

00:59:43.483 --> 00:59:47.600
Необходимо думать широко при анализе
поведения клиентов.

00:59:48.040 --> 00:59:49.719
Результаты — outcoms.

00:59:49.839 --> 00:59:53.596
Надо научиться связывать поведение
клиентов с ключевыми показателями или

00:59:53.756 --> 00:59:55.874
критическими факторами успеха организации.

00:59:56.074 --> 00:59:57.553
Опыт, экспериенс.

00:59:58.072 --> 00:59:58.872
Инсайты.

00:59:59.808 --> 01:00:02.689
Должны проходить через эксперимент
исследования.

01:00:02.769 --> 01:00:06.570
То есть тестирование клиентов или поиск
закономерностей в их поведении.

01:00:06.650 --> 01:00:09.411
Всем этим необходимо постоянно заниматься.

01:00:10.932 --> 01:00:17.214
Так, опять же ссылочка God

01:00:17.294 --> 01:00:19.735
process. Создать вокруг процесс.

01:00:20.298 --> 01:00:24.301
Дета-древняя организация — это не пункт
назначения, а процесс или путь, по

01:00:24.381 --> 01:00:25.621
которому идёт организация.

01:00:25.741 --> 01:00:29.183
Этот процесс позволяет пользователям и
сотрудникам применять тот или иной

01:00:29.263 --> 01:00:30.864
фреймворк работы с данными.

01:00:31.224 --> 01:00:35.947
Он не должен быть сложным или запутанным,
а должен показывать, кто и на каком

01:00:36.067 --> 01:00:39.428
конкретном шаге участвует в создании
ценности с использованием данных.

01:00:40.771 --> 01:00:44.771
Ответственным за данную аналитику, в
поиске инсайдов в организации должно быть

01:00:45.531 --> 01:00:47.451
обособленное бизнес-подразделение.

01:00:47.571 --> 01:00:53.812
Исследования компании Нуклеус Resotu в
2014 году показали, что за каждый

01:00:53.892 --> 01:00:59.132
вложенный доллар в решения и процессы по
аналитике и работе с данными компания

01:00:59.332 --> 01:01:00.092
получила в среднем

01:01:01.108 --> 01:01:02.587
13,01.

01:01:02.747 --> 01:01:05.864
Это ещё раз подтверждает важность
внедрения и правильной организации

01:01:06.024 --> 01:01:07.583
применения Big Dat.

01:01:08.422 --> 01:01:13.019
Вместе с тем, в работе с большими данными
есть и свои сложности.

01:01:13.538 --> 01:01:17.735
Следующий моменты использования Big Data.

01:01:18.530 --> 01:01:22.247
Самая большая проблема больших данных —
это затраты на их обработку.

01:01:22.367 --> 01:01:27.163
Сюда входят расходы и на дорогостоящее
оборудование.

01:01:28.002 --> 01:01:32.439
Его приходится регулярно обновлять для
поддержания минимальной работоспособности

01:01:32.599 --> 01:01:33.878
при увеличении объёма данных.

01:01:34.475 --> 01:01:38.515
...и на заработную плату квалифицированным
специалистам, соответственно,

01:01:38.595 --> 01:01:40.555
обслуживающим огромные массивы данных.

01:01:40.715 --> 01:01:44.315
Вторая проблема связана с
профессионализмом самого аналитика,

01:01:44.395 --> 01:01:47.876
поскольку ему необходимо обрабатывать
большое количество информации.

01:01:48.436 --> 01:01:53.036
Если, например, исследование выдаёт не
два-три, а большие, большее количество

01:01:53.156 --> 01:01:55.596
результатов, очень сложно остаться
объективным.

01:01:56.397 --> 01:02:00.714
Выделить из общего потока данных только
те, которые окажут реальное влияние на

01:02:00.834 --> 01:02:03.912
состояние какого-либо явления или
процесса.

01:02:04.512 --> 01:02:07.270
Следующая проблема — это потеря
информации.

01:02:07.790 --> 01:02:11.547
Меры предосторожности требуют не
ограничиваться простым однократным

01:02:13.063 --> 01:02:17.859
На резервированием данных, а делать хотя
бы две-три резервных копии хранилища с

01:02:17.899 --> 01:02:21.695
увеличением объёма растут и сложности в
резервировании.

01:02:21.775 --> 01:02:25.971
То есть и IT-специалистам требуется найти
оптимальное решение данной проблемы.

01:02:26.524 --> 01:02:30.328
Не менее важной проблемой является
проблема конфиденциальности Big Date.

01:02:30.408 --> 01:02:35.334
При переходе большинства сервисов на
обслуживание клиентов онлайн очень легко

01:02:35.414 --> 01:02:38.537
стать мишенью для киберпреступников.

01:02:39.098 --> 01:02:41.941
Даже простое хранение личной информации
без

01:02:42.932 --> 01:02:46.771
Совершение каких-либо интернет-транзакций
может быть чревато нежелательными для

01:02:46.890 --> 01:02:49.209
клиентов облачных хранилищ последствиями.

01:02:49.529 --> 01:02:52.728
Общая проблема производительности,
обеспечением надёжности, оптимизации

01:02:52.928 --> 01:02:56.446
хранения, вызванных новым форматом работы
с данными, требует постоянного

01:02:56.566 --> 01:02:58.765
совершенствования технологии BatbikDate.

01:03:01.225 --> 01:03:05.301
Так. Ну и вот наконец технологии
разработки больш- технологии работы с

01:03:05.341 --> 01:03:09.417
большими данными. Становление технологии
работы с большими данными.

01:03:09.497 --> 01:03:14.013
Ещё в конце девяностых годов XX века
многие организации столкнулись с тем, что

01:03:14.172 --> 01:03:16.450
существующих IT-решениях уже не хватало.

01:03:16.800 --> 01:03:20.996
Чтобы справиться с увеличившимися потоками
данных, которые выходили далеко за пределы

01:03:21.116 --> 01:03:25.951
оперативной памяти. Потребовалось новые
технологии хранения и анализа информации.

01:03:26.151 --> 01:03:29.387
Вот, пожалуйста. Рисунок пятый.

01:03:30.666 --> 01:03:32.864
Соответственно, видите скорость, объём.

01:03:33.781 --> 01:03:37.460
Объём данных превышает границы
вертикального масштабирования.

01:03:39.059 --> 01:03:44.658
Многообразие форматов делает интеграцию
дорогой, время принятия решения невелико

01:03:45.378 --> 01:03:48.896
по сравнению со скоростью изменяемения
данных.

01:03:49.456 --> 01:03:50.376
Многовариативность

01:03:52.552 --> 01:03:54.951
Интерпретации данных затрудняет анализ.

01:03:55.111 --> 01:03:57.270
Ну, соответственно, вот что показано.

01:03:57.430 --> 01:04:04.307
Традиционные, соответственно, bI-решения
перестают работать при

01:04:04.507 --> 01:04:09.185
высоких значениях объёма и скорости
поступления данных.

01:04:09.731 --> 01:04:14.856
То есть вот традиционное BI — большое
разнообразие данных влияет BI, то есть

01:04:16.817 --> 01:04:20.781
Это бизнес-аналитика, автоматизированная
система управления, системы поддержки,

01:04:20.821 --> 01:04:25.665
принятия решений. По мере того, как растёт
преобразование данных, инструменты Big

01:04:25.745 --> 01:04:27.026
Date становятся всё более

01:04:28.272 --> 01:04:34.547
привлекательными Так, ну, в общем, вот
видите такая картина и

01:04:34.987 --> 01:04:40.942
такие-то вот моменты наблюдаются То есть
вот это вот со всех сторон повышение

01:04:41.062 --> 01:04:43.540
объёма давит на всё это

01:04:44.500 --> 01:04:45.738
Возникает новая проблема.

01:04:45.818 --> 01:04:51.013
При работе с большим объёмом данных, когда
заканчиваются ресурсы, есть два возможных

01:04:51.133 --> 01:04:54.209
решения: вертикальное или горизонтальное
масштабирование.

01:04:54.529 --> 01:04:58.365
При использовании вертикального
масштабирования добавляется большое

01:04:58.445 --> 01:05:03.280
вычислительное вычислительной мощности в
машину.

01:05:04.564 --> 01:05:07.566
Так, итак, горизонтальное и вертикальное
масштабирование.

01:05:07.646 --> 01:05:11.770
Вертикальное масштабирование проще в
управлении контролем, чем горизонтальное.

01:05:11.810 --> 01:05:17.094
И доказано, что оно эффективно при работе
с проблемами сравнительно небольшого

01:05:17.214 --> 01:05:20.256
размера. Однако горизонтальное
масштабирование обычно дешевле.

01:05:20.600 --> 01:05:24.043
...и быстрее вертикального масштабирования
при работе с большой задачей.

01:05:24.163 --> 01:05:28.527
Ко времени появления больших объёмов
информации вертикальное масштабирование

01:05:28.607 --> 01:05:30.369
больше не обеспечивало нужды бизнеса.

01:05:30.449 --> 01:05:33.972
Компаниям требовалась отказоустойчивая и
хорошо горизонтально масштабируемые

01:05:34.052 --> 01:05:38.977
технологии. Алгоритм Map Redus, созданная
в своё время корпорацией Google.

01:05:39.489 --> 01:05:43.732
И основанный на горизонтальном
масштабировании стал ответом на запрос

01:05:43.812 --> 01:05:48.095
бизнеса. Мэп-редьюс представляет собой
технологию разбиения процесса обработки на

01:05:48.175 --> 01:05:50.417
две простые функции: mep и reduse.

01:05:50.897 --> 01:05:55.420
Единую задачу разбивают на бесконечно
большое количество малых подзадач, которые

01:05:55.701 --> 01:05:58.983
будут выполняться параллельно друг с
другом, а потом полученный результат

01:05:59.103 --> 01:05:59.783
просто складывают.

01:06:00.370 --> 01:06:04.529
Таким образом, map redues, выходные данные
делятся на множество частей, каждая из

01:06:04.609 --> 01:06:08.569
которых затем отправляется на другой
компьютер для обработки и последующего

01:06:09.009 --> 01:06:12.048
агрегирования в соответствии с заданной
функцией группировки.

01:06:12.128 --> 01:06:15.528
То есть, соответственно, group by.

01:06:16.418 --> 01:06:21.012
Каждую часть одной большой задачи можно
отдать на обработку одному из узлов

01:06:21.212 --> 01:06:26.885
единого кластера. Кластер — это группа
серверов, именуемых нодами, которые,

01:06:26.965 --> 01:06:31.439
работают вместе, выполняют общие задачи и
клиенты видят их

01:06:32.690 --> 01:06:35.649
...как одну систему. Серверов в кластере
может быть много.

01:06:35.849 --> 01:06:41.649
Например, хэд-дуп кластер Яху имеет более
42

01:06:42.009 --> 01:06:46.168
000. Так, снизу слайда ссылочки.

01:06:47.768 --> 01:06:49.968
Благодаря специальному оборудованию...

01:06:51.033 --> 01:06:55.749
...и программному обеспечению реализуется
такой уровень защиты от сбоев, который

01:06:55.989 --> 01:06:57.987
невозможен при использовании одного
сервера.

01:06:58.067 --> 01:07:03.182
В случае выхода из строя одного из
серверов задачи, которые не выполнял он

01:07:03.342 --> 01:07:05.220
выполнял, берёт на себя другой сервер.

01:07:05.300 --> 01:07:07.019
Работоспособность системы
восстанавливается.

01:07:07.099 --> 01:07:08.098
При этом пользователи...

01:07:09.294 --> 01:07:14.217
Замечают лишь временную временную потерю
работоспособности, а иногда и вовсе ничего

01:07:14.417 --> 01:07:16.498
не замечают, кроме небольшой паузы.

01:07:17.019 --> 01:07:21.262
При увеличении объёмов информации кластер
нужно расширить до заданных задачей

01:07:21.342 --> 01:07:25.425
размеров. Итак, алгоритм MAPS представляет
собой модель для рас

01:07:26.976 --> 01:07:28.376
Для распределённых вычислений.

01:07:28.416 --> 01:07:32.938
А кластер компьютеров используется для
распараллеливания больших данных, что

01:07:33.018 --> 01:07:34.259
упрощает их обработку.

01:07:34.379 --> 01:07:38.540
Происходит распределение входных данных на
рабочие узлы.

01:07:38.660 --> 01:07:41.422
То есть индивидуал нодес.

01:07:42.335 --> 01:07:47.613
Распределённых файловой системой для
предварительной обработки, а затем

01:07:47.693 --> 01:07:51.013
свёртка, то есть объединение уже
предварительно обработанных данных.

01:07:51.613 --> 01:07:56.292
Для получения итоговой суммы алгоритм
будет параллельно вычислить промежуточные

01:07:56.412 --> 01:08:00.371
суммы в каждом из узлов распределённой
файловой системы, а затем суммировать эти

01:08:00.491 --> 01:08:01.530
промежуточные значения.

01:08:02.195 --> 01:08:06.235
В алгоритме map Redus обработка данных
происходит в три стадии.

01:08:06.355 --> 01:08:07.635
Вот будет рисунок.

01:08:08.835 --> 01:08:13.595
Стадия мап. Работа в этой стадии
заключается в преобразовании и фильтрации

01:08:13.955 --> 01:08:16.275
данных в функциональных языках
программирования.

01:08:16.395 --> 01:08:19.355
Функция мап, применённая к одной из

01:08:20.325 --> 01:08:23.642
Входной записи выдаёт множество пар
ключ-значений.

01:08:23.962 --> 01:08:27.718
Можешь выдать только одну запись, может не
выдать ничего, а может выдать несколько

01:08:28.038 --> 01:08:29.357
пар ключ-значений.

01:08:29.557 --> 01:08:33.114
Что будет находиться в ключе и в значении
решать пользователю.

01:08:33.154 --> 01:08:37.989
Но ключ — это очень важная вещь, так как
данные с одним ключом в будущем попадут в

01:08:38.069 --> 01:08:39.668
один экземпляр функции.

01:08:42.410 --> 01:08:45.812
Стадия Sufel проходит незаметно для
пользователя.

01:08:45.892 --> 01:08:49.815
В этой стадии вывод функции мап
разбирается по корзинам.

01:08:49.935 --> 01:08:54.458
То есть каждая корзина в кавычках
соответствует одному ключу вывода стадии

01:08:54.778 --> 01:09:00.542
мап. В дальнейшем эти корзины послужат
входом для редьюз, соответственно.

01:09:01.995 --> 01:09:05.957
Функция reduлe задаётся пользователем и
вычисляет финальный результат для

01:09:06.077 --> 01:09:09.838
отдельной корзины. Множество всех
значений, возвращённых к функции reduls,

01:09:09.878 --> 01:09:13.079
является финальным результатом редюс
задачи.

01:09:13.840 --> 01:09:17.681
Соответственно, рисунок шесть.

01:09:18.584 --> 01:09:20.665
Вот, смотрите, how map-redus wor.

01:09:20.785 --> 01:09:26.350
Так, ну вот map redus, соответственно,
фазы map шуфл и редьюс.

01:09:27.875 --> 01:09:29.797
Особенности алгоритма Mass Predues.

01:09:29.877 --> 01:09:34.321
Все запуски функции Map Redues работают
независимо и могут работать параллельно, в

01:09:34.361 --> 01:09:36.082
том числе на разных машинах кластера.

01:09:36.202 --> 01:09:39.885
Шуфел внутри себя представляет
параллельную сортировку, поэтому также

01:09:39.965 --> 01:09:42.247
может работать на разных машинах кластера.

01:09:42.647 --> 01:09:46.250
Пункт 1—2 обеспечивает принцип
горизонтальной масштабируемости.

01:09:47.102 --> 01:09:49.020
Так, снизу слайда ссылочка.

01:09:50.418 --> 01:09:54.534
Функция map, как правило, применяется на
той же машине, где хранятся данные.

01:09:54.653 --> 01:09:58.529
Это позволяет снизить передачу данных по
сети, принцип локальности данных.

01:09:58.609 --> 01:10:02.724
MAPUS — это всегда полное сканирование
данных, что означает, что алгоритм плохо

01:10:02.804 --> 01:10:03.284
применим.

01:10:03.910 --> 01:10:06.108
Когда ответ требует очень быстро.

01:10:06.508 --> 01:10:08.466
Обратимся к примеру работы алгоритма.

01:10:08.586 --> 01:10:14.662
Предположим, стоит задача получить все
упоминания Ивана Ивановича Иванова, Петра

01:10:14.782 --> 01:10:18.859
Петрова, Сидора Сидорова на всех страницах
в Интернете.

01:10:18.899 --> 01:10:19.379
Потребуется

01:10:20.255 --> 01:10:22.776
Проанализировать огромнейший объём
информации.

01:10:22.936 --> 01:10:25.336
Для одного узла такая задача просто
непосильна.

01:10:25.456 --> 01:10:30.057
Используя алгоритм мап-дюс, можно
разделить все страницы на части и

01:10:30.137 --> 01:10:32.737
распределить их анализ на разные ноды
кластера.

01:10:32.817 --> 01:10:36.618
Сначала данные со страниц будут отданы в
функцию MAP.

01:10:37.345 --> 01:10:40.462
который при наличии совпадения выдаст пару
ключ-значений.

01:10:40.502 --> 01:10:44.578
Это будут Иван-Иванов-1, Пётр Петров-1,
Сидор Сидоров-1.

01:10:44.698 --> 01:10:49.413
Таким образом. При каждом нахождении
упоминания нужных людей функция MAB будет

01:10:49.733 --> 01:10:53.489
выдавать ключ, имя и фамилию, значение
которых свидетельствует об обучении

01:10:53.995 --> 01:10:55.476
Обнаружение упоминания.

01:10:55.997 --> 01:11:01.643
В итоге получается следующая картина:
Сидор Сидоров-1, Иван Иванов-1, Пётр

01:11:01.724 --> 01:11:04.807
Петров-1, Сидор Сидоров один, Иван
Иванов-один.

01:11:05.207 --> 01:11:06.689
Затем информация будет скомпона

01:11:09.891 --> 01:11:14.491
Скумулирована путём передачи его функции
Redus, который также выдаст на выходе пару

01:11:14.571 --> 01:11:16.811
ключ-значений, но уже, соответственно, в
обработанном виде.

01:11:16.851 --> 01:11:21.091
Видите, Сидор Сидоров уже будет два, Иван
Иванов будет два, а Пётр Петров только

01:11:21.331 --> 01:11:25.650
один. Соответственно, рисунок съе...

01:11:26.547 --> 01:11:27.867
Поставляемая задачу.

01:11:28.427 --> 01:11:33.349
Поставленная задачу выполнена, нужны
данные получены.

01:11:33.429 --> 01:11:36.431
Схематически работы алгоритма представлена
на рисунке.

01:11:36.551 --> 01:11:42.953
То есть пут, сплит, маб, комбайн и reduse.

01:11:44.615 --> 01:11:51.372
Соответственно. Предложенный алгоритм

01:11:52.092 --> 01:11:57.490
стал отправной точкой для создания систем,
работающих с большими данными.

01:11:58.250 --> 01:12:02.168
То есть социальные сети, интернет-вещей,
банковский сектор,

01:12:02.208 --> 01:12:04.047
научно-исследовательская сфера и другие.

01:12:04.414 --> 01:12:08.251
помог компании Google повысить
эффективность своего поискового ресурса.

01:12:08.571 --> 01:12:12.968
Классический алгоритм APRUS имеет одну
особенность: вся цепочка результатов

01:12:13.168 --> 01:12:17.645
работы алгоритма сохраняется в дисковую
подсистему, а в ней операций чтения и

01:12:17.685 --> 01:12:20.403
записи очень много, что влияет на время
работы алгоритма.

01:12:20.483 --> 01:12:24.160
Заложив основы работы с большими данными,
алгоритм мап-Юс инициировал

01:12:25.086 --> 01:12:28.885
Появление новых, более совершенных
инструментов управления ими.

01:12:29.365 --> 01:12:32.604
Соответственно, современные технологии
управления большими данными.

01:12:33.043 --> 01:12:37.482
Проблемы использования алгоритмов MAPRedus
попытались решить с помощью создания новых

01:12:37.722 --> 01:12:42.600
инструментов, позволяющих большую часть
вычислений оперативную память.

01:12:43.632 --> 01:12:50.551
Так. Соответственно, схематичная работа
алгоритма, представлен на рисунке семьный

01:12:50.591 --> 01:12:54.630
алгоритм определю стал отправной точкой
для создания систем, работающих с большими

01:12:54.670 --> 01:12:57.990
данными: социальные сети, интернет вещей,
банковский сектор,

01:12:58.070 --> 01:12:59.870
научно-исследовательская сфера и другие.

01:13:00.832 --> 01:13:04.632
...и помог компании Google повысить
эффективность своего поискового ресурса.

01:13:05.392 --> 01:13:09.592
Классический алгоритм Ap Reduse имеет одну
особенность: вся цепочка результатов

01:13:09.752 --> 01:13:14.112
работы алгоритма сохраняется в дисковой
подсистеме, а в ней операций чтения и

01:13:14.152 --> 01:13:16.992
записи очень много, что влияет на время
работы алгоритма.

01:13:17.814 --> 01:13:21.733
Заложив основы работы с большими данными,
алгоритм Apredues инициировал появление

01:13:21.933 --> 01:13:26.532
новых, соответственно, более совершенных
инструментов управления ими.

01:13:27.611 --> 01:13:29.891
Современные технологии управления большими
данными.

01:13:29.971 --> 01:13:34.770
Проблему использования алгоритма Map-Redus
попытались решить с помощью создания новых

01:13:35.009 --> 01:13:38.608
инструментов, переводящих большую часть
вычислений в оперативную память.

01:13:40.247 --> 01:13:42.250
Соответственно, история больших данных.

01:13:42.890 --> 01:13:49.818
Часть вторая. Так появились инструменты
Hedup, Spark, пик,

01:13:49.899 --> 01:13:56.226
Хайф, Кассандра и Кафка, каждый из которых
имеет свои преимущества и недостатки.

01:13:56.542 --> 01:13:58.421
То есть вот такой красивый рисунок сделан.

01:13:58.501 --> 01:14:01.060
Инструменты управления большими данными.

01:14:03.059 --> 01:14:07.616
Значит, hedoop Data Storige and processing
platform.

01:14:14.014 --> 01:14:15.254
Узнаёте свинью, да?

01:14:15.815 --> 01:14:18.015
Deta Anelisis платформ.

01:14:21.016 --> 01:14:24.737
Ну и так далее. Остановимся на некоторых
из них.

01:14:24.977 --> 01:14:26.697
Например, Хэдуп и Спарк.

01:14:27.097 --> 01:14:29.858
Их появление относится к началу
двухтысячных годов.

01:14:30.630 --> 01:14:34.946
После публикации в 2003 году
исследователями компании Google больших

01:14:35.866 --> 01:14:41.022
общих принципов построения Google-F-систем
GFS, файловой системы, в которой данные

01:14:41.102 --> 01:14:45.139
разбиваются на отдельные блоки, хранящиеся
в нескольких копиях на разных компьютерах,

01:14:45.339 --> 01:14:49.656
и представление методом MAPReduse для
выполнения распределённых вычислений над

01:14:49.736 --> 01:14:51.614
данными GFS, группа инженеров

01:14:52.191 --> 01:14:57.666
Исследователи из компании Яхо приступила к
их практической реализации в рамках

01:14:57.746 --> 01:15:02.182
проекта с открытым исходным кодом, который
впоследствии, в 2006 году стал известен

01:15:02.262 --> 01:15:09.096
как Вариант GFS, созданный в рамках этой
программной платформы, получил

01:15:09.176 --> 01:15:09.495
название

01:15:15.070 --> 01:15:19.587
Хотя платформа Hedup позволила многим
компаниям успешно применять алгоритмы

01:15:19.667 --> 01:15:23.626
Apredus для распределённых вычислений над
огромными объёмами данных, каждый раз при

01:15:23.786 --> 01:15:27.104
возникновении новой задачи требовалось
написание нового кода.

01:15:27.768 --> 01:15:29.606
для операции MAP Redus.

01:15:29.806 --> 01:15:34.440
Что было неудобно и трудоёмко для решения
этой проблемы в 2008 году инженеры из

01:15:34.560 --> 01:15:38.995
Facebook создали HAPE-систему управления
базами на основе HADUP.

01:15:39.115 --> 01:15:43.709
Главной особенностью Have стала поддержка
SQL.

01:15:44.633 --> 01:15:48.678
подобных запросов к данным, относящимся,
соответственно, в HDFS.

01:15:48.798 --> 01:15:55.405
Этот новый диалект SQL получил название
Havequery Langage HQL.

01:15:55.525 --> 01:15:59.570
В 2009 году в Калифорнийском университете
в Беркле был запущен исследовательский

01:15:59.650 --> 01:16:00.331
проект «Спарк».

01:16:00.945 --> 01:16:03.908
С целью повышения эффективности
распределённых вычислений методом

01:16:03.988 --> 01:16:07.152
Apredues, создания универсальной платформы
для таких вычислений.

01:16:07.192 --> 01:16:11.237
В 2010 году Спарк был опубликован как
проект с открытым кодом.

01:16:11.437 --> 01:16:16.683
В 2013 передан фонду, соответственно,
Foundation.

01:16:17.269 --> 01:16:22.859
Основная проблема остановимся подробнее на
этих инструментах.

01:16:23.019 --> 01:16:24.057
Платформа HDU.

01:16:25.302 --> 01:16:29.064
Набор программ с открытым исходным кодом,
написанный в начало, который можно

01:16:29.264 --> 01:16:31.865
использовать для выполнения операций с
большим объёмом данных.

01:16:32.065 --> 01:16:35.267
ДУП — это масштабируемая распределённая
отказоустойчивая система.

01:16:35.387 --> 01:16:40.109
Платформу разработали Dook Esting и Mike
Cacarell в 2006 году.

01:16:40.189 --> 01:16:44.071
Их проект был назван в честь игрушечного
слонёнка сына Декеттинга.

01:16:45.946 --> 01:16:49.785
Через два года Хэдуп управлял
распределённой поисковой системой,

01:16:50.224 --> 01:16:53.263
развернувшейся в 10 000 процессорных
ядрах.

01:16:53.383 --> 01:16:57.862
Основной HedUp — распределённая файловая
система HFS и алгоритм распределённых

01:16:57.942 --> 01:16:59.461
вычислений Hedup Predues.

01:16:59.990 --> 01:17:03.670
Платформа включает несколько десятков
проектов, которые работают самостоятельно

01:17:03.950 --> 01:17:08.870
или в комплекте в комплексе с другими для
создания систем, решающих конкретные

01:17:09.030 --> 01:17:12.390
задачи. В состав HDW входят инструменты,
позволяющие

01:17:13.480 --> 01:17:19.553
Все аспекты работы и большие данные
файловой системы: HDFS, MAPRF, фреймворки

01:17:19.673 --> 01:17:24.828
для выполнения распределённых вычислений:
map redus Spark, No Scoel basi, escol

01:17:25.028 --> 01:17:30.183
движки, HBAC Hafe Spark, эскроэл —
инструменты для захвата данных из внешних

01:17:30.222 --> 01:17:30.782
источников.

01:17:31.452 --> 01:17:36.527
Интеграция ориационными системами
управления базы данных с УБД Flome Кавка

01:17:37.206 --> 01:17:43.881
SQUP инструменты для построения потоков
обработки и загрузки

01:17:43.961 --> 01:17:47.757
данных, в том числе непрерывно поступающих
Spark Streaming Stlom.

01:17:48.343 --> 01:17:53.581
Storm Flink Ni-Fi и другие,
соответственно,

01:17:53.661 --> 01:18:00.578
снизу, как видите, показан список
литературы.

01:18:00.978 --> 01:18:05.016
Основные компоненты Hedup, Hedup Pup
Reduse — использованы для загрузки данных

01:18:05.136 --> 01:18:06.535
из базы данных и формирования

01:18:07.030 --> 01:18:08.748
Проведение количественного анализа.

01:18:09.067 --> 01:18:15.977
Hedupjarnet ресурсы системы управления
ими, разделяя рабочую

01:18:16.056 --> 01:18:17.454
нагрузку на кластеры машин.

01:18:17.534 --> 01:18:19.531
Распределённая файловая система Hedup

01:18:21.750 --> 01:18:26.392
HDF — кластерная система хранения файлов
любого типа в любом возможном формате,

01:18:26.432 --> 01:18:29.473
разработанная для обеспечения
отказоустойчивости, высокой пропускной

01:18:29.593 --> 01:18:33.194
способности данных. Система HDUP
применяется разными

01:18:33.274 --> 01:18:37.676
компаниями-организациями, например, Яху
при поиске данных Фейсбук, при обработке

01:18:37.796 --> 01:18:39.277
журналов, хранилищ данных.

01:18:39.914 --> 01:18:43.557
New York Times при анализе
видеоизображения и других преимуществам

01:18:43.597 --> 01:18:47.800
платформы HDUP относятся сокращение
времени на обработку данных, снижение

01:18:48.041 --> 01:18:51.644
стоимости оборудования, повышение
отказоустойчивости, линейную

01:18:51.764 --> 01:18:55.527
масштабируемость, работу с
неструктурированными данными.

01:18:56.822 --> 01:18:59.943
Так. Ну и немножко, несколько слов о
следующей платформе.

01:19:00.023 --> 01:19:05.465
Платформа Apach Spark отличается открытой
скоростью работы, которая примерно в 100

01:19:05.545 --> 01:19:07.105
раз выше, чем у Mapredue.

01:19:07.305 --> 01:19:11.866
Промежуточные результаты не сохраняются и
всё выполняется в памяти.

01:19:11.987 --> 01:19:14.387
Её обычно используют для чтения хранимых
данных.

01:19:14.900 --> 01:19:17.618
...и данных в реальном времени,
предварительной обработки большого

01:19:17.698 --> 01:19:23.094
количества данных SQL, анализа данных с
помощью машинного обучения игров сетей.

01:19:24.213 --> 01:19:29.969
Можно использовать в таких с такими языках
программирования, как Python, Scala.

01:19:31.180 --> 01:19:36.464
Для запуска Spark обычно используются
облачные приложения, такие как Amazon Web

01:19:36.584 --> 01:19:41.388
Service, Microsoft, Azyoa и Data Bricks.

01:19:42.029 --> 01:19:46.072
При использовании Spark большие данные
распараллеливаются с использованием

01:19:46.272 --> 01:19:48.634
эластичных распределённых наборов данных.

01:19:50.328 --> 01:19:52.647
Так, снизу ссылки.

01:19:53.047 --> 01:19:56.605
Они являются отказоустойчивыми и могут
восстанавливать потерянные данные в случае

01:19:56.845 --> 01:19:58.364
сбоя любого из узлов.

01:19:58.484 --> 01:20:02.762
RDS можно использовать для выполнения двух
типов операций: спарк изображение

01:20:03.042 --> 01:20:07.280
действия. Преобразование создаёт новые
наборы данных из РДС.

01:20:08.085 --> 01:20:14.887
То есть ресилент дистрибьютор, дата-сет и
возвращают в их результате РДС, например,

01:20:14.967 --> 01:20:17.648
отображают, фильтруют, сокращают по
ключевым операциям.

01:20:17.728 --> 01:20:21.609
Все преобразования выполняются только один
раз, когда вызывается действие.

01:20:21.729 --> 01:20:25.650
Они помещаются в карту выполнения, затем
выполняются, когда вызывается действие.

01:20:26.675 --> 01:20:30.235
Оба платформы позволяют успешно работать с
большими данными.

01:20:30.275 --> 01:20:33.874
ХэдУб была первой системой, которая
сделала Meduse доступной в большом

01:20:34.234 --> 01:20:40.352
масштабе, однако в настоящее время многие
компании отдают предпочтение Apach Spark.

01:20:43.432 --> 01:20:45.991
Общие черты и различия платформы Hedub и
Spark.

01:20:46.847 --> 01:20:51.163
Эдоп и Спарк, являясь средствами больших
данных, не выполняют одни и те же задачи.

01:20:51.243 --> 01:20:55.518
Они не являются взаимоисключающими,
поскольку могут работать вместе.

01:20:55.718 --> 01:21:00.113
Распределённое хранилище является
основополагающим для многих современных

01:21:00.273 --> 01:21:03.510
проектов больших данных, поскольку
позволяет хранить

01:21:04.319 --> 01:21:11.165
Огромные много петабайтные наборы данных и
почти в бесконечном

01:21:11.205 --> 01:21:12.806
количестве жёстких дисков компьютера.

01:21:12.846 --> 01:21:15.849
Однако Спарт не имеет своей собственной
системы для организации файлов

01:21:16.089 --> 01:21:18.251
распределённым способом файловой системой.

01:21:18.331 --> 01:21:21.293
Поэтому для неё требуется система,
представленная третьей стороной.

01:21:21.907 --> 01:21:27.184
Спарк поверх HedUP для современные
аналитические приложения Спарк могут

01:21:27.224 --> 01:21:30.222
использовать данные, хранящиеся с
использованием распределённой файловой

01:21:30.342 --> 01:21:33.699
системы Hedup, соответственно, HDFS.

01:21:33.779 --> 01:21:36.018
Преимущество Спарк над Hed-Up заключается
в скорости.

01:21:36.138 --> 01:21:39.495
Спарк выполняет большинство своих операций
в памяти.

01:21:40.223 --> 01:21:44.705
Копируя их распределённого физическом
хранилища в гораздо более быструю,

01:21:44.745 --> 01:21:46.066
логическую оперативную память.

01:21:46.146 --> 01:21:49.908
Это сокращает время записи и чтения по
сравнению с ходуп MyperDus.

01:21:50.148 --> 01:21:53.630
Функциональный спарт для решения сложных
задач обработки данных, таких как

01:21:53.750 --> 01:21:57.191
обработка потоков реального времени и
машинного обучения, намного преисходят

01:21:57.351 --> 01:21:58.992
возможности, которые предоставляются с
ходу.

01:21:59.808 --> 01:22:03.491
Наряду с приростом скорости, это является
реальной причиной роста популярности

01:22:03.691 --> 01:22:07.173
ходуп, обработка в режиме реального
времени означает, что данные могут быть

01:22:07.333 --> 01:22:10.975
переданы в аналитические приложения в тот
момент, когда они были получены и

01:22:11.095 --> 01:22:15.298
немедленно передаются пользователю через
панель мониторинга, чтобы можно было

01:22:15.498 --> 01:22:16.979
предпринять какое-либо действие.

01:22:17.099 --> 01:22:20.741
Этот вид обработки всё чаще используется
во всех видах приложений для работы с

01:22:20.781 --> 01:22:21.582
большими данными.

01:22:22.303 --> 01:22:26.023
Алгоритм создания машинного обучения
является областью аналитики, которая

01:22:26.303 --> 01:22:30.703
хорошо подходит плату в форме Spark,
благодаря её скорости и особенности

01:22:30.823 --> 01:22:32.303
обрабатывать потоковые данные.

01:22:32.423 --> 01:22:35.263
Этот вид технологии используется в
новейших передовых производственных

01:22:35.343 --> 01:22:38.623
системах, которые могут предсказать,
например, когда детали машин и станков

01:22:39.539 --> 01:22:42.820
На предприятии выйдут из строя, когда
нужно сделать заказ на их замену.

01:22:42.900 --> 01:22:47.423
Они лежат в основе работы автомобилей,
кораблей без водителя.

01:22:47.503 --> 01:22:51.545
Спарк поддерживает многие технологии
кластерных вычислений и имеет несколько

01:22:51.865 --> 01:22:55.707
библиотек настроек для решения
распределённых аналитических задач,

01:22:55.707 --> 01:22:58.628
включая Spark-SQл, эскэроподобные запросы
к данным.

01:22:59.242 --> 01:23:04.957
MLIP, алгоритмы машинного обучения, граф
X, анализ графов Spark, стриминг,

01:23:05.037 --> 01:23:06.316
обработка потоковых данных.

01:23:06.356 --> 01:23:10.113
Основные отличия КДУП и Spark представлены
в следующей таблице.

01:23:10.233 --> 01:23:14.749
Так, ну давайте, таблицу можно,
соответственно, почитать в заключении

01:23:14.908 --> 01:23:16.347
лекции, функционал.

01:23:17.389 --> 01:23:23.192
Использование скорость работы, устойчивый
к сбоям

01:23:24.752 --> 01:23:26.993
и, соответственно, ссылочка.

01:23:27.994 --> 01:23:31.075
Так, на этом мы нашу лекцию сегодняшнюю
закончим.

01:23:31.195 --> 01:23:32.355
Спасибо за внимание.