WEBVTT

00:00:07.738 --> 00:00:12.696
Уважаемые студенты, продолжаем нашу лекцию
номер четыре по дисциплине использование

00:00:12.815 --> 00:00:15.174
больших данных в информационных системах.

00:00:15.414 --> 00:00:19.971
Тема лекции — методы и методики обработки
информационных технологий больших данных.

00:00:20.611 --> 00:00:25.928
Рассматриваем вопрос: языки
программирования и машинное обучение.

00:00:28.022 --> 00:00:29.421
Язык Си.

00:00:30.181 --> 00:00:31.860
Си+.

00:00:34.138 --> 00:00:39.415
Язык Си++ — язык, традиционно выбираемый
специалистами для использования средств

00:00:39.495 --> 00:00:43.932
машинного обучения и искусственного
интеллекта в игровых и роботизированных

00:00:44.052 --> 00:00:44.892
приложениях, включая

00:00:46.010 --> 00:00:49.210
Локомоцию роботов. Разработчики
встроенного вычислительного оборудования и

00:00:49.250 --> 00:00:50.810
инженеры системотехники.

00:00:50.850 --> 00:00:54.450
С большой вероятностью отдадут
предпочтение именно C++ или Си в

00:00:54.530 --> 00:00:58.810
приложениях машинного обучения по причине
факта владения этим языком и уровня

00:00:58.930 --> 00:01:02.250
контроля над ним. Некоторые библиотеки
машинного обучения, которые вы можете

00:01:02.330 --> 00:01:03.650
использовать на C++.

00:01:04.371 --> 00:01:09.655
Включает расширяемые библиотеки типа MLPAC
DIP,

00:01:10.776 --> 00:01:14.859
предлагающий широкий спектр алгоритмов
машинного обучения, а также модульный и

00:01:14.899 --> 00:01:17.741
открытый исходный код Sharks.

00:01:18.902 --> 00:01:20.143
Так, ещё очень удобный

00:01:21.111 --> 00:01:22.990
Инструмент Roppetmin.

00:01:23.510 --> 00:01:28.147
Его, в принципе, нельзя назвать языком
программирования.

00:01:28.227 --> 00:01:32.905
Это скорее такая система для
исследовательских работ.

00:01:36.444 --> 00:01:39.803
Система Robit Miner позволяет использовать
методы машинного обучения без

00:01:39.963 --> 00:01:42.402
программирования — человеческие
предубеждения.

00:01:42.642 --> 00:01:47.720
Хотя данные вычислительный анализ могут
зависеть, заставить нас думать, что мы

00:01:47.880 --> 00:01:50.039
получаем объективную информацию.

00:01:50.319 --> 00:01:54.877
Это не всегда так — быть основанным на
данных — не значит быть абсолютно

00:01:54.957 --> 00:01:55.557
объективным.

00:01:56.285 --> 00:02:00.647
Ну, ещё несколько слов о системе RopitMor
— это очень удобная система.

00:02:01.087 --> 00:02:06.730
Соответственно, здесь вот есть блоки,
соответствующие источникам данных, можно

00:02:06.970 --> 00:02:11.532
наладить экспорт, импорт, соответственно,
из Excel, а из базы данных и специального

00:02:11.613 --> 00:02:12.213
формата.

00:02:13.035 --> 00:02:14.717
Соответственно, хранение данных.

00:02:15.358 --> 00:02:16.759
Вот RapedMider.

00:02:16.879 --> 00:02:21.804
Есть, соответственно, очень мощные блоки
моделирования, включая практически все

00:02:22.525 --> 00:02:27.330
модели классификации, регрессии и,
соответственно, оценки.

00:02:28.051 --> 00:02:31.174
То есть вот пользователь составляет такие
картинки.

00:02:32.104 --> 00:02:36.062
Соответственно, вызывая выход одного
блока, подаётся на вход другого блока, и,

00:02:36.142 --> 00:02:39.020
соответственно, такие вычислительные
структуры формируются.

00:02:39.540 --> 00:02:42.458
Очень удобно и, прежде всего, довольно
мощный инструмент.

00:02:42.698 --> 00:02:46.216
О нём мы ещё потом, возможно, поговорим.

00:02:47.335 --> 00:02:50.293
Так, ну а мы говорим про человеческие
предубеждения.

00:02:51.049 --> 00:02:55.375
Значит, человеческие предубеждения играют
определённую роль в том, как данные

00:02:55.536 --> 00:02:59.502
собираются, организуются, и в конечном
счёте в алгоритмах, которые определяет,

00:02:59.542 --> 00:03:02.146
как машинное обучение, будет
взаимодействовать с этими данными.

00:03:02.958 --> 00:03:06.840
Если, например, люди предоставляют
изображение рыб в качестве данных для

00:03:06.961 --> 00:03:11.684
обучения алгоритма и эти люди подавляющим
большинством выбирают изображение золотых

00:03:11.724 --> 00:03:15.166
рыбок, компьютер может не классифицировать
акулу как рыбу.

00:03:15.446 --> 00:03:19.048
Это создало бы предвзятое отношение к
акулам как к рыбам.

00:03:19.753 --> 00:03:21.635
Как акулы не считались бы рыбами.

00:03:21.715 --> 00:03:25.038
Соответственно, при использовании
фотографий актёров в качестве обучающих

00:03:25.118 --> 00:03:29.001
данных компьютер может неправильно
классифицировать актёров, которые также

00:03:29.081 --> 00:03:31.764
являются цветными людьми или женщинами.

00:03:31.844 --> 00:03:35.807
Экспертные исследования показали, что
программы искусственного интеллекта,

00:03:35.847 --> 00:03:37.569
машинного обучения демонстрируют человека

00:03:38.598 --> 00:03:43.843
Подобные предубеждения, которые исключают
также разовые гендерные предрассудки.

00:03:43.883 --> 00:03:50.208
Поскольку машинное обучение всё чаще
используется в бизнесе, невыявленные

00:03:50.288 --> 00:03:54.972
предубеждения могут углубить углубить
системные проблемы, которые могут помешать

00:03:55.093 --> 00:03:58.215
людям, например, претендовать на получение
кредитов.

00:03:58.747 --> 00:04:04.113
показывать объявления о высокооплачиваемых
вакансиях или получить варианты доставки в

00:04:04.153 --> 00:04:10.762
тот же день Поскольку человеческие
предубеждения могут негативно влиять на

00:04:10.962 --> 00:04:13.205
других, крайне важно осознавать их

00:04:14.772 --> 00:04:17.812
И работать над их устранением в
максимально возможной степени.

00:04:17.892 --> 00:04:21.532
Одним из способов достижения этой цели
является обеспечение того, чтобы над

00:04:21.612 --> 00:04:25.453
проектами работали разные люди, чтобы
разные люди тестировали, анализировали

00:04:25.533 --> 00:04:28.813
его; другие обеспечивали управление,
третьи контролировали и проверяли

00:04:28.893 --> 00:04:32.933
алгоритмы, создавали альтернативные
системы, способные обсуждать предубеждения

00:04:33.053 --> 00:04:34.013
и проверять это.

00:04:34.903 --> 00:04:38.705
Этические обзоры в рамках планирования
проектов в области науки о данных.

00:04:39.985 --> 00:04:44.027
Повышение знания о предубеждениях,
созданных нашим собственным собственных

00:04:44.227 --> 00:04:47.108
бессознательных предубеждений и
объективность в проектах машинного

00:04:47.188 --> 00:04:49.789
обучения, могут помочь бороться с
предубеждениями.

00:04:49.909 --> 00:04:50.429
Таким образом

00:04:51.532 --> 00:04:56.129
Мы перечислили некоторые важные моменты,
которые следует иметь в виду с точки

00:04:56.248 --> 00:04:59.806
зрения бессознательных предубеждений,
расширяемых в машинных методах.

00:05:00.126 --> 00:05:04.443
Поскольку машинное обучение — это область,
которая постоянно совершенствуется, важно

00:05:04.483 --> 00:05:06.642
иметь в виду, что алгоритмы, методы и
подходы

00:05:07.422 --> 00:05:10.221
Соответственно, в нём буду постоянно
эволюционировать.

00:05:11.781 --> 00:05:15.860
Значит, в данном курсе производится
задание, мы будем рассматривать в качестве

00:05:15.940 --> 00:05:19.099
инструмента исследования работы на Repping
Mader в том числе.

00:05:20.339 --> 00:05:23.618
Так, ну прежде чем переходить
непосредственно к анализу

00:05:24.341 --> 00:05:28.381
Мы рассмотрим такой важный вопрос, как
предварительная обработка и подготовка

00:05:28.541 --> 00:05:35.221
данных. Предварительная обработка и

00:05:35.301 --> 00:05:40.300
подготовка данных. Как видите, согласно
картинке, то есть пре-процессинг включает

00:05:40.380 --> 00:05:44.460
в себя сначала сырые данные, извлекаются
из какого-то хранилища данных.

00:05:45.597 --> 00:05:52.036
...включает клининг, очистка данных,
нормализация, нормализэшн, соответственно,

00:05:52.676 --> 00:05:59.595
Gaint selection logarifmic Transformation
и стандартизация, стандартизация.

00:05:59.715 --> 00:06:00.475
Так, ну это ещё

00:06:01.350 --> 00:06:02.750
Возможно, и не все этапы.

00:06:02.870 --> 00:06:05.231
Этапов, в принципе, может быть и больше.

00:06:06.991 --> 00:06:11.592
Значит, Preprocessing and preperation of
Data For Date analesis.

00:06:11.672 --> 00:06:14.912
Предварительная обработка и подготовка
данных для анализа данных.

00:06:15.312 --> 00:06:18.633
Большом объёме экспериментальных
исследований в различных областях науки

00:06:18.793 --> 00:06:20.233
производства, сопровождающихся

00:06:21.106 --> 00:06:26.227
С высокопроизводительными вычислениями,
управляемыми данными привели к

00:06:26.267 --> 00:06:29.147
формированию огромных объёмов данных и их
доступности.

00:06:29.347 --> 00:06:36.308
Взрывной рост данных, безусловно, можно
наблюдать в биологических исследованиях.

00:06:36.428 --> 00:06:40.189
Это прежде всего связано с революционными
изменением в области экспериментальной

00:06:40.229 --> 00:06:41.669
биологии, применяемых в новых

00:06:43.373 --> 00:06:45.893
экспериментальных методов,
характеризующихся высокой

00:06:46.053 --> 00:06:51.533
производительностью. Широкий спектр
биомедицинских данных генерируется в

00:06:51.613 --> 00:06:55.134
результате экспериментов клинических и
терапевтических исследований.

00:06:55.214 --> 00:07:00.974
Исследования в области омики, то есть
геномика, протомика, метаболика

00:07:02.256 --> 00:07:07.411
Метагеномика и транскриптомика,
характеризующаяся высокой пропускной

00:07:07.530 --> 00:07:10.607
способностью. Соответственно,
секвенирование следующего поколения

00:07:10.887 --> 00:07:16.881
NJ-технологии, соответственно, микрочипов,
сыграли важную роль в получении огромном

00:07:17.001 --> 00:07:19.118
количестве данных о МНК и РНК.

00:07:19.952 --> 00:07:24.715
Экспрессии генов, а также данных
взаимодействия белков с белками.

00:07:25.355 --> 00:07:30.638
Быстрые и массивные источники генерации
данных приводят к последующим проблемам в

00:07:30.718 --> 00:07:32.600
эффективном хранении и передаче данных.

00:07:32.680 --> 00:07:36.722
Эффективное масштабирование метода
исследовательского интеллектуального

00:07:36.802 --> 00:07:37.523
анализа данных.

00:07:37.795 --> 00:07:41.673
Представляют новый и важный набор
инструментов для обнаружения знаний из

00:07:41.832 --> 00:07:47.389
источников данных. Ин, соответственно,
силику, то есть, соответственно, ссылочка

00:07:47.589 --> 00:07:49.268
роль сороковой.

00:07:49.348 --> 00:07:51.027
За последние несколько десятилетий

00:07:51.784 --> 00:07:55.268
Были предложены методы интеллектуального
анализа данных и машинного обучения для

00:07:55.508 --> 00:07:59.633
изучения и обнаружения скрытых и
неизвестных биологических факторов,

00:07:59.673 --> 00:08:02.116
взаимодействующих между биологическими
объектами.

00:08:02.676 --> 00:08:06.641
Выводы и результаты анализа, полученные с
помощью методов обнаружения знаний

00:08:08.929 --> 00:08:11.891
В значительной степени зависит от качества
входных данных.

00:08:12.011 --> 00:08:15.734
То есть высокоэффективный метод, как
правило, не способен давать надёжные

00:08:15.774 --> 00:08:20.497
результаты в отсутствие отсутствии
высококачественных данных.

00:08:20.617 --> 00:08:23.939
Биологические данные генерируются и
распространяются по всему миру.

00:08:24.299 --> 00:08:27.822
Неоднородность данных из-за различных
методов сбора данных и стандарты

00:08:28.791 --> 00:08:32.314
...с неоднородными устройствами в
географических распределениях

00:08:32.434 --> 00:08:35.357
исследовательских лабораториях во многих
случаях делает задачу получения

00:08:35.477 --> 00:08:37.959
высококачественных данных практически
невозможной.

00:08:38.319 --> 00:08:42.563
В целом реально имеющиеся данные имеются
низки имеют низкое качество и не могут

00:08:42.643 --> 00:08:46.606
быть без подготовки непосредственно
используемы сложными методами

00:08:46.806 --> 00:08:48.407
интеллектуального анализа данных.

00:08:48.528 --> 00:08:49.488
Вот такие данные.

00:08:50.515 --> 00:08:53.753
Соответственно, также являются неполными.

00:08:53.833 --> 00:08:58.311
В результате может быть трудно обнаружить
скрытые характеристики, которые могут

00:08:58.431 --> 00:09:01.829
представлять интерес для эксперта в
предметной области.

00:09:01.909 --> 00:09:04.387
Или данные могут содержать ошибки
технические

00:09:05.264 --> 00:09:06.503
называемые выбросами.

00:09:06.623 --> 00:09:10.659
Для интерпретации данных такого типа также
может потребоваться понимание базовых

00:09:10.739 --> 00:09:12.817
знаний, используемых при анализе данных.

00:09:13.137 --> 00:09:19.131
Один и тот же набор данных может быть
представлен в нескольких форматах, и

00:09:19.251 --> 00:09:22.568
значения могут быть нормализованы в разных
диапазонах, в зависимости от

00:09:22.688 --> 00:09:23.967
статистической достоверности

00:09:25.327 --> 00:09:28.967
...и значимости. Чтобы использовать методы
интеллектуального анализа данных для

00:09:29.047 --> 00:09:33.887
извлечения интересных закономерностей из
таких данных, их необходимо

00:09:34.087 --> 00:09:36.127
соответствующим образом подготовить
заранее.

00:09:36.287 --> 00:09:37.527
Предварительная обработка.

00:09:37.727 --> 00:09:41.487
Предварительная обработка данных позволяет
представляет собой последовательность

00:09:41.567 --> 00:09:45.847
шагов-шагов, включающих очистку данных,
сокращение объёмов данных...

00:09:48.634 --> 00:09:50.126
Давайте вернёмся к картинке.

00:09:57.193 --> 00:10:01.795
Итак, очистку данных, сокращение объёма
данных, преобразование данных и интеграцию

00:10:01.835 --> 00:10:05.317
данных. Каждый шаг одинаково важен,
независимый и может быть выполнен

00:10:05.397 --> 00:10:08.999
изолированно. Именно данные задачи,
которые необходимо выполнить, определяют

00:10:09.040 --> 00:10:11.201
шаги, которые необходимо выполнить и
когда.

00:10:11.601 --> 00:10:13.802
Может потребоваться вмешательство
эксперта.

00:10:14.705 --> 00:10:18.948
По предметной области может потребоваться
для определения соответствующих шагов для

00:10:19.028 --> 00:10:20.349
конкретного набора данных.

00:10:20.509 --> 00:10:23.712
Нецелесообразно использовать шаги просто
как чёрный ящик.

00:10:24.593 --> 00:10:29.997
Высокопроизводительные технологии такие
микрочипы и сканирование прошу прощения,

00:10:30.117 --> 00:10:30.918
секвенирование

00:10:31.557 --> 00:10:38.279
следующего поколения, то есть NS, обычно
оценивают относительно уровни экспрессии,

00:10:38.319 --> 00:10:41.841
большое количество последовательных ДНК в
различных экспериментальных условиях.

00:10:41.961 --> 00:10:46.202
Такие данные содержат либо измерения
временных рядов, собранные в ходе

00:10:46.322 --> 00:10:48.643
биологического процесса, либо
сравнительные измерения

00:10:49.855 --> 00:10:53.660
Изменение экспрессии в образцах целевых
контрольных тканей, то есть, например,

00:10:54.421 --> 00:10:56.183
нормальных и раковых тканей.

00:10:57.104 --> 00:11:01.109
Соответственно, относительные уровни
выражения представлены в виде соотношения.

00:11:01.149 --> 00:11:04.713
Исходные данные экспрессии генов,
полученные после сканирования массива, то

00:11:04.753 --> 00:11:05.514
есть интенсивности

00:11:06.735 --> 00:11:12.133
Флюоресценции, измеренные на микрочипе, не
готовы для анализа данных, поскольку они

00:11:12.293 --> 00:11:17.252
содержат шум, пропущенные значения и
вариации.

00:11:17.902 --> 00:11:20.423
Возникающие в результате экспериментальных
процедур.

00:11:20.543 --> 00:11:25.386
Аналогичные ситуации могут возникнуть в
данных, соответственно, эРН-сек,

00:11:25.466 --> 00:11:27.347
полученных из НЖС.

00:11:27.707 --> 00:11:33.911
Соответственно, анализ силико данных о
крупномасштабных микрочипах или экспрессия

00:11:33.991 --> 00:11:38.754
РНА-сек. В результате таких экспериментов
обычно включает в себя ряд этапов

00:11:38.834 --> 00:11:40.195
предварительной обработки.

00:11:40.315 --> 00:11:44.157
Ну вот как мы смотрели, соответственно, на
рисунке один.

00:11:45.836 --> 00:11:52.361
по этой теме так, ну вот эти моменты
касаются не только

00:11:52.561 --> 00:11:56.924
биологических данных, хотя вот мы как
пример остановились на рассмотрении именно

00:11:57.125 --> 00:12:01.248
биологических данных, но тут можно и,
соответственно, и с другой

00:12:02.692 --> 00:12:07.692
И из других, из области социологических
исследований, из области исследований

00:12:07.852 --> 00:12:12.332
земной коры и прочие взять примеры, данные
будут, в принципе, того же качества.

00:12:16.496 --> 00:12:20.296
Значит, эти шаги необходимы и должны быть
выполнены для того, чтобы можно было

00:12:20.496 --> 00:12:23.296
провести какой-либо анализ экспрессии
генов.

00:12:23.376 --> 00:12:28.536
Очистка данных с точки зрения устранения
шума, оценки пропускных значений и

00:12:28.576 --> 00:12:32.336
коррекции фона с последующей обработкой
данных важна для высококачественной

00:12:32.376 --> 00:12:35.776
обработки данных. Отбор генов
отфильтровывает гены, которые существенно

00:12:35.976 --> 00:12:36.936
не изменяются.

00:12:37.640 --> 00:12:39.559
По сравнению с необработанными образцами.

00:12:39.599 --> 00:12:43.317
В действительности не все гены активно
участвуют в биологической активности,

00:12:43.357 --> 00:12:47.155
следовательно, вероятно, будут не иметь
значения для эффективного анализа.

00:12:47.275 --> 00:12:50.833
Цель состоит в том, чтобы определить как
можно меньший набор, ну, в данном случае

00:12:51.073 --> 00:12:53.552
генов, в другом случае — других каких-то
объектов.

00:12:53.925 --> 00:12:58.363
...которые всё чаще могут обеспечивать
хранилище результаты для рассмотримого

00:12:58.443 --> 00:13:02.522
анализа. То есть, допустим, DAS, Рейд или
D&Dris.

00:13:02.602 --> 00:13:05.801
Соответственно, ссылочки потом в конце
лекции будут показаны.

00:13:06.201 --> 00:13:12.279
Уровни экспрекции генов, соответственно,
тысячи генов, хранящиеся в маточной форме,

00:13:12.519 --> 00:13:13.119
где строки

00:13:15.396 --> 00:13:18.915
Представляет относительный уровень
экспрессии гена в отношении к выборке или

00:13:19.035 --> 00:13:21.875
времени. Выполнение логарифмического
преобразования.

00:13:22.035 --> 00:13:27.074
Вот как тут вот предпоследний этап,
видите, на уровне экспрессии или

00:13:27.194 --> 00:13:30.913
стандартизация каждой строки матрицы
экспрессии гена для получения среднего

00:13:30.953 --> 00:13:32.953
значения, равного нулю. Ну вот некоторые

00:13:33.600 --> 00:13:37.758
Данные как раз хорошо подвергнуть
логарифмическому преобразованию.

00:13:37.838 --> 00:13:41.117
То есть, если они меняются в больших
масштабах, то в этом случае

00:13:41.317 --> 00:13:45.596
логарифмическая шкала, как практика
показывает, наиболее наглядна и лучше

00:13:45.875 --> 00:13:46.275
подходит.

00:13:48.701 --> 00:13:52.420
Значит, депрессия равная единице является
обычным этапом предварительной обработки.

00:13:52.460 --> 00:13:55.899
Теперь мы подробно обсудим основные этапы
предварительной обработки данных.

00:13:56.059 --> 00:13:59.538
Вот она. Соответственно, первое — очистка
данных.

00:14:04.057 --> 00:14:05.057
Очистка данных.

00:14:06.993 --> 00:14:09.910
То есть процесс выявления и исправления
ошибок, позволяющий обеспечить

00:14:09.990 --> 00:14:15.584
качественный анализ. Качество данных
играет важную роль, в особенности качество

00:14:15.744 --> 00:14:18.062
конечного результата при использовании
любого алгоритма.

00:14:18.142 --> 00:14:21.858
Очистка данных является одним из таких
шагов в обеспечении качественных данных.

00:14:21.937 --> 00:14:25.054
Вот, допустим, Herberton, 2007-й год,
ссылка.

00:14:25.495 --> 00:14:30.340
Причинами низкого качества данных являются
такие факты, как пропущенные значения,

00:14:30.460 --> 00:14:33.343
опечатки, ошибки в написании и так далее.

00:14:33.463 --> 00:14:36.986
Причина, первая причина касается
пропущенных значений, вторая — проблема

00:14:37.146 --> 00:14:41.591
дублирования данных. Наличие дублированных
данных увеличивает время вычисления, никак

00:14:41.831 --> 00:14:42.992
не улучшая результат.

00:14:47.303 --> 00:14:49.135
Обработка пропущенных значений.

00:14:53.862 --> 00:14:58.816
Следующий этап. То есть неисправность или
физическое ограничение измерительного

00:14:58.896 --> 00:15:03.011
оборудования могут привести к тому, что
некоторые значения не будут записаны или

00:15:03.490 --> 00:15:06.926
перебои в средствах связи во время
передачи данных могут привести к

00:15:06.966 --> 00:15:09.084
отсутствию значений. Некоторые

00:15:12.346 --> 00:15:16.067
Значения могут показаться неважными на
этапе сбора данных.

00:15:16.147 --> 00:15:19.748
На более позднем этапе, возможно, не были
приняты корректирующие меры или их

00:15:19.788 --> 00:15:23.469
определения. Некоторые значения, возможно,
были удалены из-за несоответствия другим

00:15:23.589 --> 00:15:24.830
записанным данным.

00:15:28.311 --> 00:15:31.072
Качество данных играет важную роль в
обеспечении

00:15:33.052 --> 00:15:35.452
качества всего конечного результата.

00:15:37.012 --> 00:15:40.892
При использовании любого алгоритма очистка
данных является одним из таких шагов в

00:15:40.972 --> 00:15:42.893
обеспечении качества данных.

00:15:42.933 --> 00:15:44.493
То есть вот Хельберт.

00:15:44.533 --> 00:15:48.973
Причём низкого качества данных является
такие факторы, как пропущенные значения,

00:15:49.013 --> 00:15:49.893
опечатки, ошибки

00:15:50.580 --> 00:15:52.138
Написание и так далее.

00:15:55.213 --> 00:15:57.090
Обработка пропущенных значений.

00:16:07.306 --> 00:16:11.703
Одной из основных проблем, возникающих при
предварительной обработке данных, является

00:16:12.063 --> 00:16:13.422
проблема пропущенных значений.

00:16:13.502 --> 00:16:17.460
Пропущенные значение возникает, когда
какое-то значение не сохранили для

00:16:17.979 --> 00:16:20.178
переменной или интересующей функции.

00:16:20.818 --> 00:16:23.696
Пропущенные значения могут привести к
серьёзным проблемам.

00:16:24.194 --> 00:16:29.357
Будь то плохие представление данных с
точки зрения его распределения или

00:16:29.477 --> 00:16:31.638
смещения, получения результата.

00:16:32.118 --> 00:16:35.721
Поэтому с ними необходимо обращаться
осторожно, чтобы повысить эффективность

00:16:35.841 --> 00:16:39.843
методов. Отсутствие данных может произойти
по ряду технических причин.

00:16:39.923 --> 00:16:41.204
Причины могут быть следующие.

00:16:41.244 --> 00:16:41.284
Вот

00:16:41.990 --> 00:16:45.629
Неисправность или физическое ограничение
измерительного оборудования могут привести

00:16:45.829 --> 00:16:49.548
к тому, что некоторые значения не будут
записаны или перебои в средствах связи во

00:16:49.628 --> 00:16:52.626
время передачи данных могут привести к
отсутствию значений.

00:16:53.386 --> 00:16:57.385
Некоторые значения могут показаться
неважными на этапе сбора данных.

00:16:58.312 --> 00:17:01.634
На более позднем этапе, возможно, не были
приняты корректирующие меры для их

00:17:01.674 --> 00:17:07.396
определения. Некоторые значения, возможно,
были удалены из-за несоответствия другим

00:17:08.037 --> 00:17:09.197
записанным данным.

00:17:17.029 --> 00:17:20.429
Следующий момент. Различные типы
пропущенных данных.

00:17:22.388 --> 00:17:25.388
Вот выделяет различные типы пропущенных
данных.

00:17:26.508 --> 00:17:33.386
Значит, могут быть различные типы
пропущенных данных, в соответствии с

00:17:33.506 --> 00:17:35.826
классификацией Эллисона 2012 года.

00:17:36.992 --> 00:17:40.431
Они в целом классификуются,
классифицируются следующим образом.

00:17:40.911 --> 00:17:46.669
Полностью случайные MR, когда вероятность
пропущенного наблюдения не связана с

00:17:46.749 --> 00:17:48.228
оценочным значением.

00:17:48.388 --> 00:17:52.706
Отсутствует случайным образом Мар, когда
вероятность пропущенного наблюдения не

00:17:52.786 --> 00:17:56.825
связана с его значением, но зависит от
других аспектов наблюдаемых данных.

00:17:57.732 --> 00:18:00.215
Отсутствует неслучайно MnR.

00:18:00.415 --> 00:18:03.819
Если отсутствующие значения данных не
принадлежат ни к тому, ни к другому

00:18:04.219 --> 00:18:07.823
вышеперечисленных критериев, то считается,
что они находятся в M-R.

00:18:08.024 --> 00:18:11.067
То есть вероятность пропущенного
наблюдения связана с его значением.

00:18:23.517 --> 00:18:26.957
Объясним вышеперечисленные типы
пропущенных значений данных с помощью

00:18:27.037 --> 00:18:31.318
примера. Предположим, что у нас есть две
переменные: А малое и Б малое, значения

00:18:31.438 --> 00:18:34.599
которых представлены векторами A большое,
Б большое соответственно.

00:18:34.719 --> 00:18:38.760
Предположим, что отдельные значения
вектора Б всегда записываются, однако в

00:18:38.800 --> 00:18:39.200
векторе А

00:18:40.004 --> 00:18:41.764
Некоторые значения отсутствуют.

00:18:41.844 --> 00:18:45.446
Пропущенное значение a большое называется
MК.

00:18:45.566 --> 00:18:49.688
Если вероятность его отсутствия не зависит
от значения, записанных как a, так и B.

00:18:49.928 --> 00:18:53.410
С другой стороны, если вероятность,
отсутствующая в значении a, вероятно

00:18:53.530 --> 00:18:56.852
зависит от значения B, то не зависит от
значения a.

00:18:56.972 --> 00:18:58.693
Это называется Мар просто.

00:19:00.658 --> 00:19:02.377
Отсутствует случайным образом.

00:19:03.016 --> 00:19:06.932
Существуют различные подходы к обработке
недостающих данных.

00:19:07.052 --> 00:19:09.809
Можно полностью игнорировать отсутствующие
данные.

00:19:10.129 --> 00:19:13.166
Но если объём отсутствующих данных
составляет значительную часть набора

00:19:13.246 --> 00:19:16.123
данных, этот подход может серьёзно
повлиять на качество результатов.

00:19:16.283 --> 00:19:18.840
Кроме того, если есть случаи пропущенных
значений

00:19:19.788 --> 00:19:24.145
MLR. Они требуют оценки параметров для
моделирования отсутствующих данных.

00:19:24.265 --> 00:19:27.663
Чтобы решить эту проблему с недостающими
данными, наиболее часто используют четыре

00:19:27.943 --> 00:19:29.821
альтернативных подхода.

00:19:32.699 --> 00:19:35.497
Следующий момент — игнорирование, удаление
данных.

00:19:37.115 --> 00:19:45.083
MКнорирование

00:19:45.123 --> 00:19:48.767
отсутствующих значений в данных — самый
простой способ решить эту проблему.

00:19:48.887 --> 00:19:52.892
Однако это подходит только для ситуации
полностью случайного отсутствия, то есть

00:19:53.052 --> 00:19:53.532
MК.

00:19:54.131 --> 00:19:57.808
Если мы применим этот подход к другим
ситуациям, мы, скорее всего, внесём

00:19:57.928 --> 00:20:01.006
искажение в данные и в конечном счёте в
конечные результат.

00:20:02.365 --> 00:20:07.361
Отбрасывание недостающих данных может быть
выполнено двумя способами: анализ полных

00:20:07.481 --> 00:20:08.920
случаев и удаление атрибутов.

00:20:09.000 --> 00:20:12.917
Анализ полных случаев является методом
де-факто и доступен во многих программах

00:20:13.077 --> 00:20:14.356
при его использовании отображении.

00:20:14.976 --> 00:20:18.859
Отбрасываются все экземпляры с
отсутствующими данными.

00:20:19.019 --> 00:20:24.304
В дальнейшем анализ производится только с
оставшимися данными.

00:20:24.384 --> 00:20:28.708
Второй способ удаления атрибута включает
определение степени отсутствия данных, в

00:20:28.748 --> 00:20:30.229
зависимости от количества экземпляров.

00:20:30.923 --> 00:20:33.082
Релевантность атрибутов во всём наборе
данных.

00:20:33.162 --> 00:20:36.480
Исходя из этого, можно отбросить или
удалить экземпляры, которые не являются

00:20:37.999 --> 00:20:44.516
широко распространёнными, или реализовать,
или релевантность которых по отношению ко

00:20:44.636 --> 00:20:46.435
всему набору данных не очень велика.

00:20:47.100 --> 00:20:50.581
Не очень значительно. Но если атрибут с
отсутствующими значениями имеет очень

00:20:50.741 --> 00:20:53.782
высокую релевантность, он должен быть
сохранён в наборе данных.

00:20:53.982 --> 00:20:59.304
Вот как говорят Batista Monart, 2002-й
год, 45.

00:21:00.424 --> 00:21:01.825
Оценка параметров.

00:21:01.985 --> 00:21:03.745
Значит, для оценки параметров модели

00:21:04.211 --> 00:21:08.970
В случае могут быть использован подход
максимального правдоподобия, использующий

00:21:09.050 --> 00:21:12.129
вариант алгоритма максимизации ожидания.

00:21:12.489 --> 00:21:14.888
Вот 1996 год.

00:21:15.248 --> 00:21:18.167
Наиболее распространённый метод,
используемый в этот подход, называется

00:21:19.685 --> 00:21:24.643
Оба. 2003-й год, который состоит из трёх
элементарных шагов: регрессии основных

00:21:24.763 --> 00:21:30.600
компонентов, байсовской оценки и алгоритма
интегрированного ожидания максимизации EM.

00:21:33.638 --> 00:21:36.717
Impotation, то есть приписывание, условный
расчёт.

00:21:46.955 --> 00:21:52.117
В условиях недоста недостающих данных
условное вычисление и счисление относятся

00:21:52.237 --> 00:21:55.919
к последовательности действий,
предпринимаемых для решения проблемы

00:21:56.039 --> 00:21:59.920
недостающих данных. Цель приписывания, то
есть условного расчёта, состоит в том,

00:22:00.000 --> 00:22:03.481
чтобы заменить недостающие данные
оценочными значениями.

00:22:03.561 --> 00:22:03.962
Используется

00:22:04.647 --> 00:22:08.768
Информацию в измерениях, значениях для
вывода параметров популяции.

00:22:09.088 --> 00:22:12.529
Это вряд ли даст научный прогноз,
наилучший прогноз, но для отсутствующих

00:22:12.569 --> 00:22:16.131
значений, но безусловно, может добавить
полноту набора данных.

00:22:16.331 --> 00:22:18.892
Вот Little и Рубин, 2014-й год.

00:22:19.172 --> 00:22:23.213
Подходы приписывания условного расчёта
можно в целом разделить на приписывание

00:22:23.333 --> 00:22:24.293
одного значения.

00:22:24.644 --> 00:22:28.686
Метод горячей колоды и холодной колоды и
множественное приписывание.

00:22:28.846 --> 00:22:30.447
Приписывание одного значения.

00:22:30.967 --> 00:22:35.930
Приписывание одного значения заменяет
отсутствующее значение одним оценочным

00:22:36.010 --> 00:22:39.212
значением, которое, как предполагается,
очень близко к значению, которое

00:22:39.332 --> 00:22:42.214
наблюдалось бы, если бы набор данных был
полным.

00:22:42.214 --> 00:22:43.095
При этом использование

00:22:43.577 --> 00:22:47.299
Используются различные средства для замены
отсутствующих данных одним значением.

00:22:47.899 --> 00:22:49.100
Вот некоторые из них.

00:22:49.460 --> 00:22:54.022
Приписывание среднего значения, ну то есть
просто средним заменяем отсутствующее

00:22:54.062 --> 00:22:58.304
значение. Используется среднее значение
существующего значения атрибута при замене

00:22:58.424 --> 00:22:59.905
отсутствующего значения атрибута.

00:22:59.945 --> 00:23:02.026
Этот подход уменьшает разнообразие данных.

00:23:03.625 --> 00:23:06.903
То есть снижает дисперсию, соответственно,
снижает информативность.

00:23:07.343 --> 00:23:10.902
Исследование приводит к более низкой
оценке стандартного отклонения набора

00:23:11.062 --> 00:23:12.461
данных. Соответственно.

00:23:12.901 --> 00:23:15.300
Боррельди Эдерс, 2010 год.

00:23:15.580 --> 00:23:19.578
Далее, приписывание на основе регрессии
для прогнозирования на данных значений

00:23:19.698 --> 00:23:21.257
одного переменной на основе других.

00:23:26.598 --> 00:23:29.358
Переменных может использоваться
регрессионной модели.

00:23:29.478 --> 00:23:33.037
Это значение используется для приписывания
значений в тех случаях, когда эта

00:23:33.117 --> 00:23:34.357
переменная отсутствует.

00:23:34.797 --> 00:23:38.797
Он сохраняет изменчивость в наборе данных,
не внося смещения в результат.

00:23:38.837 --> 00:23:42.797
Данный метод переоценивает корреляцию
между атрибутами по сравнению со средним

00:23:42.957 --> 00:23:45.277
приписыванием, которое недооценивает эту
меру.

00:23:45.677 --> 00:23:47.235
из-за потери изменчивости.

00:23:47.955 --> 00:23:51.791
Далее приписывание на основе регрессии по
методу наименьших квадратов, то есть

00:23:51.910 --> 00:23:55.347
ЛС-приписывание — это расширенная форма
регрессионной модели.

00:23:55.427 --> 00:23:59.462
Она рассчитывается путём нахождения
управления для функции, уравнения для

00:23:59.582 --> 00:24:02.939
функции, которые минимизирует сумму
квадратов ошибок модели.

00:24:04.567 --> 00:24:11.169
Соответственно, локальное изменение, то
есть

00:24:11.329 --> 00:24:14.410
локальное не меньше квадрата,
ЛС-приписывание.

00:24:14.530 --> 00:24:21.053
Это похоже на изменение ЛС-приписывания,
за исключением того, что оно

00:24:21.173 --> 00:24:24.974
включает в себя априорный шаг перед
приписыванием оценки.

00:24:25.054 --> 00:24:25.615
Сначала он пред

00:24:26.808 --> 00:24:30.807
Представляет целевой ген, у которого
отсутствует значение, используя линейную

00:24:30.887 --> 00:24:35.447
комбинацию аналогичных генов путём
определение Клижайших соседей, которые

00:24:35.727 --> 00:24:39.606
будут иметь большее абсолютное значение
коэффициента в корреляции пирсона.

00:24:39.806 --> 00:24:42.806
Вот как вариант предложено Кимом, 2004 год

00:24:43.805 --> 00:24:48.244
Приписывание К ближайшего соседа, вот оно
же КН-приписывание.

00:24:48.684 --> 00:24:52.323
Напоминаем мы, соответственно, заполняем
пропуски.

00:24:52.563 --> 00:24:57.122
То есть отсутствующие данные заменяются с
помощью известных данных путём минимизации

00:24:57.282 --> 00:25:00.961
расстояния между наблюдаемыми и оценочными
значениями отсутствующих данных.

00:25:01.648 --> 00:25:05.567
Находится ка соседей, наиболее близкие к
отсутствующим данным, и конечный результат

00:25:05.687 --> 00:25:08.046
оценивания заменяет отсутствующие
значения.

00:25:08.486 --> 00:25:11.165
Эта замена значений зависит от типа
отсутствующих данных.

00:25:11.245 --> 00:25:13.844
Вот Батиста Монар, 2002 год.

00:25:14.924 --> 00:25:18.123
Следующее. Методы горячей холодной колоды.

00:25:19.023 --> 00:25:23.867
Приписывание горячей колоды включает
заполнение недостающих при опросе или

00:25:24.067 --> 00:25:30.592
анкетировании данных по предстоящим
интерес переменным её, соответственно,

00:25:34.555 --> 00:25:38.558
то есть реципиентов на основе
использования наблюдаемых значений.

00:25:39.107 --> 00:25:43.945
От ответивших респондентов, то есть
доноров в рамках одного и того же набора

00:25:44.025 --> 00:25:48.824
данных. В зависимости от донора, с которым
вычисляется сходство, используется подход

00:25:48.984 --> 00:25:53.063
горячей колоды, который также известен как
метод последнего наблюдения, то есть Lab

00:25:55.068 --> 00:26:00.107
Прямой метод последнего наблюдения,
соответственно, LoCF может быть

00:26:00.547 --> 00:26:05.265
подразделён на случайное предсказание
горячей колоды и детерминирование

00:26:05.345 --> 00:26:07.705
предсказаний предсказания горячей колоды.

00:26:08.065 --> 00:26:11.784
Соответственно, ссылки видите и Little

00:26:14.245 --> 00:26:17.684
Подход горячей колоды обеспечивает
определение преимуществ, определённые

00:26:17.764 --> 00:26:23.322
преимущества, поскольку он свободен от
оценки параметров и неопределённости в

00:26:23.442 --> 00:26:26.521
прогнозировании значений. Наиболее
существенной особенностью этого метода

00:26:26.641 --> 00:26:31.080
является то, что он использует только
логические и достоверные значения для

00:26:31.360 --> 00:26:32.120
оценки.

00:26:34.096 --> 00:26:40.098
Соответственно, недостающих данных,
поскольку они получены из наборов доноров.

00:26:40.619 --> 00:26:44.060
Соответственно, ungreed & Little, 2010
год.

00:26:44.180 --> 00:26:49.182
С другой стороны, приписывание холодной
колоды выбирает доноров из другого набора

00:26:49.262 --> 00:26:51.343
данных, чтобы заменить отсутствующие
значения

00:26:53.040 --> 00:26:56.680
Переменные элемента данных постоянным
значением от внешнего донора.

00:26:56.920 --> 00:27:01.439
Множественное приписывание, множественное
приписывание включает в себя серию

00:27:01.519 --> 00:27:04.199
вычислений для определения наиболее
подходящего.

00:27:04.994 --> 00:27:06.594
Значения для отсутствующих данных.

00:27:06.674 --> 00:27:10.754
Этот метод заменяет каждое пропущенное
значение набором наиболее подходящих

00:27:10.794 --> 00:27:14.114
значений, которые затем дополнительно
анализируются для определения

00:27:14.234 --> 00:27:16.234
окончательного прогнозируемого значения.

00:27:16.715 --> 00:27:20.515
Метод строится на однообразном шаблоне
отсутствия, который означает, что для

00:27:20.715 --> 00:27:22.275
последовательности значений переменной

00:27:23.270 --> 00:27:27.473
Если отсутствует одно значение, то все
последующие значения также отсутствуют.

00:27:27.793 --> 00:27:31.916
Для поиска набора подходящих значений
используется два распределённых метода.

00:27:32.436 --> 00:27:36.239
Метод регрессии, то есть регрессионная
модель, предназначена для атрибутов,

00:27:36.319 --> 00:27:39.641
имеющих пропущенные значения наряду с
предыдущими атрибутами в

00:27:39.761 --> 00:27:41.402
последовательности набора данных.

00:27:42.357 --> 00:27:45.398
В виде когорят, исследуя свойства
монотонности.

00:27:45.518 --> 00:27:48.118
На основе этой модели формируются новые
модели.

00:27:48.518 --> 00:27:54.399
Это процесс процесс последовательно
повторяется для каждого атрибута с

00:27:54.439 --> 00:27:55.719
отсутствующими значениями.

00:27:55.799 --> 00:27:58.159
Вот предложен Рубин в 2004 году.

00:27:58.768 --> 00:28:00.609
Метод оценки склонности.

00:28:02.969 --> 00:28:07.650
Оценка склонности — это условная
вероятность выделения конкретного метода

00:28:07.730 --> 00:28:10.411
обработки с учётом набора наблюдаемых кова
реакций.

00:28:10.531 --> 00:28:13.931
В этом методе оценка склонности
рассчитывается для каждого атрибута с

00:28:14.011 --> 00:28:17.292
отсутствующими значениями, чтобы указать
вероятность того, что наблюдение

00:28:17.412 --> 00:28:17.892
отсутствует.

00:28:18.573 --> 00:28:23.170
Затем используется байевское приписывание
начальной загрузки для сгруппированных

00:28:23.330 --> 00:28:29.844
данных на основе оценки склонности, чтобы
получить набор значений другие

00:28:30.004 --> 00:28:31.882
95-й год.

00:28:35.360 --> 00:28:38.997
Так, следующий момент — обнаружение
дублированных данных.

00:28:41.260 --> 00:28:43.499
Методы основан на знаниях, метод ETL

00:28:51.776 --> 00:28:55.255
из-за появления повторяющегося значения
данных для экспериментов данных или

00:28:55.375 --> 00:28:56.775
атрибутов приводит к проблеме

00:28:57.889 --> 00:28:59.927
Приводит к проблеме переполнения
хранилища.

00:29:00.007 --> 00:29:03.323
Наиболее распространённый способ обработки
дублирования — это поиск фрагментов с

00:29:03.363 --> 00:29:06.199
одинаковыми значениями и удаление
дубликатов из фрагментов.

00:29:06.279 --> 00:29:10.234
Однако этот метод занимает очень много
времени, поэтому для обработки избыточных

00:29:10.274 --> 00:29:12.871
данных было разработано несколько других
методов.

00:29:13.997 --> 00:29:15.557
Методы основаны на знаниях.

00:29:15.676 --> 00:29:20.794
То есть для устранения дублирования,
соответственно, одним из альтернативных

00:29:20.914 --> 00:29:27.471
методов является включение информации,
зависящей от предметной области

00:29:28.231 --> 00:29:31.150
и, соответственно, баз знаний в задачу
очистки данных.

00:29:31.310 --> 00:29:33.709
Рабочим инструментом, основанным на этой
технике является

00:29:35.692 --> 00:29:42.690
Интелизут, соответственно, геолачистка, то

00:29:42.730 --> 00:29:44.529
есть лол, соответственно.

00:29:45.529 --> 00:29:46.968
2001 год.

00:29:47.368 --> 00:29:49.807
Это инструмент стандартизирует сокращение.

00:29:49.887 --> 00:29:54.645
Например, если в одной записи слово Strit
сокращается как СТ, а в другой СТР

00:29:55.392 --> 00:29:59.588
То время как в другом месте используется
полное слово, все три записи

00:29:59.708 --> 00:30:03.066
стандартизируются до одной и той же
аббревиатуры.

00:30:03.545 --> 00:30:07.103
Как только данные стандартизированы, они
исчищаются с помощью набора правил

00:30:07.262 --> 00:30:11.579
специфического специфичных для домена,
который работает с базой знаний.

00:30:12.070 --> 00:30:15.787
Эти правила обнаруживают дупликаты,
определяют соответствующие записи,

00:30:15.827 --> 00:30:19.584
генерируют различные предупреждения для
любых других аномалий.

00:30:22.262 --> 00:30:24.301
Так, следующий. Метод ИТЛ.

00:30:24.421 --> 00:30:28.218
Наиболее популярным методом устранения
дубликатов является метод ИТЛ.

00:30:28.838 --> 00:30:31.118
Предложен раком ещё в 200 году.

00:30:31.198 --> 00:30:35.159
Метод ATL состоит из трёх этапов:
извлечение, перевод и загрузка,

00:30:35.319 --> 00:30:38.719
Extraction, транслетн and louding.

00:30:38.879 --> 00:30:43.799
С помощью этого метода можно выполнить два
типа устранения дубликатов данных: один на

00:30:43.879 --> 00:30:45.760
уровне экземпляра, другой — на уровне
схемы

00:30:46.837 --> 00:30:51.600
Обработки на уровне экземпляра устраняет
ошибки в самих данных, такие как

00:30:51.720 --> 00:30:55.242
орфографические ошибки. Очистка на уровне
схемы обычно выполняется путём

00:30:55.322 --> 00:30:59.084
преобразования базы данных в новую схему
или хранилище данных.

00:31:00.085 --> 00:31:04.808
Так, следующий момент предварительной
обработки препроцессе сокращение объёма

00:31:04.888 --> 00:31:05.208
данных.

00:31:05.704 --> 00:31:11.398
То есть эти перометрические сокращения
данных, выборка, снижение размерности.

00:31:11.759 --> 00:31:13.403
Ну, прежде всего метод ПЦА.

00:31:20.526 --> 00:31:25.687
Добыча крупномасштабных данных занимает
много времени и дорого обходится с точки

00:31:25.807 --> 00:31:28.928
зрения памяти. Это может сделать задачу
интеллектуального анализа данных

00:31:29.088 --> 00:31:30.488
практически невыполнимой.

00:31:30.768 --> 00:31:36.209
Использование всего набора данных не
всегда важно для и в ряде случаев может

00:31:36.489 --> 00:31:40.530
мало повлиять на качество результата по
сравнению с использованием его сокращённой

00:31:40.610 --> 00:31:41.970
версии. Иногда обилие

00:31:43.031 --> 00:31:48.072
Нерелевантных данных может привести к
неоптимальным результатам.

00:31:48.152 --> 00:31:53.273
Сокращение объёма данных уменьшает данные
либо с точки зрения объёма, либо качества

00:31:53.433 --> 00:31:57.754
атрибутов, также называемыми изменениями
задач снижения размерности.

00:31:57.834 --> 00:31:59.554
Либо и того, и другого без нарушения

00:32:00.672 --> 00:32:03.874
целостности в исходных данных в отношении
результатов.

00:32:03.954 --> 00:32:06.676
Для сокращения объёма данных существует
ряд подходов.

00:32:06.836 --> 00:32:12.239
На этапе в идеале любой метод сокращения
данных должен быть эффективным и при этом

00:32:12.319 --> 00:32:15.081
давать почти идентичные аналитические
результаты.

00:32:16.237 --> 00:32:21.120
полученные с использованием полных данных
Различные подходы кратко обсуждаются ниже.

00:32:21.401 --> 00:32:23.923
Прежде всего параметрическое сокращение
данных.

00:32:24.323 --> 00:32:28.246
При параметрическом сокращении данных
объём исходных данных уменьшается за счёт

00:32:28.486 --> 00:32:31.889
рассмотрения относительно компактного
альтернативного способа представления

00:32:31.929 --> 00:32:32.129
данных

00:32:33.072 --> 00:32:39.271
Он соответствует параметрической модели,
основанной на распределении данных, и

00:32:39.351 --> 00:32:43.470
оценивает оптимальное значение параметров,
необходимых для представления этой модели.

00:32:43.630 --> 00:32:47.909
При таком подходе сохраняются только
параметры модели и выбросы.

00:32:48.845 --> 00:32:51.967
Хорошо известные подходы к
параметрическому сокращению данных

00:32:52.127 --> 00:32:54.128
являются регрессионные, нелинейные модели.

00:32:54.168 --> 00:32:57.609
В отличие от параметрических,
непараметрические не используют никаких

00:32:57.729 --> 00:33:02.651
моделей. Они обобщают данные с помощью
выборочной статистики, как будет описано

00:33:02.771 --> 00:33:03.772
ниже. Выборка.

00:33:04.723 --> 00:33:08.800
Обработка большого набора данных за один
раз является дорогостоящей трудоёмкой

00:33:08.920 --> 00:33:14.716
операцией. Вместо рассмотрения всего
набора данных используется наибольшая

00:33:14.876 --> 00:33:19.033
репрезентационная выборка из К
экземпляров, взятых из набора данных с

00:33:19.153 --> 00:33:20.592
Жэкземплярами, то есть где

00:33:22.235 --> 00:33:27.631
Соответственно, мощность K по модулю
меньше, чем мощность G.

00:33:28.630 --> 00:33:31.189
Так, данный процесс называется выборкой.

00:33:31.308 --> 00:33:34.986
Это можно классифицировать выборки
следующим образом: простая случайная

00:33:35.106 --> 00:33:37.144
выборка без замены.

00:33:37.184 --> 00:33:40.622
То есть здесь выборка размером K
выбирается из большого набора данных

00:33:40.782 --> 00:33:41.142
размером

00:33:42.012 --> 00:33:44.010
Мощность J с вероятностью P.

00:33:44.170 --> 00:33:49.286
И образцы однажды выбранные не помещаются
обратно в набор данных.

00:33:49.366 --> 00:33:53.603
Выборка без замены даёт нулевую
ковыреляцию между двумя выбранными

00:33:53.683 --> 00:33:56.520
выборками, что усложняет вычисление.

00:33:57.040 --> 00:34:00.877
Если количество экземпляров данных очень
велико, ковыряция будет близка к нулю.

00:34:01.710 --> 00:34:03.550
Простая случайная выборка с заменой.

00:34:03.630 --> 00:34:07.509
Здесь выборка однажды выбранная помещается
обратно в набор данных, и следовательно,

00:34:07.589 --> 00:34:10.069
данные могут быть продублированы в
выборке.

00:34:10.149 --> 00:34:13.709
Это даёт нулевую кореляцию между двумя
выбранными выборками.

00:34:14.349 --> 00:34:19.148
В случае искажения данных распределение
простая случайная выборка заменой обычно

00:34:20.174 --> 00:34:23.095
даёт плохие результаты при любом методе
анализа данных.

00:34:23.135 --> 00:34:28.975
В таком случае отбор проб заметной заменой
мало чем отличается от отбора проб-проб

00:34:29.335 --> 00:34:33.736
без замены. Однако точность оценок обычно
выше для выборки без замены по сравнению с

00:34:33.776 --> 00:34:34.576
выборкой замены.

00:34:35.183 --> 00:34:41.142
Адаптивные методы выборки, такие как
стандартизация, как стратификационная

00:34:41.302 --> 00:34:46.820
выборка и кластеризация, кластерная
выборка, вероятно улучшит

00:34:46.860 --> 00:34:50.379
производительность в случае
несбалансированных наборов данных с

00:34:50.419 --> 00:34:52.778
относительно неравномерным распределением
выборки.

00:34:53.465 --> 00:34:54.825
Стратификационная выборка.

00:34:54.905 --> 00:34:58.783
При стратификационной выборке исходные
данные делятся на слои подгруппы.

00:34:59.062 --> 00:35:02.501
И из каждого слоя выборка генерируется
путём простой случайной выборки.

00:35:02.620 --> 00:35:07.698
Кластерная выборка. В кластерной выборке
исходные данные разделяются на кластеры

00:35:07.818 --> 00:35:11.576
подгруппы. Из общего числа Н-кластеров
случайным образом выбирается N.

00:35:11.656 --> 00:35:14.614
Из этих кластеров выбирается элемент для
создания выборки.

00:35:16.989 --> 00:35:18.228
Снижение размерности.

00:35:19.028 --> 00:35:23.025
Снижение размерности или атрибутов — это
просто удаление ненужных или

00:35:23.225 --> 00:35:25.103
незначительных атрибутов.

00:35:25.423 --> 00:35:29.940
Наличие нерелевантных атрибутов в наборе
данных может сделать проблему неразрешимой

00:35:29.980 --> 00:35:31.978
и сделать нерабочим методы анализа.

00:35:32.723 --> 00:35:35.561
Такая ситуация часто называется проклятием
размерности.

00:35:35.641 --> 00:35:39.078
Вероятно, наборы данных с высокой
размерностью также будут разряженными.

00:35:39.198 --> 00:35:42.316
Широко используемые методы машинного
обучения, например, такие как

00:35:42.396 --> 00:35:49.311
кластеризация, основанные на плотности
данных и расстоянии, могут привести к

00:35:49.391 --> 00:35:50.710
неправильным результатам.

00:35:57.567 --> 00:35:59.011
...в случае разряженных данных.

00:35:59.131 --> 00:36:02.861
Чтобы преодолеть низкую производительность
алгоритмов машинного обучения с большим

00:36:02.901 --> 00:36:04.345
объёмом данных, снижение...

00:36:05.922 --> 00:36:08.005
Размерности имеют жизненно важное
значение.

00:36:08.125 --> 00:36:12.210
Сокращение размерности должно
осуществляться таким образом, чтобы,

00:36:12.250 --> 00:36:15.614
насколько это возможно, информационное
содержание исходных данных оставалось

00:36:15.775 --> 00:36:19.900
неизменным и чтобы использование
сокращённого набора данных не изменяло

00:36:20.020 --> 00:36:20.821
конечно результат.

00:36:21.570 --> 00:36:25.732
Уменьшение размеров может быть достигнуто
путём выбора только соответствующих

00:36:25.772 --> 00:36:27.412
атрибутов и игнорирования остальных.

00:36:27.492 --> 00:36:31.014
Одним из наиболее распространённых методов
снижения размерности является анализ

00:36:31.094 --> 00:36:32.815
главных компонентов ПСА.

00:36:33.495 --> 00:36:36.817
Вот, предложен ещё в тридцать третьем
году.

00:36:36.897 --> 00:36:39.738
ПЦА, то есть метод главных компонентов,
принцип.

00:36:40.965 --> 00:36:47.284
Компонент-анализис — это статистическая
процедура, которая использует отогональное

00:36:47.324 --> 00:36:51.563
преобразование для отображения набора
наблюдаемых возможностях корреляционных

00:36:51.643 --> 00:36:55.242
переменных, в набор значительно линейных
некоррелированных переменных, называемых

00:36:55.362 --> 00:36:56.602
главными компонентами.

00:36:56.682 --> 00:36:57.082
Ну, то есть

00:36:57.627 --> 00:37:02.506
Главная компонент — это линейная
комбинация от основных переменных.

00:37:03.066 --> 00:37:09.784
Он находит низкоразмерные аппроксимации
исходных данных, проецируя данные на

00:37:09.824 --> 00:37:11.224
линейное подпространство.

00:37:11.304 --> 00:37:15.783
Он ищет Knных отдагональных векторов, где
K меньше, чем N.

00:37:16.745 --> 00:37:21.110
...из исходных данных, которые наилучшим
образом представляют исходные данные.

00:37:21.150 --> 00:37:25.194
И вот исходные данные таким образом
отображаются на гораздо меньшее число

00:37:25.234 --> 00:37:29.038
измерений, что и приносит к уменьшению,
приводит к уменьшению размерности.

00:37:29.919 --> 00:37:33.804
Вот метод главный компонент — очень мощный
метод, видите, предложен ещё довольно

00:37:33.884 --> 00:37:34.204
давно.

00:37:35.151 --> 00:37:41.197
На этом методе, кстати, основаны такие
вещи, как сингулярный анализ,

00:37:41.558 --> 00:37:45.241
соответственно, вся вот эта теория
собственных векторов

00:37:48.405 --> 00:37:49.926
довольно мощная процедура.

00:37:51.728 --> 00:37:53.089
В анализе временных рядов

00:37:54.030 --> 00:37:58.865
Есть так называемые гусеницы, метод
гусеницы, тоже основан на методе главных

00:37:58.985 --> 00:38:03.180
компонентов. Так, следующий вопрос:
преобразование и нормализация данных.

00:38:05.458 --> 00:38:10.093
Соответственно, вот различные методы
нормализации.

00:38:10.333 --> 00:38:12.291
Преобразование и нормализация данных.

00:38:14.733 --> 00:38:18.812
Преобразование предполагает процесс
преобразования данных из одного формата

00:38:19.052 --> 00:38:20.412
или структуры в другой.

00:38:20.531 --> 00:38:22.131
Формат или структуру.

00:38:22.491 --> 00:38:25.850
Он применяется для того, чтобы данные
могли более точно соответствовать

00:38:25.970 --> 00:38:29.169
предположениям процедур статистического
вывода или для улучшения

00:38:30.005 --> 00:38:34.207
Интерпретируемость. Он использует функцию
преобразования грек равняется F от X для

00:38:34.287 --> 00:38:37.567
преобразования данных из одной области
значения домена в другую.

00:38:37.687 --> 00:38:41.729
Часто термин «нормализация
взаимоизменяемый» используется с термином

00:38:41.889 --> 00:38:46.650
преобразование. Нормализация предполагает
изменение такого преобразования, чтобы

00:38:47.050 --> 00:38:49.971
преобразовании преобразованные данные
распределялись

00:38:51.105 --> 00:38:54.428
Примерно нормально. Некоторые методы
преобразования нормализации обсуждаются

00:38:54.628 --> 00:38:57.750
ниже. Так, ну, прежде всего
логарифмическое.

00:38:58.950 --> 00:39:01.992
Соответственно, логарифм двоичный по
основанию два.

00:39:02.153 --> 00:39:05.795
Это наиболее широко используемое
преобразование в случае микрочипов.

00:39:06.355 --> 00:39:10.238
Вот не только, могут и в других областях,
конечно, использовать, но создаёт

00:39:10.961 --> 00:39:14.805
Непрерывный ряд значений, для которых
легко обработать в условиях наличия

00:39:14.885 --> 00:39:20.251
экспериментальных экстремальных значений
неоднородности, искажения распределённых

00:39:20.371 --> 00:39:25.217
данных. То есть мы говорим, что
логарифмическая шкала более наглядна при

00:39:25.737 --> 00:39:28.420
случае, когда данные изменяются в очень
больших диапазонах.

00:39:29.053 --> 00:39:35.449
И, как говорится, что вот есть такое
вполне обоснованное мнение, что человек

00:39:35.809 --> 00:39:38.487
воспринимает данные именно в
логарифмическом масштабе.

00:39:38.847 --> 00:39:43.325
То есть, соответственно, если громкость
увеличивается в 10 раз, то он примерно это

00:39:43.445 --> 00:39:46.403
ощущает, как будто, ну, чуть громче стало,
в два раза примерно.

00:39:48.187 --> 00:39:52.027
Так, то есть логарифмическая шкала, как
правило, работает с большими диапазонами и

00:39:52.147 --> 00:39:54.268
более чувствительна, и более наглядна.

00:39:54.828 --> 00:39:56.908
Мин Макс преобразование, соответственно.

00:39:57.348 --> 00:40:02.348
Преобразование сопоставляет значение
атрибута X в исходном наборе данных с

00:40:02.388 --> 00:40:06.988
новым значением X-штрих, получаемое как X
минус X минимальное делить на разницу:

00:40:07.028 --> 00:40:08.228
X-макс минус X минус.

00:40:08.994 --> 00:40:13.277
Нормализация с помощью Z-оценки
преобразует значения переменных на основе

00:40:13.317 --> 00:40:15.678
их среднего и стандартного отклонения.

00:40:16.279 --> 00:40:22.123
Для переменной X, представленной,
соответственно, вектором X 1x x каждый

00:40:22.163 --> 00:40:25.165
атрибут может быть преобразован с помощью
следующей формулы.

00:40:26.038 --> 00:40:32.474
X-штрих, соответственно, минус X среднее,
соответственно,

00:40:32.714 --> 00:40:36.432
ST, то есть средне-квадратичное отклонение
от X.

00:40:37.191 --> 00:40:39.590
Так, средне-квадратичное отклонение
решается.

00:40:39.749 --> 00:40:42.308
Находится как корень квадратный, как
видите, от суммы

00:40:45.250 --> 00:40:50.846
Средних отклонений от средней величины
квадратов Следующее.

00:40:50.926 --> 00:40:53.164
Нормализация десятичного масштабирования.

00:40:53.284 --> 00:40:56.842
Десятичное масштабирование применяет
десятичную точку к значению атрибута.

00:40:57.002 --> 00:41:02.918
Количество перемещ- перемещаемых
десятичных знаков зависит от максимального

00:41:03.038 --> 00:41:04.477
абсолютного значения атрибута.

00:41:04.557 --> 00:41:05.037
Значение V

00:41:05.835 --> 00:41:10.038
Атрибута нормализуется до V-штрих
посредством преобразования.

00:41:10.158 --> 00:41:12.800
Соответственно, V делить на 10 в степени J
какой-то.

00:41:12.840 --> 00:41:15.842
Где J — наименьшее целое число.

00:41:15.962 --> 00:41:18.764
То есть так, что макс вот, соответственно,
вот этой

00:41:19.825 --> 00:41:21.143
V меньше единицы.

00:41:21.223 --> 00:41:26.097
Предположим, что значение атрибута
варьируется от 523 до 237, максимальное

00:41:26.137 --> 00:41:28.214
абсолютное равно 523.

00:41:28.374 --> 00:41:32.889
Чтобы нормализовать с помощью десятичного
масштабирования, он делит каждое значение

00:41:33.008 --> 00:41:34.966
на 1 000, то есть J равно 3.

00:41:35.468 --> 00:41:41.790
Так, получается 523 нормализуется от 0,
523 и 237

00:41:42.070 --> 00:41:44.311
нормализуется 0, 237.

00:41:46.351 --> 00:41:48.032
Квантильная нормализация.

00:41:48.192 --> 00:41:52.313
Этот метод получения двух или более
распределений.

00:41:53.197 --> 00:41:55.719
идентичных с точки зрения статистических
свойств.

00:41:55.800 --> 00:42:01.565
Он часто используется при анализе данных
микрочипов, соответственно Болстет.

00:42:01.685 --> 00:42:08.571
Чтобы нормализовать данные об экспрессии
генов, он сначала присваивает ранг каждому

00:42:08.651 --> 00:42:12.574
столбцу значений на основе самых низких и
самых высоких значений.

00:42:13.504 --> 00:42:18.508
В этом столбце. Затем он представляет
значение столбцов на основе их исходных

00:42:18.628 --> 00:42:23.552
значений перед ранжированием, чтобы каждый
столбец был упорядочен, начиная с самого

00:42:23.632 --> 00:42:28.636
низкого и заканчивая самым высоким
значением.

00:42:28.716 --> 00:42:32.038
Затем среднее значение для каждой строки
вычисляется с использованием

00:42:32.158 --> 00:42:33.640
предупорядоченных значений.

00:42:33.800 --> 00:42:34.520
Среднее значение

00:42:35.155 --> 00:42:39.236
Рассчитанное в первой строке будет
наименьшим значением ранг 1 для каждого

00:42:39.316 --> 00:42:44.078
столбца; второе значение будет вторым,
самым низким — ранг два и так далее.

00:42:44.358 --> 00:42:48.120
Наконец, заменяются исходные значения
средними значениями, основными,

00:42:48.360 --> 00:42:50.921
основанными на рангах, присвоенных на
первом шаге.

00:42:51.001 --> 00:42:54.042
Все новые значения в каждом столбце имеют
одинаковое распределение.

00:42:55.635 --> 00:42:57.474
Квантильная нормализация

00:43:04.313 --> 00:43:08.633
преобразует статистические распределения
по выборкам и одинаковые.

00:43:09.614 --> 00:43:14.218
Предполагаю, что нет глобальных различий в
распределении данных в каждом столбце.

00:43:14.298 --> 00:43:18.542
Однако неясно, как приступить к
нормализации, если эти предположения будут

00:43:18.582 --> 00:43:23.626
нарушены. Недавно было предложено
обобщение нормализации квантилий,

00:43:23.827 --> 00:43:27.910
называемой гладкой нормализацией
квантилий, соответственно ГСМУС.

00:43:29.412 --> 00:43:35.488
Хикет 2016 год, который ослабевает
допущения однородности, допуская различия

00:43:35.648 --> 00:43:37.647
в распределении между группами.

00:43:40.924 --> 00:43:47.760
Так, ну вот здесь иллюстрируется только
один метод, хотя их достаточно много.

00:43:51.126 --> 00:43:53.248
Нет, в принципе, тут несколько описано.

00:43:53.328 --> 00:43:56.050
Вот квантильная нормализация используется.

00:44:00.974 --> 00:44:05.458
Так, ну вот, на этом мы эту лекцию
закончим, хотя тему ещё будем продолжать в

00:44:05.538 --> 00:44:06.379
следующей лекции.

00:44:07.550 --> 00:44:11.904
...в конце, как я и говорил, список
литературы.

00:44:17.178 --> 00:44:22.691
Ну, естественно, я надеюсь, что вот у вас
есть возможность увеличить и прочитать.

00:44:34.455 --> 00:44:39.058
Так, вообще в рамках, если рассматривать
саму процедуру

00:44:44.943 --> 00:44:49.706
поиска данных и, соответственно,
извлечения из данных какого-то смысла, то

00:44:49.826 --> 00:44:51.588
предварительная обработка занимает очень

00:44:53.367 --> 00:44:55.486
Много ресурсов.

00:44:55.646 --> 00:44:59.285
То есть, поэтому мы так подробно
останавливаемся на методе препроцессинг,

00:44:59.285 --> 00:45:01.644
то есть предварительной обработке
информации.

00:45:10.481 --> 00:45:11.601
Спасибо за внимание.