WEBVTT 00:00:08.306 --> 00:00:09.787 Здравствуйте, уважаемые студенты. 00:00:10.067 --> 00:00:16.549 Вашему вниманию предлагается лекция по дисциплине использования больших данных в 00:00:16.629 --> 00:00:18.190 информационных системах. 00:00:18.430 --> 00:00:22.752 Тема лекции — методы и методики обработки информации в технологиях больших данных. 00:00:22.792 --> 00:00:23.352 Часть вторая. 00:00:25.130 --> 00:00:26.490 Итого, лекция пятая. 00:00:26.770 --> 00:00:31.009 Занятие ведёт кандидат технических наук, доцент Черничук Игорь Владимирович. 00:00:31.489 --> 00:00:34.768 План лекции. Продолжаем вопрос: предварительной обработки, подготовка 00:00:34.928 --> 00:00:39.687 данных. Значит, вопросы дискредизации данных, интеграция данных. 00:00:40.167 --> 00:00:42.567 Программные средства интеллектуального анализа данных. 00:00:43.092 --> 00:00:47.288 Система RapidMiner, кластеризация как инструмент анализа данных. 00:00:49.726 --> 00:00:55.242 В рамках предварительной обработки данных часто приходится выполнять так называемую 00:00:55.281 --> 00:00:56.600 дискретизацию данных. 00:00:56.760 --> 00:00:58.039 Значит, дискретизация данных 00:00:58.420 --> 00:01:03.503 Даёт то преимущество, что дискретные данные требуют меньше памяти для хранения. 00:01:04.023 --> 00:01:07.425 Дискретные данные, вероятно, будет проще визуализировать и понять. 00:01:07.865 --> 00:01:11.827 Производительность в некоторых системах часто становится более эффективной и 00:01:11.907 --> 00:01:14.028 точной при использовании дискретизированных данных. 00:01:15.327 --> 00:01:20.487 Так, ну и тут важным момент имеет использование терминов «точка отсечения» и 00:01:20.527 --> 00:01:27.167 «арность». Так называемые данные, собранные из разных 00:01:27.287 --> 00:01:30.607 источников, представлены в разных форматах в зависимости от экспериментальных 00:01:30.647 --> 00:01:31.167 установок. 00:01:33.006 --> 00:01:36.207 Наблюдающих условий и предстоящий интерес переменных. 00:01:36.327 --> 00:01:39.888 Для анализа таких данных часто бывает удобно эффективно дискретизировать эти 00:01:40.088 --> 00:01:44.369 данные. Соответственно, ссылки Dash двенадцатая ссылка. 00:01:44.690 --> 00:01:48.531 Дискретизация преобразует область значений для каждого количественного атрибута в 00:01:48.611 --> 00:01:49.531 дискретные интервалы 00:01:50.062 --> 00:01:54.379 Использование дискретных значений во время обработки данных даёт ряд преимуществ, 00:01:54.419 --> 00:01:58.616 таких как дискретные данные требуют меньше памяти для хранения. 00:01:59.215 --> 00:02:02.573 Дискретные данные, вероятно, будет проще визуализировать и понять. 00:02:03.012 --> 00:02:06.250 Производительность в некоторых системах часто становится более эффективной. 00:02:07.089 --> 00:02:10.685 И точные при использовании дискретных данных в контексте дискретизации или 00:02:10.805 --> 00:02:14.440 генерации интервалов наиболее часто используется понятие, которое рассмотрим 00:02:14.560 --> 00:02:20.073 ниже. Прежде всего точки отсечения — это определённые значения в пределах диапазона 00:02:20.193 --> 00:02:22.990 каждого дискретизированного количественного атрибута. 00:02:23.685 --> 00:02:28.801 Каждая точка отсечения делит диапазон непрерывных значений на последовательные 00:02:28.881 --> 00:02:35.395 интервалы. Например, непрерывный диапазон от A до может быть разделён на интервалы 00:02:35.515 --> 00:02:40.590 такие, как от A доЦ, от Ц до Б, где значение C является точкой отсечения. 00:02:41.520 --> 00:02:45.442 Арность. Соответственно, ещё один термин, часто используемый в контексте 00:02:45.482 --> 00:02:47.323 дискритизации — это арность. 00:02:47.924 --> 00:02:50.965 Это общее количество интервалов, сгенерируемых для атрибута после 00:02:51.605 --> 00:02:55.447 дискритизации, значение для атрибута на единицу больше, чем количество точек 00:02:55.487 --> 00:02:57.448 отсечения, используемых для дискритизации. 00:02:58.372 --> 00:03:02.452 В данном случае чрезмерно высокая точность может сделать процесс обучения более 00:03:02.692 --> 00:03:06.653 длительным, в то время как очень низкая точность может негативно повлиять на 00:03:06.773 --> 00:03:08.373 точность прогнозирования. 00:03:11.533 --> 00:03:13.493 Любой метод дискретизации 00:03:15.135 --> 00:03:17.016 Предполагает следующие шаги. 00:03:18.176 --> 00:03:25.019 Первое: отсортируйте область непрерывных значений для каждого атрибута, подлежащего 00:03:25.139 --> 00:03:30.540 дискретизации, оцените точки отсечения для каждого из этих атрибутов. 00:03:31.363 --> 00:03:37.233 Создайте интервалы, используя введённые точки отсечения, назначьте каждому 00:03:37.353 --> 00:03:41.226 значению альтернативное значение в соответствии с интервалом, в который оно 00:03:41.266 --> 00:03:41.745 попадает. 00:03:55.169 --> 00:03:59.690 Чтобы выполнить этот набор шагов, дискретизатор, дискретизатор должен 00:03:59.970 --> 00:04:04.650 использовать определённую меру для оценки точек среза и группировать различные 00:04:04.810 --> 00:04:07.931 непрерывные значения в отдельные дискритизированные интервалы. 00:04:08.451 --> 00:04:12.532 Некоторые из таких мер обсуждаются ниже, прежде всего биннинг. 00:04:13.557 --> 00:04:18.478 То есть разбиение. Самый простой способ дискретизации — работа с непрерывным 00:04:18.598 --> 00:04:22.119 значением. Это создание заранее определённого количества ячеек. 00:04:22.559 --> 00:04:26.280 Точки отсечения определяются видом данных от пользователя. 00:04:26.400 --> 00:04:28.641 То есть, так и бининг — разбиение. 00:04:29.295 --> 00:04:33.697 Энтропия — это одно из наиболее часто используемых мер дискритизации в 00:04:33.737 --> 00:04:39.461 литературе. Это средний объём информации о событиях, где информация о событии высока 00:04:39.741 --> 00:04:43.783 для маловероятных событий и низка в противном случае вспоминаем, 00:04:43.823 --> 00:04:46.265 соответственно, информационную меру шинона. 00:04:47.172 --> 00:04:52.289 На каждой итерации метод вычисляет энтропию интервала после разделения и 00:04:52.448 --> 00:04:55.687 вычисляет чистую энтропию разделения и прирост информации. 00:04:56.086 --> 00:04:58.005 Соответственно, вот ссылка. 00:04:58.085 --> 00:05:00.964 Росквилин, 1986 год. 00:05:02.083 --> 00:05:05.361 Метод выбирает разделение с наибольшим коэффициентом усиления. 00:05:05.953 --> 00:05:10.354 И итеративно разбивает каждое разделение, пока коэффициент вычисления не упадёт ниже 00:05:10.434 --> 00:05:11.755 определённого порога. 00:05:13.395 --> 00:05:18.236 Зависимость — это мера, которая определяет силу связи между классом и атрибутом в 00:05:18.316 --> 00:05:21.917 зависимости от определённых вычислений или статистики, и, соответственно, определяет 00:05:22.037 --> 00:05:22.917 точки отсечения. 00:05:23.582 --> 00:05:28.299 В этой мере в качестве параметра должна быть указана арность каждого атрибута. 00:05:30.578 --> 00:05:33.816 Было предложено несколько методов дискретизации. 00:05:35.216 --> 00:05:39.893 Они в целом классифицируются как контролируемые и необусловленные. 00:05:40.351 --> 00:05:45.067 Методы дискретизации в зависимости от того, используют ли они какие-либо уровни 00:05:45.187 --> 00:05:51.981 классов, то есть, соответственно, ссылка Маханта и остальные данные 00:05:52.101 --> 00:05:53.979 методы будут рассмотрены далее. 00:05:58.735 --> 00:06:01.173 Прежде всего управляемая дискретизация данных. 00:06:02.552 --> 00:06:04.873 Метод дискретизации на основе энтропии. 00:06:04.993 --> 00:06:08.194 Дискретизация на основе распределения ХИ- квадрат. 00:06:14.117 --> 00:06:16.317 Управляемая дискретизация данных. 00:06:16.558 --> 00:06:20.519 Данная дискретизация использует метки классов для преобразования непрерывных 00:06:20.599 --> 00:06:23.920 данных в дискретные диапазоны, полученные из исходного набора данных. 00:06:26.660 --> 00:06:28.782 То есть ссылка Даурти, 95-й год. 00:06:28.902 --> 00:06:30.182 Они бывают двух типов. 00:06:30.302 --> 00:06:32.984 Метод дискретизации на основе энтропии. 00:06:36.506 --> 00:06:40.908 Этот метод дискретизации использует меру энтропии для определения границ. 00:06:41.429 --> 00:06:43.310 Соответственно, вот ссылка Чио и другие. 00:06:43.788 --> 00:06:48.949 Предложили иерхический метод, который максимизирует энтропию шенона в 00:06:49.069 --> 00:06:51.509 дисскритизированном пространстве. 00:06:51.669 --> 00:06:55.670 Метод начинается с К- разделов и использует восхождение на холм. 00:06:55.750 --> 00:07:00.310 Для оптимизации разделов использует ту же меру энтропии для получения более тонких 00:07:00.390 --> 00:07:00.910 интервалов. 00:07:02.205 --> 00:07:03.646 Следующий вариант. 00:07:04.007 --> 00:07:07.369 Дискритизация на основе распределения H- квадрат. 00:07:08.450 --> 00:07:10.972 Используется критерии статистической значимости. 00:07:11.052 --> 00:07:17.817 Ну, знаменитый критерий согласия — Хи-квадрат Hi- квадрат Кербер или Цербер, 00:07:17.857 --> 00:07:19.298 1992 год. 00:07:19.418 --> 00:07:23.101 Ссылка 24. Для определения вероятности сходства данных двух интервалов. 00:07:24.143 --> 00:07:27.744 Он начинается с каждого уникального значения атрибута в своём собственном 00:07:27.784 --> 00:07:32.025 интервале. Метод вычисляет статистику H-квадрат для каждого начала начального 00:07:32.145 --> 00:07:36.706 интервала. Затем он объединяет интервалы с наименьшим значением H-квадрат. 00:07:37.106 --> 00:07:41.548 Далее повторяет процесс слияния на основе значения H-квадрат до тех пор, пока более 00:07:41.828 --> 00:07:44.188 удовлетворительное слияние не станет возможным. 00:07:46.553 --> 00:07:49.827 Далее, вариант: неуправляемая дискретизация. 00:07:50.186 --> 00:07:53.420 Дискортизация средних и средних значений. 00:07:53.939 --> 00:07:55.815 Дискритизация ровной ширины. 00:08:05.261 --> 00:08:07.183 Неуправляемая дискретизация данных. 00:08:07.264 --> 00:08:11.389 Процесс неуправляемой дискретизации данных не использует никакой информации о классе 00:08:11.469 --> 00:08:13.071 для определения границ интервалов. 00:08:13.231 --> 00:08:16.155 Ниже обсуждается несколько методов дискретизации данного типа. 00:08:16.275 --> 00:08:20.520 Дискретизация средних и средних значений, то есть метод двоичной дискретизации. 00:08:21.050 --> 00:08:24.694 ...который разделяет границы классов с использованием среднего значения данных. 00:08:25.095 --> 00:08:29.100 Значение меньше среднего соответствует одному классу, значение больше среднего 00:08:29.260 --> 00:08:30.502 соответствует другому. 00:08:32.064 --> 00:08:34.667 Так, даутори, 95-й год. 00:08:34.987 --> 00:08:36.189 Например, учитывая, что 00:08:36.648 --> 00:08:40.809 Вот такой ряд: 23.73, 00:08:40.849 --> 00:08:45.329 5.453.0310.175.05. 00:08:45.409 --> 00:08:48.449 Метод средней дискритизации сначала вычисляет средний балл. 00:08:48.889 --> 00:08:53.410 Средний балл, как, соответственно, общее, средняя. 00:08:53.760 --> 00:08:57.761 Основываясь на этом значении, он дискротизирует вектор, используя следующее 00:08:57.801 --> 00:09:03.762 уравнение. То есть D равно 00:09:04.082 --> 00:09:10.444 единице, если AT большее или равно А среднее либо ноль 00:09:10.564 --> 00:09:11.084 иначе. 00:09:12.693 --> 00:09:16.330 Значит, в нашем примере среднее будет 9 486. 00:09:16.410 --> 00:09:20.126 Следовательно, дискретизированный вектор с использованием дискретизации среднего 00:09:20.166 --> 00:09:24.482 значения равен D, будет, как вот показано на слайде, 00:09:27.476 --> 00:09:32.118 С другой стороны, скритизация среднего диапазона использует среднее или среднее 00:09:32.158 --> 00:09:35.880 значение атрибута во всём наборе данных для определения границ класса. 00:09:36.280 --> 00:09:41.202 Средний диапазон вектора значений получается используем уравнение M равно S 00:09:41.443 --> 00:09:44.524 + Su пополам, где H — максимальное значение. 00:09:44.847 --> 00:09:47.085 U — минимальное значение в векторе. 00:09:47.325 --> 00:09:50.244 Дискретизация значений происходит следующим образом. 00:09:50.604 --> 00:09:57.000 То есть D и T равно единице, если AT больше, равно M 0, иначе. 00:09:57.440 --> 00:10:01.997 Соответственно, для вектора А мы получаем M как 138. 00:10:02.077 --> 00:10:05.715 Следовательно, соответствующий дискретизированный вектор значения D будет 00:10:06.662 --> 00:10:09.343 Один-ноль. 00:10:09.624 --> 00:10:13.786 Такой вектор не очень полезен, так как ему не хватает эффективности, надёжности. 00:10:14.066 --> 00:10:16.828 Выбросы значительно изменяют его. 00:10:16.948 --> 00:10:21.391 Опять же, догерти, 95-й год, ссылка No 14. 00:10:21.551 --> 00:10:23.792 Следующее — дискретизация равной ширины. 00:10:24.481 --> 00:10:26.960 Делит данные на K равных интервалов. 00:10:27.359 --> 00:10:31.036 Верхняя и нижняя границы интервалов определяются разницей между максимальным и 00:10:31.076 --> 00:10:33.874 минимальным значением атрибута набора данных. 00:10:34.793 --> 00:10:38.071 Соответственно, Кэтлет, 91-й год. 00:10:38.231 --> 00:10:41.948 Количество интервалов K задаётся пользователем, а нижняя верхняя граница, 00:10:42.028 --> 00:10:42.667 соответственно, PR 00:10:43.413 --> 00:10:45.973 И PR плюс один класса получается из данных. 00:10:46.093 --> 00:10:51.492 Так, соответственно в векторе в соответствии со следующим уравнением. 00:10:51.612 --> 00:10:58.612 Вероятность PR + первое равняется вероятности R PRT плюс Ash m делить на К. 00:10:58.972 --> 00:11:01.370 То есть для нашего примера К равно три. 00:11:01.730 --> 00:11:05.846 Разделение на классы происходит аналогично, вот как в нашем случае на три 00:11:06.006 --> 00:11:08.764 класса равно. 00:11:09.363 --> 00:11:16.277 Если PR нулевое меньше, равно AIT равно AIT больше, равно, чем ПР- 00:11:16.277 --> 00:11:18.355 нулевое, но меньше, чем ПР, пер первое. 00:11:18.807 --> 00:11:25.601 Равно двум. Если AT больше, равно ПРвое, но меньше ПР второе и 00:11:25.841 --> 00:11:27.080 равно наконец трём. 00:11:27.400 --> 00:11:32.756 Если AT больше, равно ПР2, но меньше ПР3. 00:11:33.275 --> 00:11:34.035 Соответственно, вот 00:11:36.076 --> 00:11:40.522 Такие границы верхние и нижние используются для выделения классов. 00:11:40.562 --> 00:11:43.446 Ну, как стандартное разбиение по интервалу. 00:11:43.686 --> 00:11:49.253 Следовательно, соответствующий дискретизированный вектор равен 3121. 00:11:57.596 --> 00:12:04.588 Так, ну вот можно ввести такой общий, для общего представления такую 00:12:04.748 --> 00:12:09.303 таблицу построить. Значит, методы дискретизации можно разделить 00:12:11.301 --> 00:12:14.138 используемой с учётом используемой меры. 00:12:14.572 --> 00:12:19.408 Используемые процедуры, модели обучения. 00:12:19.568 --> 00:12:26.322 То есть могут быть равной ширины: это биннинг, разбиение, расщепление и 00:12:26.482 --> 00:12:30.838 неуправляемая дискретизация равной частоты. 00:12:31.295 --> 00:12:34.979 То есть биннинг, тот же разбиение, расщепление, неуправляемое. 00:12:35.379 --> 00:12:42.105 Хи-квадрат хи-слияние, соответственно предложен в девяносто втором 00:12:42.185 --> 00:12:48.670 году. Зависимость слияния управляемое, как видите, хи- квадрат. 00:12:50.202 --> 00:12:54.882 Тоже че мерч, соответственно, зависимость слияния тоже управляется 00:12:56.322 --> 00:13:01.562 управляемая. Принцип минимальной единица описания, то есть End minium 00:13:02.762 --> 00:13:05.242 Discription land принцип. 00:13:05.872 --> 00:13:12.673 MDLP Foid & Irony в 1993 00:13:12.993 --> 00:13:18.314 году учитывает энтропию, расщепление управляемое метод 00:13:18.434 --> 00:13:22.155 Zett, соответственно. 00:13:23.388 --> 00:13:27.188 Hall and Scott, 97-й год. 00:13:27.668 --> 00:13:30.468 Зависимость расщепление, управляемость. 00:13:30.508 --> 00:13:32.587 Так, продолжение таблицы. 00:13:32.987 --> 00:13:37.867 Соответственно, оптимальная, гибкая дискритизация. 00:13:38.027 --> 00:13:40.747 Вот Optimal Flexeberity Frequency. 00:13:41.303 --> 00:13:48.183 Discritization OFD, соответственно, Ванг 2009 00:13:48.583 --> 00:13:54.942 год называется Врапин обёртывание Расщепление — метод 00:13:55.022 --> 00:13:56.542 гибридный, неуправляемый. 00:13:56.733 --> 00:13:58.533 Имеется в виду, что управляемая. 00:13:58.893 --> 00:14:02.893 Максимизация взаимозависимости классов и атрибутов. 00:14:02.933 --> 00:14:07.293 То есть класс атрибьют interdepenced механизм 00:14:09.253 --> 00:14:15.412 CIM Curgan & Closs 2004 г. 00:14:16.680 --> 00:14:18.758 То есть зависимость расщепления, управляемая. 00:14:18.878 --> 00:14:21.675 Дискритизация, зависящая от атрибута класса. 00:14:21.835 --> 00:14:25.632 Значит, класс, дискритизейшн. 00:14:25.712 --> 00:14:32.186 CID и сотоварищи, 1995 г. 00:14:33.420 --> 00:14:39.981 И последний метод Amiva Zanzeles 2009 год. 00:14:40.181 --> 00:14:41.342 Зависимость расщепления, 00:14:41.342 --> 00:14:49.584 управляемая, 00:14:49.664 --> 00:14:51.784 следующий вопрос. Интеграция данных. 00:14:52.064 --> 00:14:53.185 Интеграция данных. 00:14:53.815 --> 00:14:59.941 Идентификация одинаковых объектов из разных источников — тоже важный момент при 00:15:00.942 --> 00:15:02.944 предварительной обработке данных. 00:15:03.665 --> 00:15:07.909 Значит, что касается биологических данных, то биологические данные характеризуют 00:15:07.949 --> 00:15:09.070 свойства живых организмов. 00:15:09.511 --> 00:15:12.706 Вариант. То есть данные, связанные с метаболическими механизмами. 00:15:13.106 --> 00:15:16.461 Такие данные являются результатом комбинированного воздействия сложных 00:15:16.541 --> 00:15:22.412 механизмов, происходящих в клетке от ДНК до РНК, белка до уровня метаболитов. 00:15:23.218 --> 00:15:26.458 Понимание клеточных механизмов со всех точек зрения, вероятно, даст более 00:15:26.658 --> 00:15:30.217 биологически значимые результаты, чем просто анализ их с математической или 00:15:30.337 --> 00:15:31.857 вычислительной точки зрения. 00:15:32.257 --> 00:15:34.857 Вот такой анализ предполагает интеграцию данных. 00:15:35.057 --> 00:15:38.377 Вот как если взять другую предметную область, не только биологию, 00:15:38.897 --> 00:15:40.697 соответственно, тоже желательно использовать 00:15:42.033 --> 00:15:45.312 Соответственно, как-то осмысливать с точки зрения той или иной предметной области, 00:15:45.392 --> 00:15:50.669 той или иной отрасли, те данные, которые мы обрабатываем, то есть не точка, не 00:15:50.869 --> 00:15:54.428 просто механически использовать все эти методы. 00:15:54.947 --> 00:15:58.706 Интеграция данных — это процесс анализа данных, полученных из различных 00:15:58.826 --> 00:15:59.425 источников. 00:16:00.185 --> 00:16:02.827 ...и получение общей модели, объясняющей данные. 00:16:03.587 --> 00:16:08.191 Так, ну предлагается ссылка Шнайдер и Джеминс, 2012-й год. 00:16:08.311 --> 00:16:11.954 Такая модель лучше соответствует преобладающим условиям и даёт более точные 00:16:12.074 --> 00:16:12.514 прогнозы. 00:16:13.769 --> 00:16:17.089 Обзор литературы показал, что использование интеграции данных, ну вот, 00:16:17.129 --> 00:16:20.768 например, в биологических науках, было эффективно в тех задачах, где выявление 00:16:20.968 --> 00:16:25.687 метабологических и сагнальных изменений при раке путём интеграции данных об 00:16:25.807 --> 00:16:28.527 экспрессии генах и путях, соответственно, вот ссылки 00:16:29.503 --> 00:16:33.305 становится более эффективным выявление нарушений, связанных с белками при 00:16:33.465 --> 00:16:37.067 использовании комбинированного анализа генетических, а также геномных 00:16:37.147 --> 00:16:43.831 взаимодействий. С точки зрения системной биологии, интеграция данных может быть 00:16:43.951 --> 00:16:48.394 достигнута на трёх уровнях, а именно на уровне данных, на уровне обработки, на 00:16:48.434 --> 00:16:49.475 уровне принятия решений 00:16:50.586 --> 00:16:51.987 Соответственно, ссылочку видите. 00:16:52.067 --> 00:16:56.910 Интеграция данных на первом уровне требует объединения данных из разнородных 00:16:57.070 --> 00:17:00.672 источников и внедрения универсальной системы запросов для всех типов 00:17:00.712 --> 00:17:04.915 задействованных данных. Это самый трудоёмкий процесс в интеграции данных. 00:17:05.275 --> 00:17:08.998 Перед объединением данных необходимо рассматривать различные предположения и 00:17:09.078 --> 00:17:11.239 информацию об экспериментальных установках. 00:17:12.045 --> 00:17:15.645 Второй уровень интеграции данных включает в себя понимание и соответствующие 00:17:15.685 --> 00:17:18.645 корреляции между различными задействованными наборами данных. 00:17:19.125 --> 00:17:22.525 Третий этап — интеграции данных находится на уровне принятия решений. 00:17:22.605 --> 00:17:26.805 На этом этапе различные участвующие наборы данных сначала обрабатываются с 00:17:26.845 --> 00:17:27.325 использованием 00:17:27.998 --> 00:17:31.202 конкретных процедур и индивидуальных результатов. 00:17:31.562 --> 00:17:35.727 И наконец, эти отдельные результаты сопоставляются в соответствии с некоторой 00:17:35.887 --> 00:17:42.054 онтологией или информацией, известной априори, чтобы интерпретировать результаты 00:17:42.214 --> 00:17:43.255 с большей достоверностью 00:17:44.327 --> 00:17:47.446 Ну вот здесь у нас приведён примерно биологических данных. 00:17:47.806 --> 00:17:54.405 Это в той или иной мере касается любых социальных явлений, химических процессов 00:17:54.965 --> 00:18:00.684 и, соответственно, довольно большого практически всех возможных предметных 00:18:00.804 --> 00:18:01.324 областей. 00:18:09.139 --> 00:18:10.619 Так, ну и наконец, выводы. 00:18:10.859 --> 00:18:14.658 Реальные данные, как правило, являются неполными по своей природе. 00:18:15.058 --> 00:18:20.137 Для обработки ситуации неполны различных форм, таких как шум, пропущенные значения, 00:18:20.217 --> 00:18:24.736 несоответствие и проклятие размерности, необходимы этапы подготовки данных. 00:18:24.896 --> 00:18:27.615 И вот эти этапы мы с вами сейчас подробно рассмотрели. 00:18:42.326 --> 00:18:47.848 Так, ну и в конце, соответственно, список литературы. 00:18:50.489 --> 00:18:54.170 Конечно, можете сделать паузу и внимательно посмотреть 00:18:57.211 --> 00:19:01.092 проблему предварительной подготовки сданных, соответственно, довольно много 00:19:01.412 --> 00:19:01.652 было. 00:19:02.660 --> 00:19:04.738 По этому поводу написано статей. 00:19:05.537 --> 00:19:09.253 Какие-то статьи наиболее значимые здесь приводятся 00:19:13.329 --> 00:19:16.485 программные средства интеллектуального анализа данных. 00:19:17.204 --> 00:19:19.242 То есть, ну конечно, прежде всего Питон. 00:19:20.723 --> 00:19:24.116 Библиотека Micker Stenzer Flow и так далее. 00:19:24.156 --> 00:19:26.232 О них мы немножко говорили. 00:19:26.990 --> 00:19:29.266 Также рассмотрим некоторые и другие. 00:19:36.056 --> 00:19:39.178 При выборе языка программирования для работы в области машинного обучения 00:19:39.338 --> 00:19:43.261 следует учитывать возможности заявленных производителем систем, а также наличие 00:19:43.381 --> 00:19:48.385 допустимых, доступных написанных на различных языках библиотек, которые могут 00:19:48.425 --> 00:19:51.147 быть использованы для реализации процессов машинного обучения. 00:19:51.783 --> 00:19:56.823 Анализ объявленных вакансий на сайте, допустим, Editcom показывает, что наиболее 00:19:56.903 --> 00:19:59.823 востребованным языком программирования в профессиональной области машинного 00:19:59.903 --> 00:20:01.222 обучения является Питон. 00:20:01.382 --> 00:20:06.582 Вслед за Питон следует Джаво, потом языки Р, далее C++. 00:20:07.142 --> 00:20:11.101 Популярность PITON может быть обусловлена возросшим развитием фреймворков глубокого 00:20:11.181 --> 00:20:13.101 обучения, доступных для этого языка. 00:20:13.525 --> 00:20:17.445 включая Tenzer Flow, Pie Touch, Керс. 00:20:17.645 --> 00:20:22.646 Ну вот наиболее распространённые как раз библиотеки 00:20:29.768 --> 00:20:31.088 как язык, обладающий 00:20:31.840 --> 00:20:35.037 Читаемым синтаксисом и возможностью использования в качестве скриптивного 00:20:35.117 --> 00:20:40.271 языка Питон оказывается мощным и простым средством как для предварительной 00:20:40.351 --> 00:20:43.907 обработки данных, так и для непосредственной работы с ними. 00:20:44.027 --> 00:20:45.625 Библиотека машинного обучения. 00:20:47.325 --> 00:20:51.527 Сетит Лён построенный поверх нескольких существующих пакетов Питон, с которыми 00:20:51.647 --> 00:20:54.008 разработчики Piton, возможно, уже знакомы. 00:20:54.088 --> 00:20:58.450 То есть Нумпай, Skypie MatPloatl. 00:21:13.189 --> 00:21:18.074 Так, ну вот Джава — тоже как некоторая альтернатива Питону. 00:21:18.755 --> 00:21:22.920 Мы говорили, что, в принципе, многие разработчики, которые давно работают с 00:21:22.960 --> 00:21:27.165 Джавой, вполне возможно, отдадут предпочтение именно этим языкам. 00:21:28.939 --> 00:21:33.140 Джава широко применяется при корпоративном программировании, обычно используется 00:21:33.340 --> 00:21:37.101 разработчиками интерактивных настольных приложений, которые также используют 00:21:37.141 --> 00:21:39.582 методы машинного обучения на уровне предприятия. 00:21:39.942 --> 00:21:44.183 Обычно джава — не лучший выбор для тех, кто новичок в программировании и хочет 00:21:44.503 --> 00:21:46.183 больше узнать о машинном обучении. 00:21:46.827 --> 00:21:51.627 Обычно джаво предпочитают те, кто уже имел опыт разработки в данной среде и нацелен 00:21:51.827 --> 00:21:55.787 на то, чтобы использовать джаво применительно к машинному обучению. 00:21:55.987 --> 00:21:58.827 Если же рассматривать использование приложений машинного обучения в 00:21:58.907 --> 00:22:03.267 промышленности, то здесь джаво, как правило, используется более, чем Питон. 00:22:03.554 --> 00:22:07.116 На платформе Джаво разработаны средства для обеспечения сетевой безопасности, в 00:22:07.196 --> 00:22:11.878 чём числе защита от кибератак, обнаружений и мошенничества. 00:22:11.998 --> 00:22:17.840 Разработано множество библиотек машинного обучения на Джаво, которые доступны на 00:22:17.960 --> 00:22:18.400 ресурсе 00:22:19.362 --> 00:22:25.442 Deep Leon 4G с открытым исходным кодом и распространяется в свободном режиме. 00:22:25.602 --> 00:22:31.443 Библиотека глубокого обучения написанного Джавой Искала набор инструментов машинного 00:22:31.563 --> 00:22:32.883 обучения Маллет. 00:22:33.958 --> 00:22:37.995 Позволяет использовать процедуры машинного обучения для обработки текста, в том числе 00:22:38.115 --> 00:22:40.673 обработки естественного языка, тематического моделирования, 00:22:40.753 --> 00:22:45.749 классификации, кластеризации документов, набор алгоритмов машинного обучения века. 00:22:45.949 --> 00:22:48.547 Можно использовать для задач интеллектуального анализа данных при 00:22:48.667 --> 00:22:50.825 решении различных практических задач. 00:22:53.179 --> 00:22:53.619 Си+ 00:23:00.301 --> 00:23:03.742 это язык, традиционно выбираемый специалистами для использования средств 00:23:03.862 --> 00:23:08.583 машинного обучения и искусственного интеллекта в игровых и роботизированных 00:23:08.663 --> 00:23:10.704 приложениях, включая локомацию роботов 00:23:12.090 --> 00:23:15.571 Разработчики встроенного вычислительного оборудования, инженеры системотехники, с 00:23:15.611 --> 00:23:20.013 большой вероятностью отдадут предпочтение C+ или CI в приложениях машинного обучения 00:23:20.174 --> 00:23:23.415 по причине факта владения этим языком и уровня контроля над ним. 00:23:23.775 --> 00:23:27.417 Некоторые библиотеки машинного обучения, которые вы можете использовать в SI++, 00:23:27.457 --> 00:23:29.178 включают расширяемые библиотеки MPLAC. 00:23:29.545 --> 00:23:33.263 Делип, предлагающий широкий спектр алгоритмов машинного обучения, а также 00:23:33.383 --> 00:23:35.862 модульный и открытый исходный код-шар. 00:23:36.422 --> 00:23:41.540 Так, ну этой альтернативой использования всех языков является довольно удобная 00:23:41.660 --> 00:23:43.259 система RapidMiner. 00:23:43.419 --> 00:23:44.339 То есть, в принципе 00:23:45.570 --> 00:23:50.809 Это такая исследовательская среда, в которой, вот, видите, тут вот изображены 00:23:51.049 --> 00:23:53.768 некоторые элементы этого языка. 00:23:54.048 --> 00:24:00.607 То есть, в виде таких вот элементов можно создавать довольно сложные вычислительные 00:24:00.727 --> 00:24:01.167 модели. 00:24:01.658 --> 00:24:03.017 Модели обучения. 00:24:03.537 --> 00:24:07.416 Соответственно, можно даже тут сгенерировать какие-то данные для 00:24:07.576 --> 00:24:11.614 обучения. Довольно большой инструментарий. 00:24:11.934 --> 00:24:15.732 Так, ну и самое главное, что система Rapet Miner позволяет использовать методы 00:24:15.852 --> 00:24:17.812 машинного обучения без программирования. 00:24:18.853 --> 00:24:22.052 Как кое-кому это могут быть как раз очень привлекательны. 00:24:22.612 --> 00:24:24.451 Базовые понятия определения. 00:24:24.771 --> 00:24:28.490 Значит, дадим ряд базовых понятий, которые будут необходимы при решении 00:24:29.010 --> 00:24:32.288 исследовательских задач с помощью системы анализа данных ropidmani. 00:24:32.568 --> 00:24:36.047 Значит, прежде всего — атрибуты, рассматривая объекты и их свойства, будем 00:24:36.247 --> 00:24:36.687 определять 00:24:38.152 --> 00:24:39.874 Оперировать понятием атрибута. 00:24:39.994 --> 00:24:43.077 Этот термин используется в системе RoppenMiner, когда требуется описать 00:24:43.197 --> 00:24:49.884 свойства. Есть много снимков этого термина, много синонимов этого термина, и 00:24:49.924 --> 00:24:54.488 в каждом конкретном случае вместо термина «атрибут» может предполагаться 00:24:54.769 --> 00:24:55.489 характеристика 00:24:56.457 --> 00:25:00.821 Особенность, фактор влияния, показатель, переменная, сигнал. 00:25:01.942 --> 00:25:05.985 Описание с помощью атрибутов может использоваться как для процессов, так и 00:25:06.065 --> 00:25:10.909 для ситуаций. Использование атрибутов применяется для описания технических 00:25:10.989 --> 00:25:13.071 процессов. Например, падающее стекло. 00:25:14.068 --> 00:25:17.629 Разобьётся или нет — является примером атрибута логического типа. 00:25:17.749 --> 00:25:20.110 Может принимать значение либо истина, либо ложь. 00:25:20.150 --> 00:25:22.391 То есть разобьётся или нет — истина или ложь. 00:25:22.591 --> 00:25:25.952 Или можно задать количественную характеристику вероятности, что стекло 00:25:26.032 --> 00:25:30.193 разобьётся. Или другой пример — вероятность отказа какой-нибудь машины. 00:25:31.038 --> 00:25:35.113 И технические процессы или ситуации также могут быть описаны подобным образом. 00:25:35.273 --> 00:25:39.508 Вот как предсказать успех рекламного или маркетингового продвижения? 00:25:39.748 --> 00:25:42.664 Какой товар клиент будет покупать дольше? 00:25:43.264 --> 00:25:46.899 Сколько ещё несчастных случаев будет страховать компания? 00:25:47.759 --> 00:25:50.919 Так, введём ещё ряд терминов, иллюстрируя их на примерах. 00:25:51.039 --> 00:25:56.040 Каждое предприятие, вероятно, имеет информацию, то есть атрибут, относящийся к 00:25:56.120 --> 00:26:00.761 их клиентам. Как минимум, атрибуты клиента, содержащие географические данные, 00:26:00.961 --> 00:26:04.561 информацию о том, какие продукты или услуги клиент уже купил 00:26:05.453 --> 00:26:09.489 Как ни удивительно, даже на базе такого минимума данных могут быть сделаны 00:26:09.609 --> 00:26:13.925 прогнозы. Давайте рассмотрим, правда, несколько надуманный примеров. 00:26:14.005 --> 00:26:18.601 Предположим, что вы работаете на предприятии, которое хотелось бы 00:26:18.841 --> 00:26:22.237 предложить своим клиентам продукцию, которая ориентирована на их будущие 00:26:22.277 --> 00:26:24.116 потребности. По имеющимся данным только 00:26:25.422 --> 00:26:28.819 Для сотни из ваших клиентов выявлены их потребности. 00:26:28.899 --> 00:26:33.374 62 из них из этих 100 клиентов заинтересованы в данном продукте. 00:26:33.694 --> 00:26:37.970 Ваш отдел исследований, разработчик, начал выпускать новый продукт в короткие сроки, 00:26:38.050 --> 00:26:40.168 который удовлетворил бы эти новые потребности. 00:26:40.288 --> 00:26:43.964 Большинство из 62 клиентов с соответствующим профилем потребностей 00:26:44.124 --> 00:26:44.684 одобрили бы 00:26:45.902 --> 00:26:48.940 Выпущенный прототип продукта, хотя большинство оставшихся участников 00:26:49.060 --> 00:26:52.577 исследования проявили лишь небольшой интерес, как и ожидалось. 00:26:52.657 --> 00:26:57.133 Тем не менее, в общей сложности 54 из 100 клиентов в исследовании сказали, что они 00:26:57.253 --> 00:26:59.131 нашли новый продукт полезным. 00:26:59.491 --> 00:27:03.208 Прототип таким образом оценивается как успешный, идёт производство. 00:27:03.328 --> 00:27:04.407 Теперь остаётся только вопрос 00:27:05.545 --> 00:27:10.463 О том, как из имеющихся клиентов или даже из других потенциальных клиентов выбрать 00:27:10.703 --> 00:27:15.421 именно тех клиентов, с которыми в последующем маркетинговые события 00:27:17.338 --> 00:27:20.140 Сбытовые усилия обещают наибольший успех. 00:27:20.220 --> 00:27:24.183 Поскольку вы хотели бы оптимизировать свою работу в этом сегменте, что означает, что, 00:27:24.223 --> 00:27:28.706 в частности, исключение с самого начала таких усилий, которые вряд ли приведут к 00:27:28.786 --> 00:27:30.147 покупке. Но как это сделать? 00:27:30.267 --> 00:27:33.790 Потребность в альтернативных решениях и, следовательно, интерес к новому продукту 00:27:34.846 --> 00:27:38.521 Возникли в рамках исследования клиента там под множестве ваших клиентов. 00:27:38.601 --> 00:27:43.635 Выполнение этого исследования для ваших клиентов является слишком дорогостоящим, 00:27:43.754 --> 00:27:45.992 поэтому этот вариант вряд ли приемлем. 00:27:46.351 --> 00:27:49.707 И это именно та сфера, где интеллектуальный анализ данных может 00:27:49.947 --> 00:27:50.386 помочь. 00:27:50.765 --> 00:27:55.045 Давайте рассмотрим возможный выбор атрибутов по отношению к вашим клиентам. 00:27:55.365 --> 00:28:00.885 Вот можно выбрать такой набор атрибутов: имя, адрес, 00:28:01.645 --> 00:28:08.285 сектор, подсектор, количество сотрудников, количество покупок-под покупок в торговой 00:28:08.365 --> 00:28:11.085 группе один, количество покупок в торговой группе 2. 00:28:12.094 --> 00:28:16.618 Количество покупок в различных товарах-группах означает операции в ваших 00:28:16.739 --> 00:28:21.303 товарных группах, которые вы уже сделали с этим клиентом в прошлом. 00:28:22.465 --> 00:28:26.709 Могут быть, конечно, выбраны более или менее или даже совершенно другие атрибуты, 00:28:26.789 --> 00:28:28.872 но это не имеет значения на данном этапе. 00:28:38.587 --> 00:28:42.017 Так, соответственно, базовый вот выбор атрибутов. 00:29:03.805 --> 00:29:06.407 Так, вот такая иллюстрация может быть. 00:29:11.930 --> 00:29:16.053 Предположим, что у вас есть информация, доступная относительно этих атрибутов для 00:29:16.133 --> 00:29:17.614 каждого из ваших клиентов. 00:29:17.894 --> 00:29:21.417 Введём ещё один атрибут, который мы можем рассматривать для нашего сценария: 00:29:21.497 --> 00:29:23.418 нравится ли заказчику прототип или нет. 00:29:24.173 --> 00:29:27.648 Значение атрибута доступно только для 100 клиентов в исследовании. 00:29:27.968 --> 00:29:31.084 Информация этого атрибута для других клиентов просто неизвестна. 00:29:31.164 --> 00:29:34.559 Тем не менее, мы также включаем атрибут в списки наших атрибутов. 00:29:34.679 --> 00:29:37.755 Прототип основатель оценивается положительно. 00:29:39.270 --> 00:29:43.678 Имя, адрес, сектор, подсектор, количество сотрудников, количество покупок в товарной 00:29:43.718 --> 00:29:46.845 группе 1, количество покупок в товарной группе — 2. 00:30:01.781 --> 00:30:05.459 Так, ну дата рождения немножко не входит, но я думаю, понятно. 00:30:10.856 --> 00:30:17.773 Если мы предположим, что у вас есть тысяча клиентов, что вы 00:30:17.933 --> 00:30:18.412 можете только 00:30:20.103 --> 00:30:24.819 Указывать, как оценили сто из них прототип положительный или нет. 00:30:25.019 --> 00:30:28.496 Вы ещё не знаете, что думают другие, но вам бы хотелось это узнать. 00:30:28.576 --> 00:30:32.813 Атрибут прототипа воспринят положительно, то есть, скорее всего, логического вида, 00:30:32.933 --> 00:30:34.732 таким образом, играет особую роль. 00:30:35.470 --> 00:30:39.750 Так как он идентифицирует каждого из ваших клиентов по отношению к текущему вопросу. 00:30:39.870 --> 00:30:42.591 Поэтому мы также назовём его специальным атрибутом. 00:30:42.711 --> 00:30:47.992 Так как он идентифицирует клиентов как этикетка бренда на рубашке или надпись на 00:30:48.072 --> 00:30:50.152 булавке, воткнутый в доску. 00:30:50.232 --> 00:30:54.273 Такой атрибут-маркер в системе Rappit Miner и вот называют метками Lable. 00:30:55.022 --> 00:30:59.304 Цель исследования состоит в том, чтобы заполнить этот атрибут для всех клиентов. 00:30:59.384 --> 00:31:04.546 Мы также будем использовать понятие целевой атрибут как аналог термина «метка» 00:31:13.990 --> 00:31:15.951 Так, вот концепции и примеры. 00:31:19.262 --> 00:31:20.544 Иллюстрацию. 00:31:31.796 --> 00:31:35.760 Структурные характеристики клиентов по признакам уже помогают решить 00:31:36.399 --> 00:31:39.998 Структурирование характеристик клиентов по признакам уже помогает решать проблемы 00:31:40.078 --> 00:31:41.317 более формализованно. 00:31:41.597 --> 00:31:46.995 Таким образом, мы обеспечили, чтобы каждый из наших клиентов был поставлен одинаково. 00:31:47.313 --> 00:31:52.667 В определённом смысле мы определили тип или понятие клиента, который значительно 00:31:52.707 --> 00:31:56.902 отличается от других понятий, например, таких, как изделие, тем как клиенты, как 00:31:56.982 --> 00:32:00.698 правило, не имеют материальных свойств, а изделия редко покупают в группе продуктов 00:32:00.858 --> 00:32:02.656 один. Важно, чтобы для каждой из проблем 00:32:04.036 --> 00:32:07.918 Мы сначала определили, с какими объектами вы действительно имеете дело и какими 00:32:07.958 --> 00:32:09.638 атрибутами они характеризуются. 00:32:09.958 --> 00:32:14.200 Мы неявно определили выше, указав атрибуты, имя, адрес, сектор и так далее. 00:32:14.520 --> 00:32:18.122 И, в частности, операции покупки в отдельных товарных группах. 00:32:18.242 --> 00:32:21.483 Именно этими атрибутами описываются объекты понятия заказчика. 00:32:22.137 --> 00:32:25.735 И все эти понятия до сих пор оставались относительно абстрактными. 00:32:25.855 --> 00:32:30.372 Хотя мы теперь знаем, каким образом мы можем описать клиентов, но ещё не 00:32:30.452 --> 00:32:32.411 выполнили это для конкретных клиентов. 00:32:32.531 --> 00:32:34.730 Давайте посмотрим на следующие атрибуты клиента. 00:32:34.850 --> 00:32:36.929 Прототип оценивается положительно? 00:32:37.089 --> 00:32:37.249 Да. 00:32:37.719 --> 00:32:44.084 Название, соответственно, Do System In Corporation, соответственно, адрес: 00:32:44.324 --> 00:32:49.929 76 массачувств, сектор Механика, подсектор 00:32:51.010 --> 00:32:53.252 трубогичные машины. 00:32:55.032 --> 00:32:56.794 Количество сотрудников — 1 000. 00:32:57.114 --> 00:33:02.119 Да, количество покупок в товарной группе 1 —5, количество покупок в товарной группе 2 00:33:02.239 --> 00:33:06.363 — 0. Мы говорим, что эти конкретные клиенты являются примером для нашего 00:33:06.443 --> 00:33:11.448 понятия клиент. Каждый пример, то есть наблюдение, ну, или бывает кейс-случаи, их 00:33:11.488 --> 00:33:12.209 ещё называют. 00:33:13.150 --> 00:33:16.670 Может быть охарактеризован своими атрибутами, иметь конкретное значение для 00:33:16.750 --> 00:33:23.151 этих атрибутов, которые можно сравнить с другими примерами в случае описанных 00:33:23.351 --> 00:33:27.591 выше: Dosystem Perporation — это пример клиента, который участвовал в нашем 00:33:27.671 --> 00:33:31.551 исследовании. Поэтому существуют значение, доступное для нашего целевого атрибута 00:33:31.711 --> 00:33:33.432 прототип оценивается положительно. 00:33:34.237 --> 00:33:38.279 Dusystem Incorporation был оценён положительно имеет «да» в качестве 00:33:38.399 --> 00:33:42.360 значения атрибута. Таким образом, мы здесь говорим о положительном примере. 00:33:42.801 --> 00:33:47.442 Логически рассуждая, могут быть также негативные примеры и примеры, которые не 00:33:47.602 --> 00:33:50.363 позволяют нам сделать утверждение в целевом атрибуте. 00:33:51.559 --> 00:33:58.077 Соответственно. Следующий 00:33:58.157 --> 00:33:58.956 слайд. 00:34:07.393 --> 00:34:08.673 Роли атрибутов. 00:34:10.980 --> 00:34:17.821 Вот ведущий, организатор, коллективист, инноватор, сетевик, исполнитель, аналитик, 00:34:18.021 --> 00:34:21.141 реализатор. Вот как варианты роли 00:34:21.261 --> 00:34:28.101 атрибутов, итак, мы уже познакомились с двумя 00:34:28.181 --> 00:34:29.581 различными видами атрибутов. 00:34:30.438 --> 00:34:30.680 То есть 00:34:31.100 --> 00:34:35.538 ...теми, которые просто описывают примеры, и теми, которые характеризуются примеры в 00:34:35.578 --> 00:34:38.736 целом. Атрибуты могут таким образом играть различные роли. 00:34:38.856 --> 00:34:43.054 Мы уже видели роль метки для атрибутов, которые каким-либо образом индифицируют 00:34:43.094 --> 00:34:47.092 примеры и которые должны быть предсказаны для новых примеров, ещё не 00:34:47.172 --> 00:34:49.012 характеризующихся подобным образом. 00:34:49.091 --> 00:34:52.970 В нашем сценарии, описанном выше, метка всё ещё описывает или присутствует. 00:34:53.826 --> 00:34:57.423 Характеристику того, был ли прототип оценён положительно. 00:34:58.781 --> 00:35:05.655 Аналогичным образом существуют, например, роли связанные атрибуты которых служат 00:35:06.094 --> 00:35:09.012 для чёткой идентификации соответствующего примера. 00:35:09.604 --> 00:35:12.485 В этом случае атрибут принимает роль идентификатора. 00:35:12.725 --> 00:35:15.246 Называется ID для краткости. 00:35:15.486 --> 00:35:18.807 Вы также найдёте такие атрибуты, идентифицированные с данной ролью в 00:35:18.887 --> 00:35:20.688 программном обеспечении Robin Manner. 00:35:20.768 --> 00:35:25.370 В нашем сценарий клиента атрибут имя должен принять роль такого идентификатора. 00:35:26.125 --> 00:35:28.523 Идентификатора. Существуют другие роли. 00:35:28.683 --> 00:35:32.799 Например, атрибут, который обозначат вес примера относительно метки. 00:35:32.879 --> 00:35:35.477 В этом случае роль имеет имя вес, вейт. 00:35:35.957 --> 00:35:39.873 Атрибуты без особой роли, то есть те, которые просто описывают примеры, также 00:35:39.953 --> 00:35:43.750 называются регулярными атрибутами и не имеют обозначения роли в большинстве 00:35:43.870 --> 00:35:44.230 случаев. 00:35:44.907 --> 00:35:51.387 Кроме того, среди rappetmaner есть возможность распределения ролей по 00:35:51.467 --> 00:35:53.467 внешнему, по вашему усмотрению. 00:35:53.587 --> 00:35:58.627 Следовательно, идентификация атрибутов, следовательно, отдельно от их значений. 00:36:03.507 --> 00:36:06.707 Так, ну вот типы значений, как видите, могут быть. 00:36:07.103 --> 00:36:10.380 Номинальные, численные, целые числа 00:36:15.815 --> 00:36:20.170 Типы значений. Наряду с различными ролями атрибута существует и вторая 00:36:20.330 --> 00:36:23.447 характеристика атрибутов, которую стоит рассматривать внимательно. 00:36:24.162 --> 00:36:27.643 Например, системы Do определила соответствующие значения для различных 00:36:27.723 --> 00:36:32.524 атрибутов. Например, Do System incorporation атрибут имя и значение пять 00:36:33.084 --> 00:36:36.924 для количества сделанных потоков покупок в торговой группе один. 00:36:37.004 --> 00:36:40.845 Что касается атрибута имя, то конкретное значение для этого примера определённой 00:36:40.925 --> 00:36:43.005 степени является произвольным текстом. 00:36:43.851 --> 00:36:48.296 Для атрибута. Количество покупок в товарной группе 1 должно быть указано как 00:36:48.416 --> 00:36:54.943 целое число назовём указание по отношению к значению под 00:36:55.143 --> 00:36:58.506 текстом или числом типом значения атрибута. 00:36:58.626 --> 00:37:02.190 Среди рабинер используется достаточно много различных типов, причём 00:37:02.892 --> 00:37:05.370 Одни типы могут быть преобразованы в другие. 00:37:05.490 --> 00:37:09.806 То есть вот типы значений, которые поддерживаются номинальные, так называемый 00:37:09.966 --> 00:37:14.722 номинал — это категорийные нечисловые значения, обычно используемые для 00:37:14.882 --> 00:37:17.560 конечного числа величин различных характеристик. 00:37:17.880 --> 00:37:19.199 Числовые значения — нумер 00:37:20.352 --> 00:37:21.632 Для численных значений. 00:37:21.792 --> 00:37:23.713 Целые числа — интежер. 00:37:24.033 --> 00:37:26.314 Целые числа положительные и отрицательные. 00:37:26.634 --> 00:37:28.835 Действительные числа — rL. 00:37:29.075 --> 00:37:31.756 То есть действительные числа: положительные и отрицательные. 00:37:31.916 --> 00:37:35.318 Текст, текст. Случайный свободный текст, без структуры. 00:37:37.125 --> 00:37:40.207 Беноминальные. Беноминальные. 00:37:40.327 --> 00:37:45.290 Беноминал частый случай номинальных, то есть когда допускается только два 00:37:45.490 --> 00:37:51.294 различных значения: многозначные и номинальные, полиноминальные, то есть 00:37:51.814 --> 00:37:52.655 полиноминаль. 00:37:53.629 --> 00:37:56.870 Частный случай номинальный, где допускается больше, чем два различных 00:37:56.950 --> 00:37:58.310 значения. Дата, время. 00:37:58.710 --> 00:38:00.670 Дейта-тейм, дата-время. 00:38:01.870 --> 00:38:06.071 Дата, дета, только дата, время, тайм, только время. 00:38:07.351 --> 00:38:10.751 На данный момент просто будем иметь в виду, что существуют различные типы 00:38:10.831 --> 00:38:12.072 значений для атрибутов. 00:38:12.451 --> 00:38:17.727 Будем считать тип значения текст в случае обычного текста, тип значения числовой в 00:38:17.767 --> 00:38:22.324 случае чисел, тип значения номинальный в случае допустимости использования 00:38:23.163 --> 00:38:26.840 нескольких вариантов значений, например, с двумя возможностями: «Да» и «нет» для 00:38:27.000 --> 00:38:30.957 целевого атрибута. Обратите внимание, что в приведённом выше примере количество 00:38:31.077 --> 00:38:34.035 сотрудников больше тысячи использовалось вместо точного указания 00:38:34.872 --> 00:38:40.877 1 250 сотрудников — ты используешь интеллект, чтобы разрабатывать 00:38:41.037 --> 00:38:43.519 современные. Так, следующий слайд. 00:38:44.760 --> 00:38:46.081 Данные метаданные. 00:38:58.484 --> 00:39:02.047 Данные методанные. Подведём итог нашей рассмотренной ситуации. 00:39:02.167 --> 00:39:06.331 Мы видели понятие заказчик, которое мы опишем с помощью набора атрибутов. 00:39:06.451 --> 00:39:12.576 Прототип оценивается положительно: Lable — номинал: имя, текст, адрес — текст, 00:39:12.696 --> 00:39:13.857 сектор, номинал. 00:39:14.106 --> 00:39:19.149 Подсектор, номинал, количество сотрудников — номинал, количество потоков в товарной 00:39:19.229 --> 00:39:23.911 группе — 1 — интежор, количество покупок в товарной группе — 2 — тоже интежер. 00:39:24.351 --> 00:39:28.954 Атрибут прототип оценивается положительно, наш целевой атрибут. 00:39:29.274 --> 00:39:30.195 Целевой атрибут может 00:39:30.747 --> 00:39:34.666 Иметь значение номинал, что означает, что только относительно немногие 00:39:34.746 --> 00:39:38.905 характеристики в данном случае да-нет могут использоваться. 00:39:39.105 --> 00:39:42.864 Строго говоря, все они, даже бин-номинальные, поскольку допускается 00:39:43.104 --> 00:39:46.223 только два значения. Все остальные атрибуты не имеют особой роли. 00:39:46.989 --> 00:39:53.310 То есть они являются регулярными и имеют либо числовой целый тип, либо текстовый. 00:39:53.470 --> 00:39:58.391 Следующее определение очень важно, так как оно играет решающую роль в успешном 00:39:58.511 --> 00:40:03.752 анализе данных. Вся информация, которая концептуально описывает данные, называется 00:40:03.872 --> 00:40:04.712 метаданными. 00:40:05.457 --> 00:40:08.535 Поскольку она представляет данные через фактические данные. 00:40:09.254 --> 00:40:14.212 Клиентская база нашего предприятия содержит ряд примеров для введённого 00:40:14.372 --> 00:40:18.050 понятия заказчика, то есть информацию, сохранённую для отдельных атрибутов. 00:40:18.906 --> 00:40:22.865 Теперь цель состоит в том, чтобы найти инструкцию для прогнозирования, 00:40:22.905 --> 00:40:26.705 построенную на основе примеров, для которых доступна информация относительно 00:40:26.905 --> 00:40:33.583 целевого атрибута и которая даст нам вероятность того, что будут ли остальные 00:40:33.743 --> 00:40:36.623 клиенты оценивать данную категорию продуктов положительно. 00:40:36.945 --> 00:40:41.186 Поиск такой инструкции прогнозированию и как раз является одной из задач, которые 00:40:41.426 --> 00:40:44.587 будут выполнены с использованием интеллектуального анализа данных. 00:40:44.987 --> 00:40:48.948 Однако здесь важно, чтобы информация для атрибутов отдельных примеров была 00:40:49.028 --> 00:40:53.029 представлена в упорядоченной форме, чтобы метод интеллектуального анализа данных мог 00:40:53.109 --> 00:40:54.949 получить к ней доступ с помощью компьютера. 00:40:56.075 --> 00:40:58.598 Значит, что здесь может быть более очевидным, чем таблица? 00:40:58.718 --> 00:41:02.761 Каждый из атрибутов определяет столбец, и каждый пример наблюдения с различным 00:41:02.841 --> 00:41:05.484 значением атрибута соответствует строке этой таблицы. 00:41:05.764 --> 00:41:09.647 И вот назовём такую таблицу example set набором примеров. 00:41:09.928 --> 00:41:13.731 Так как эта таблица содержит данные для всех атрибутов, имеющихся примеров. 00:41:14.469 --> 00:41:19.712 Далее применительно к Rabe Buller мы будем использовать терминта, дейта-сет и 00:41:19.913 --> 00:41:21.674 экзампл-сет как синонимы. 00:41:21.714 --> 00:41:25.196 В любом случае имеется в виду таблицы с соответствующими записями для значения 00:41:25.276 --> 00:41:26.877 атрибутов текущих примеров. 00:41:27.197 --> 00:41:29.839 Мы обращаем внимание, что эта уже таблица является 00:41:31.504 --> 00:41:34.666 Результатом этапа предварительной обработки данных. 00:41:34.706 --> 00:41:40.029 То есть данные уже вот у нас уже в том виде, который можно подвергать анализу. 00:41:40.709 --> 00:41:45.152 То есть данные уже прошли первичную обработку данных системы и готовы 00:41:45.392 --> 00:41:50.355 непосредственно к использованию, применению алгоритмов машинного обучения, 00:41:50.475 --> 00:41:52.516 статистических алгоритмов и тому подобное. 00:41:53.923 --> 00:41:56.124 Данные описывают объекты предметной области. 00:41:56.244 --> 00:42:00.245 Методданные описывают структуру предметной области, а следовательно, и самих данных. 00:42:00.365 --> 00:42:04.166 Большинство методов интеллектуального анализа данных предполагают, что исходные 00:42:04.286 --> 00:42:09.008 данные будут представлены посредством такой таблицы значений атрибутов. 00:42:09.448 --> 00:42:10.808 Рассмотрим случай, это так. 00:42:11.327 --> 00:42:14.366 И мы можем обойтись без дальнейших преобразований данных. 00:42:14.726 --> 00:42:17.325 Однако на практике это происходит совершенно иначе. 00:42:17.485 --> 00:42:21.684 И большая часть работы при анализе данных — это время, затраченное на преобразование 00:42:21.764 --> 00:42:25.162 данных в формат, подходящий для интеллектуального анализа данных. 00:42:33.569 --> 00:42:39.246 Так, моделирование, соответственно, тоже один из важных моментов. 00:42:40.445 --> 00:42:43.444 После того, когда данные наших клиентов будут представлены в хорошо 00:42:43.644 --> 00:42:47.402 структурированном формате, появится возможность заменить неизвестное значение 00:42:47.522 --> 00:42:51.120 целевого атрибута на наиболее вероятное прогнозируемое значение с помощью метода 00:42:51.160 --> 00:42:52.439 интеллектуального анализа данных. 00:42:53.000 --> 00:42:57.004 Для подобных целей может применяться множество методов, многие из которых так 00:42:57.325 --> 00:43:01.249 или иначе приведённые ранее рассуждения основаны на человеческом поведении. 00:43:01.649 --> 00:43:05.093 Будем называть использование какого-либо метода интеллектуального анализа данных и 00:43:05.213 --> 00:43:06.855 получения результата моделью. 00:43:06.975 --> 00:43:09.618 То есть инструкции прогнозирования является моделью. 00:43:10.265 --> 00:43:14.381 Модели могут быть легко понятными и объяснять основные процессы в доступной 00:43:14.501 --> 00:43:19.336 форме. Если же или же можно применять для прогнозирования в случае неопределённой 00:43:19.456 --> 00:43:21.774 ситуации. Иногда применяется и то, и другое. 00:43:21.974 --> 00:43:25.850 Например, в следующей модели, которую методом интеллектуального анализа данных 00:43:26.815 --> 00:43:33.699 мог бы предложить для рассмотренного нами случая То есть, если клиент приехал из 00:43:33.819 --> 00:43:39.702 города и имеет более 500 сотрудников, если хотя бы три покупки были совершены в 00:43:39.782 --> 00:43:43.104 торговой группе «Один», то вероятность заинтересованности этого клиента в новом 00:43:43.184 --> 00:43:43.984 продукте высока 00:43:45.203 --> 00:43:49.563 Вот такая модель может быть легко понята и может обеспечить более глубокое понимание 00:43:49.683 --> 00:43:53.403 основных данных и процессов принятия решений по поводу ваших клиентов. 00:43:53.523 --> 00:43:57.764 Кроме того, это определённая модель, операционная модель, то есть модель, 00:43:57.844 --> 00:44:01.284 которая может быть использована непосредственно для составления прогноза 00:44:01.524 --> 00:44:03.884 для других клиентов. Например, некая компания 00:44:04.772 --> 00:44:09.170 Джон Пайпер удовлетворяет условиям вышеприведённого правила и поэтому 00:44:09.489 --> 00:44:11.609 обязательно заинтересуется новым продуктом. 00:44:11.688 --> 00:44:14.407 По крайней мере, существует высокая вероятность этого. 00:44:14.847 --> 00:44:20.205 Таким образом, поставленная цель была бы достигнута и с помощью интеллектуального 00:44:20.285 --> 00:44:21.084 анализа данных без 00:44:21.923 --> 00:44:25.246 Была разработана модель, которую можно использовать для повышения эффективности 00:44:25.366 --> 00:44:29.169 маркетинга. Вместо того, чтобы просто связаться со всеми существующими клиентами 00:44:29.289 --> 00:44:34.254 и другими кандидатами, не глядя, можно сосредоточить свои маркетинговые усилия 00:44:34.374 --> 00:44:38.137 прежде всего на перспективных клиентах, а следовательно, иметь существенно более 00:44:38.337 --> 00:44:41.260 высокий показатели успеха с меньшим количеством времени. 00:44:41.789 --> 00:44:47.510 ...и усилий. Можно даже пойти дальше и проанализировать, какие каналы продаж, 00:44:47.590 --> 00:44:50.310 вероятно, дадут лучшие результаты для каких клиентов. 00:44:50.750 --> 00:44:55.191 Далее мы сосредоточимся на использовании различных методов интеллектуального 00:44:55.271 --> 00:44:58.992 анализа данных и в то же время будем использовать такие понятия, как клиенты, 00:44:59.112 --> 00:45:01.752 бизнес-процессы, результаты, атрибуты... 00:45:02.412 --> 00:45:03.692 Примеры и выборы данных. 00:45:03.812 --> 00:45:06.173 Это поможет изучить возможности применения системы. 00:45:06.213 --> 00:45:10.494 Вот в данном случае RopetMiner значительно облегчит работу аналитика при решении 00:45:11.414 --> 00:45:12.654 конкретных задач. 00:45:15.334 --> 00:45:17.415 Так, ну вот как выглядит 00:45:18.308 --> 00:45:22.269 Рабочая зона модели Ropinmaner, как видите, кубики. 00:45:22.669 --> 00:45:25.990 Соответственно, вот выход одного кубика является входом другого. 00:45:26.150 --> 00:45:30.671 Бывает, некоторые элементы имеют разные несколько выходов. 00:45:31.071 --> 00:45:35.192 И вот это как раз и создаёт такое удобство интерфейса. 00:45:36.122 --> 00:45:39.123 То есть, вот этот элемент — источник данных. 00:45:39.483 --> 00:45:41.484 А далее, как видите, у него нету входа. 00:45:41.804 --> 00:45:44.725 Далее они подаются на соответствующие блоки, блоки 00:45:44.885 --> 00:45:54.008 моделей. 00:45:54.288 --> 00:45:55.448 Так, repedmanner. 00:45:56.125 --> 00:46:00.403 Студио использует технологию, обеспечивающую удобство для пользователя 00:46:00.603 --> 00:46:02.961 при применении методов интеллектуального анализа данных. 00:46:03.041 --> 00:46:08.838 Определение процессов анализа с помощью Студио выполняется путём перемещения 00:46:09.038 --> 00:46:12.515 операторов, задания параметров и объединения операторов. 00:46:12.595 --> 00:46:15.793 Ну, вот тут как раз на слайде это тут очень хорошо видно. 00:46:16.835 --> 00:46:21.072 Значит, мы там слайд смотрели, здесь тоже видите вот блокревие 00:46:24.870 --> 00:46:29.347 Preprocesion, то есть предварительная обработка, видите, какая-то происходит в 00:46:29.467 --> 00:46:31.026 элементе Preprocesion. 00:46:31.505 --> 00:46:33.064 Дальше в PJ Grove. 00:46:33.144 --> 00:46:34.463 Ну, это уже блоки модели. 00:46:37.176 --> 00:46:41.938 Как видно из рисунка, процессы задаются некоторым количеством операторов и могут 00:46:42.018 --> 00:46:47.379 быть представлены посредством так называемого технологического графа Flow 00:46:47.459 --> 00:46:49.740 Design. Конструкция потока. 00:46:49.820 --> 00:46:52.621 Структура процесса имеет внутреннее описание на XM. 00:46:53.583 --> 00:46:57.661 В фоновом режиме Ropid Miner Studio постоянно проверяет разрабатываемый в 00:46:57.701 --> 00:47:01.060 настоящее время процесс на соответствие синтаксису и автоматически выдаёт 00:47:01.180 --> 00:47:03.259 сообщение в случае возникновения проблем. 00:47:03.619 --> 00:47:07.378 Это стало возможным благодаря так называемому преобразованию мета-данных, 00:47:07.498 --> 00:47:11.376 который преобразует базовые мета-данные на этапе проектирования таким образом, чтобы 00:47:11.616 --> 00:47:12.576 можно было передвигать 00:47:13.657 --> 00:47:17.936 То есть предвидеть форму результата и определить решение в случае неподходящей 00:47:18.016 --> 00:47:20.535 комбинаций операторов, то есть быстрые исправления. 00:47:20.815 --> 00:47:25.174 Кроме того, Robid Manier Studio предлагает возможность определения точек остановок и, 00:47:25.214 --> 00:47:28.293 следовательно, проверки практически каждого промежуточного результата. 00:47:28.693 --> 00:47:32.292 Успешные комбинации операторов могут быть объединены в строительные блоки и поэтому 00:47:32.532 --> 00:47:32.972 доступны 00:47:33.815 --> 00:47:36.253 Снова в более поздних процессах. 00:47:36.373 --> 00:47:42.329 RopedMiner Studio содержит в общей сложности более 1 050 для всех задач 00:47:42.449 --> 00:47:48.205 профессионального анализа данных — от секционирования данных до анализа рынка. 00:47:49.045 --> 00:47:52.962 Для формирования атрибутов он включает в себя все инструменты, необходимые для 00:47:53.122 --> 00:47:55.280 работы с данными. То есть такие доступны 00:47:56.225 --> 00:47:59.147 Модели текстового майнинга, веб-майнинга и прочее. 00:47:59.227 --> 00:48:03.070 Roped Mining Studio позволяет использовать наглядные визуализации, также как 00:48:03.230 --> 00:48:08.394 трёхмерные графики, точечные матрицы, что позволяет представлять исходные данные в 00:48:08.474 --> 00:48:12.117 полностью настраиваемой экспортируемой диаграмме с поддержкой масштабирования 00:48:13.340 --> 00:48:16.423 Панорамирование и масштабирование для максимального визуального воздействия. 00:48:16.503 --> 00:48:20.666 Операторы, доступные в Roped Manner Studio, организованы в группы и могут 00:48:20.706 --> 00:48:24.068 включать текущийся в текущий процесс. 00:48:24.188 --> 00:48:27.231 Есть возможность перемещения внутри групп. 00:48:27.431 --> 00:48:30.833 Разработано доступное расширение, соответственно, Roped Manner Studio. 00:48:40.290 --> 00:48:46.684 Так, ну вот группа операторов управление процессом, утилита, 00:48:46.764 --> 00:48:50.600 вспомогательные операторы, которые наряду с операторами под процесс, для 00:48:50.760 --> 00:48:55.276 группирующих подпроцессов также содержат важные макрооператоры, а также операторы 00:48:55.396 --> 00:48:58.593 для ведения журнала, доступ к репозиторию, импорт, экспорт. 00:48:59.449 --> 00:49:03.886 Преобразование данных — это вот самая важная группа в анализе с точки зрения 00:49:04.726 --> 00:49:08.923 размера и актуальности. Все операторы используются для преобразования как 00:49:09.043 --> 00:49:10.562 данных, так и мета-данных. 00:49:10.961 --> 00:49:14.399 Моделирование содержит фактический процесс интеллектуального анализа данных, 00:49:14.479 --> 00:49:18.237 например, методы классификации, регрессионные методы кластеризации, 00:49:18.317 --> 00:49:21.115 весовые коэффициенты, методы ассоциативных правил. 00:49:22.173 --> 00:49:25.491 Корреляционного, дисперсионного анализа, а также операторы для применения 00:49:25.610 --> 00:49:28.208 сгенерированных моделей к новым наборам данных. 00:49:28.368 --> 00:49:35.002 Ну и оценка шучу 00:49:41.277 --> 00:49:46.802 То есть оценка. Операторы, которые могут вычислять качество модели таким образом 00:49:46.962 --> 00:49:53.488 для новых данных. Например, перекрёстная проверка X wolidation, проверка Live 00:49:55.261 --> 00:50:00.057 Значит, лол. Вы можете выбрать операторы и добавить их в нужное место в процессе 00:50:00.177 --> 00:50:04.134 перетаскивания. Вы можете соединить операторы, проводя линию между входными и 00:50:04.254 --> 00:50:06.013 входными портами операторов. 00:50:06.093 --> 00:50:10.809 Вы можете выбрать, чтобы операторы подключались автоматически при вставке. 00:50:10.889 --> 00:50:12.168 Выберите Simvle Plack. 00:50:13.018 --> 00:50:17.177 В левой части панели, ну, практическое занятие мы проведём, то есть всё это 00:50:17.337 --> 00:50:22.295 посмотрим инструментов определите, следует ли автоматически создавать исходящие или 00:50:22.495 --> 00:50:27.014 входящие соединения. Для того чтобы сделать работу максимально простой для вас 00:50:28.465 --> 00:50:31.702 Представленные операторы также поддерживают фильтр, который может быть 00:50:31.822 --> 00:50:36.178 использован для поиска частей имени оператора или полного имени оператора. 00:50:36.257 --> 00:50:39.055 Просто введите слово поиска в поле фильтра. 00:50:39.255 --> 00:50:42.971 Как только число поисковых обращений в общей сложности окажется меньше десяти, 00:50:43.051 --> 00:50:45.929 дерево открывается, чтобы показать все поисковые обращения. 00:50:46.791 --> 00:50:50.788 Это означает, что вам не нужно перемещаться по всей иерархии каждый раз. 00:50:51.148 --> 00:50:56.343 Нажмите на красный крестик рядом с полем поиска, которое стирает то, что в данный 00:50:56.503 --> 00:50:58.901 момент введено, и снова закрывает дерево. 00:50:59.381 --> 00:51:03.298 Значки рядом с полем поиска позволяют фильтровать устаревшие операторы, 00:51:03.338 --> 00:51:06.016 отсортировать их по наиболее часто используемым операторам. 00:51:06.647 --> 00:51:10.367 Репозиторий является центральным компонентом Repid Mir Studio. 00:51:10.687 --> 00:51:13.647 Он использует для управления и структурирования ваших аналитических 00:51:13.727 --> 00:51:18.608 процессов проекты, в то же время как источник данных, а также связанных с ним 00:51:18.768 --> 00:51:23.409 метаданных. Предупреждение, поскольку большинство программ Reped Mier Studio 00:51:23.569 --> 00:51:27.089 поддерживает использование метаданных для проектирования процесса 00:51:27.842 --> 00:51:31.121 Мы настоятельно рекомендуем вам использовать репозитории Ropidminer, так 00:51:31.241 --> 00:51:34.961 как в противном случае, например, в случае прямого считывания данных, например, из 00:51:35.081 --> 00:51:38.841 файлов или баз данных, метаданные будут недоступны. 00:51:38.921 --> 00:51:43.280 Это означает, что многочисленные средства поддержки не будут предложены. 00:51:51.349 --> 00:51:54.952 Так, ну вот стандартный оператор, aply модель. 00:51:55.392 --> 00:52:01.798 Использовать какую-то модель имеет следующий вид. 00:52:13.016 --> 00:52:17.176 При работе с ропит-Майнером исследователь определяет процессы анализа путём указания 00:52:17.336 --> 00:52:18.896 последовательности отдельных этапов. 00:52:18.976 --> 00:52:22.216 Ропидмайнера. Эти компоненты процесса называются операторами. 00:52:22.296 --> 00:52:26.176 Оператор определяется несколькими элементами: описание ожидаемых входных 00:52:26.336 --> 00:52:29.136 данных, описание поставляемых выходов. 00:52:31.169 --> 00:52:36.174 Действия, выполняемые оператором на входах, часто в конечном итоге приводят к 00:52:36.214 --> 00:52:37.575 постановке данных на выход. 00:52:37.776 --> 00:52:41.899 Ряд параметров, которые могут управлять выполнением действием входы и выхода 00:52:42.020 --> 00:52:45.223 операторов генерируются или загружаются через порты. 00:52:45.503 --> 00:52:48.025 Порт ожидает определённого типа ввода. 00:52:50.462 --> 00:52:54.301 Так, ну вот у нас, соответственно, изображение показано на слайде. 00:52:54.421 --> 00:52:56.420 Вид оператора Ropedmanner. 00:52:56.700 --> 00:52:59.220 Вот у него есть входы, есть выходы. 00:53:01.180 --> 00:53:07.178 Значит, оператор рисунок 2 может быть подключён через его входные порты. 00:53:07.478 --> 00:53:10.155 То есть слева и выходные порты справа. 00:53:10.675 --> 00:53:16.629 Такой оператор может, например, импортировать данные из репозитория, базы 00:53:16.789 --> 00:53:18.507 данных или из файлов. 00:53:18.947 --> 00:53:23.303 В этом случае у него не было бы входных портов, хотя у него был бы параметр 00:53:24.117 --> 00:53:26.517 По крайней мере, определяющий местоположение данных. 00:53:26.597 --> 00:53:31.117 Другие операторы преобразуют свои входные данные и возвращают объект того же типа. 00:53:33.878 --> 00:53:37.238 Подобно данному оператору выглядят операторы, преобразующие данные. 00:53:37.318 --> 00:53:40.799 Другие операторы также используют входные данные и могут преобразовывать их в 00:53:40.879 --> 00:53:44.759 совершенно новый объект. Например, многие методы энктального анализа данных. 00:53:45.892 --> 00:53:50.329 На выходе представляет модель, которую можно использовать для обработки других 00:53:50.449 --> 00:53:54.047 данных. Цвет портов показывает тип входного сигнала. 00:53:54.167 --> 00:53:57.765 Например, голубой цвет указывает на то, что требуется набор параметров. 00:53:58.205 --> 00:54:04.521 Если верхняя половина порта или имя порта красного цвета, то это указывает на 00:54:04.601 --> 00:54:05.121 проблему. 00:54:05.899 --> 00:54:09.582 Подобная проблема имеет место быть для оператора, вот который был показан на 00:54:09.662 --> 00:54:12.664 рисунке два. Вот на нашем слайде. 00:54:13.464 --> 00:54:15.546 Как раз приводится такой случай. 00:54:16.106 --> 00:54:18.948 Видите, там пустые, красные, значит, не подключённые. 00:54:21.795 --> 00:54:26.640 Он не подключён, и входные порты нуждаются в подключении к подходящему источнику. 00:54:26.800 --> 00:54:29.042 Входные порты имеют большой белый цвет. 00:54:29.162 --> 00:54:33.606 Если результат неясен или не может пока быть представлен в текущей конфигурации. 00:54:33.726 --> 00:54:37.769 Как только все необходимые конфигурации завершены, то есть определены все 00:54:38.050 --> 00:54:39.251 необходимые параметры 00:54:45.769 --> 00:54:48.451 И подключены все необходимые входные порты. 00:54:49.011 --> 00:54:52.534 Выходные порты окрашиваются в соответствии с их типом. 00:55:01.181 --> 00:55:02.783 Так, индикация состояния. 00:55:03.723 --> 00:55:06.763 Вот здесь есть такие значки снизу — индикатор состояния. 00:55:06.843 --> 00:55:09.922 Индикатор состояния указывает, существует ли проблема. 00:55:10.282 --> 00:55:14.001 Например, параметры, которые ещё не были установлены или не подключены входные 00:55:14.121 --> 00:55:18.559 порты красный, является ли конфигурацией в основном завершённой, но оператор ещё не 00:55:18.639 --> 00:55:19.799 был использован жёлтый. 00:55:20.632 --> 00:55:25.753 Или всё в порядке? Оператор тоже был успешно реализован зелёный 00:55:29.513 --> 00:55:33.754 порты, можно ли визуализировать своё состояние с помощью различных индикаторов 00:55:33.874 --> 00:55:36.674 состояния, но и весь оператор, вот как рисунок 3. 00:55:37.805 --> 00:55:42.041 Индикатор состояния указывает, существует ли проблема, например, параметры, которые 00:55:42.241 --> 00:55:46.118 ещё не были установлены или не подключены: входные порты красные. 00:55:46.238 --> 00:55:49.155 Является ли конфигурация в основном завершённой? 00:55:49.515 --> 00:55:51.913 Но оператор ещё не был использован. 00:55:52.033 --> 00:55:52.992 Вот тогда жёлтый. 00:55:53.686 --> 00:55:59.372 Или всё в порядке, оператор также был успешно реализован Зелёный предупреждающий 00:55:59.412 --> 00:56:02.575 треугольник указывает, что когда есть сообщение об состоянии для этого 00:56:02.935 --> 00:56:07.940 оператора. Точка остановки указывает, должна ли выполнение... 00:56:07.980 --> 00:56:12.104 Должно ли управление процессом быть остановлено для изучения промежуточных 00:56:12.184 --> 00:56:12.584 результатов. 00:56:13.356 --> 00:56:18.593 Комментарий. Если комментарий был введён для этого оператора, то это обозначается 00:56:18.752 --> 00:56:23.349 значком. Ну вот процесс довольно большая модель. 00:56:23.469 --> 00:56:28.626 Как видите, тут данные экспортируются из Excel, потом идёт обработка. 00:56:29.239 --> 00:56:35.913 Дизайн три дерево, решающие деревья, используются довольно большой 00:56:35.993 --> 00:56:37.512 процесс, как видите. 00:56:39.830 --> 00:56:41.109 Подпроцесс. 00:56:41.469 --> 00:56:45.146 Это очень важный процесс, так как некоторые операторы имеют один или 00:56:45.266 --> 00:56:47.903 несколько подпроцессов, то есть такая вложенная структура. 00:56:48.483 --> 00:56:52.086 По этому свойству видно, существует ли такой подпроцесс. 00:56:52.166 --> 00:56:54.767 Вы можете дважды щёлкнуть на соответствующего оператора, чтобы 00:56:54.927 --> 00:56:56.528 спуститься в подпроцессы. 00:56:56.689 --> 00:57:00.971 Если несколько операторов связаны между собой, то мы говорим о процессе анализа 00:57:01.091 --> 00:57:02.612 или процессе для корректности. 00:57:03.222 --> 00:57:06.458 Такая последовательность шагов может, например, загрузить набор данных, 00:57:06.538 --> 00:57:10.533 преобразовать данные, вычислить модель, применить модель к другому набору данных. 00:57:10.693 --> 00:57:14.089 Такой процесс может быть использован в Rappen Miner Studio, как показано, вот 00:57:15.048 --> 00:57:17.965 было на рисунке. Такие модели 00:57:24.315 --> 00:57:28.911 Такие процессы могут легко вырасти до нескольких сотен операторов в Rapped Miner 00:57:29.710 --> 00:57:32.347 и рассматриваться на несколько уровней или процессов. 00:57:32.826 --> 00:57:36.742 Проверка процесса, постоянно выполняемого в фоновом режиме, а также навигационного 00:57:36.902 --> 00:57:40.539 средства процесса показана ниже, гарантирует, что вы определяете правильные 00:57:40.658 --> 00:57:41.138 процессы. 00:57:42.310 --> 00:57:44.271 Даже для более сложных задач. 00:57:52.515 --> 00:57:54.756 Следующий момент — управление операторами. 00:57:55.072 --> 00:57:58.990 То есть управление операторами, вставка операторов, подключение операторов, выбор 00:57:59.070 --> 00:58:02.309 операторов, перемещение операторов, операторы копирования, удаление 00:58:02.509 --> 00:58:04.908 соединения, определение порядка выполнения. 00:58:05.388 --> 00:58:09.066 Ну вот на этом слайде, видите, показаны 11 операторов. 00:58:12.993 --> 00:58:16.634 Вставка операторов. Вы можете вставить новые операторы в процессе различными 00:58:16.674 --> 00:58:21.074 способами, то есть через драг-дроп из представление операторов, как описано 00:58:21.154 --> 00:58:25.474 выше, с помощью двойного щелчка мыши на операторы и представление операторов. 00:58:25.474 --> 00:58:29.434 Через диалоговое окно, которое открывается с помощью пункта меню «Пправка». 00:58:30.286 --> 00:58:36.203 Новый оператор Control E, Control A через контекстное меню в свободной области 00:58:36.363 --> 00:58:40.841 процесса. В каждом случае новые операторы в зависимости от настройки представленной 00:58:41.321 --> 00:58:45.159 представления операторы либо автоматически соединяются с подходящими операторами, 00:58:45.239 --> 00:58:46.679 либо соединения должны быть сделаны 00:58:47.176 --> 00:58:49.374 ...или исправлены вручную пользователем. 00:58:50.093 --> 00:58:51.372 Подключение операторов. 00:58:51.412 --> 00:58:54.570 После того, когда вы вставили новые операторы, вы можете соединить их между 00:58:54.809 --> 00:58:59.245 собой. Существует три способа соединения: автоматический код. 00:58:59.325 --> 00:59:00.604 Соединение один. 00:59:01.444 --> 00:59:05.840 Если вы активировали опцию автоматического подключения под символом плак... 00:59:06.848 --> 00:59:10.087 Представление оператора. Торопит-майнер попытается подключить оператор с 00:59:10.127 --> 00:59:13.367 подходящими выходными портами после вставки. 00:59:13.447 --> 00:59:17.047 Если, например, новый оператор имеет входной порт, который требует набор 00:59:17.087 --> 00:59:21.286 параметров, торопит-майнер пытается найти оператора, который уже может создать такой 00:59:21.646 --> 00:59:21.686 новый 00:59:22.677 --> 00:59:26.713 Набор примеров. Совет: Рекомендуется активизировать опцию автоматического 00:59:26.913 --> 00:59:30.350 подключения по крайней мере, для входных портов. 00:59:30.670 --> 00:59:35.545 Даже если алгоритм соединения, основанный на методданных, иногда создаёт неверное 00:59:35.665 --> 00:59:39.622 соединение, вы всё равно облегчаете работу для тех случаев, когда правильное 00:59:39.742 --> 00:59:41.980 соединение автоматически распознаётся. 00:59:43.534 --> 00:59:45.294 Соединение два вручную. 00:59:45.494 --> 00:59:48.134 Вы можете также соединить оператора вручную. 00:59:48.614 --> 00:59:51.693 Это было даже необходимо для более сложных процессов. 00:59:51.773 --> 00:59:53.533 Для этого нажмите на входной порт. 00:59:53.653 --> 00:59:58.693 Теперь нужно протянуть оранжевую нить, щёлкните на входном порте для подключения 00:59:58.813 --> 01:00:00.053 выбранного входного порта. 01:00:00.437 --> 01:00:01.957 ...к этому входному порту. 01:00:04.117 --> 01:00:08.077 Для того чтобы отменить процесс, удерживайте мышцы неподвижны, нажмите 01:00:08.237 --> 01:00:10.877 правую клавишу мыши, оранжевая нить исчезнет. 01:00:10.957 --> 01:00:12.877 Вы можете продолжить работу в обычном режиме. 01:00:13.077 --> 01:00:15.197 Соединение 3 полностью автоматически. 01:00:15.277 --> 01:00:18.997 Иногда многочисленные операторы уже находятся в процессе сАП ещё не 01:00:19.117 --> 01:00:22.317 подключённые. В этом случае вам могут служить опции автори. 01:00:23.834 --> 01:00:28.510 Выбор операторов. Для редактирования параметров необходимо выбрать отдельный 01:00:28.630 --> 01:00:31.427 оператор: его оранжевую рамку, а также его тень. 01:00:32.107 --> 01:00:35.784 Если вы хотите выполнять действия над несколькими операторами одновременно, 01:00:35.864 --> 01:00:38.941 например, перемещение или удаление, выберите соответствующего оператора, 01:00:38.981 --> 01:00:40.340 перетаскивая рамку вокруг. 01:00:41.664 --> 01:00:45.429 Чтобы добавить отдельного оператора в текущий выбор или исключить отдельного 01:00:45.509 --> 01:00:49.314 оператора из текущего выбора, пожалуйста, удерживайте клавишу Contur. 01:00:49.394 --> 01:00:52.759 При нажатии на соответствующий оператор или добавьте дополнительного оператора, 01:00:52.799 --> 01:00:54.802 перетаскивая рамку. Перемещение оператора. 01:00:55.719 --> 01:00:58.957 Выберите один или несколько операторов, как описано выше. 01:00:59.117 --> 01:01:03.194 Теперь переместите курсор на один из выбранных операторов, перетащите мышь, 01:01:03.274 --> 01:01:05.392 удерживая нажатый кнопку. 01:01:06.512 --> 01:01:09.949 Все выбранные операторы теперь будут перемещены на новое место в зависимости от 01:01:10.029 --> 01:01:11.868 того, куда вы перемещаете мышь. 01:01:12.028 --> 01:01:15.226 Если в ходе этого движения вы достигнете края белой области, то он будет 01:01:15.385 --> 01:01:16.385 автоматически сдвинут. 01:01:17.815 --> 01:01:19.175 Операторы копирования. 01:01:20.174 --> 01:01:24.174 Значит, выберите один из нескольких операторов, как описано выше. 01:01:24.254 --> 01:01:28.973 Теперь нажмите Contrul C, копировать, чтобы скопировать выбранные операторы, и 01:01:29.093 --> 01:01:31.373 нажмите Contrul B, чтобы вставить их. 01:01:32.093 --> 01:01:36.412 Все выбранные операторы теперь будут помещены на новое место рядом с исходными 01:01:36.492 --> 01:01:38.772 операторами, где вы можете переместить их дальше. 01:01:39.634 --> 01:01:43.833 Удаление операторов. Выберите один или из нескольких операторов, как описано выше. 01:01:43.953 --> 01:01:48.312 Теперь вы можете удалить выбранные операторы с помощью клавиши delite 01:01:48.992 --> 01:01:53.030 удаление. Выбор действия «удалить» в контекстном меню одного из выбранных 01:01:53.150 --> 01:01:55.630 операторов или с помощью меню редактировать «удалить». 01:01:56.897 --> 01:02:00.860 Удаление соединения. Соединение можно удалить, нажав на один из двух портов и 01:02:01.020 --> 01:02:02.862 одновременно нажав клавишу Alt. 01:02:03.182 --> 01:02:07.825 Кроме того, вы можете удалить соединение через конкретное контекстное меню 01:02:07.986 --> 01:02:09.267 соответствующих портов. 01:02:09.707 --> 01:02:11.268 Определение порядка выполнения. 01:02:11.348 --> 01:02:12.189 Почти во всех случаях 01:02:12.777 --> 01:02:16.654 Майнер успешно выполняет автоматическое определение порядка выполнения, коррект 01:02:16.814 --> 01:02:21.571 операторов. Для этого рэпет-майнер использует информацию о соединении, и тот 01:02:21.611 --> 01:02:25.369 факт, что оператор, результат которого должен быть использован другим оператором, 01:02:25.449 --> 01:02:27.648 очевиден, должен быть окончательно получен. 01:02:28.403 --> 01:02:33.006 Однако существуют случаи, когда порядок не может быть определён автоматически, 01:02:33.086 --> 01:02:35.327 например, полностью параллельные подпроцессы. 01:02:35.567 --> 01:02:38.329 Или когда автоматический порядок не является правильным. 01:02:38.449 --> 01:02:41.771 Например, потому что макрос должен быть сначала вычислен прежде, чем он должен 01:02:41.971 --> 01:02:43.612 быть использован в качестве параметра. 01:02:44.272 --> 01:02:45.711 В более позднем операторе. 01:02:45.751 --> 01:02:49.590 Но есть и другие причины, которые часто играют большую роль. 01:02:49.910 --> 01:02:55.507 Такие как более эффективная обработка данных или точный порядок, необходимый для 01:02:55.627 --> 01:02:58.426 выполнения, например, для отчётности. 01:02:58.746 --> 01:02:59.426 Для этой цели 01:03:00.094 --> 01:03:04.177 Ропетмай предполагает удобный метод для указания порядка операторов и даже для 01:03:04.297 --> 01:03:06.499 удобного редактирования порядка выполнения. 01:03:06.779 --> 01:03:10.661 Для этого нажмите на значок панели инструментов представления процесса с 01:03:10.741 --> 01:03:15.665 двойной стрелкой, направленной вверх и вниз с вопросительным знаком, тогда как 01:03:15.825 --> 01:03:19.427 представленный процессу будет доступно определение порядков операторов вместо 01:03:19.548 --> 01:03:19.868 значка 01:03:20.867 --> 01:03:25.108 Для каждого оператора теперь будет отображаться номер его выполнения. 01:03:26.228 --> 01:03:29.949 Прозрачная оранжевая линия соединяет операторов в этом порядке, как показано на 01:03:30.029 --> 01:03:35.070 рисунке, пять. Чтобы иметь такой порядок выполнения, можно щёлкнуть в любом месте 01:03:35.190 --> 01:03:36.430 оператора, чтобы выбрать его. 01:03:36.983 --> 01:03:39.980 Путь, ведущий к этому оператору, теперь не может быть изменён. 01:03:40.100 --> 01:03:44.415 Но при повторном нажатии на другой оператор будет предпринята попытка 01:03:44.535 --> 01:03:47.931 изменить порядок таким образом, чтобы второй оператор был выполнен как можно 01:03:48.131 --> 01:03:49.650 скорее после первого. 01:03:50.249 --> 01:03:53.845 Так, соответственно, вот видите оранжевые линии в соответствии с рисунком. 01:03:56.558 --> 01:04:00.959 Значит, при наведении курсора на мышь остальные операторы вы видите текущий 01:04:01.039 --> 01:04:06.161 выбор в оранжевом цвете до этого оператора и в сером, начиная с этого оператора. 01:04:06.281 --> 01:04:10.162 Выбор, который не представляется возможным, отмечается красным числом. 01:04:10.722 --> 01:04:11.803 Вы можете отметить 01:04:12.724 --> 01:04:15.323 Текущий выбор, щёлкнув правой клавишей 01:04:15.403 --> 01:04:24.199 мышинительные 01:04:24.319 --> 01:04:25.879 параметры представления процесса. 01:04:25.959 --> 01:04:29.797 Пять значков в правой части панели инструментов представления процесса 01:04:29.957 --> 01:04:31.397 выполняют следующие действия. 01:04:31.843 --> 01:04:38.476 Автопровод. То есть повторение проводные соединения, символ штепсельной 01:04:38.556 --> 01:04:43.072 вилки позволяет автоматически подключать провода и повторно проводить соединение 01:04:43.191 --> 01:04:46.468 между операторами. Автоматическое расположение, представление всех 01:04:46.588 --> 01:04:49.625 операторов текущего процесса в соответствии с подключёнными текущим 01:04:49.704 --> 01:04:50.624 порядком выполнения. 01:04:51.503 --> 01:04:53.224 Показать, изменить порядок выполнения. 01:04:53.304 --> 01:04:55.224 Это действие позволяет увидеть выполнение. 01:04:55.384 --> 01:05:00.346 Автоматический размер изменяет размер рабочей зоны таким способом, в котором все 01:05:00.506 --> 01:05:03.748 операторы в настоящее время позиционируются. 01:05:04.948 --> 01:05:08.950 Обновить, соответственно, проецируемые метаданные. 01:05:13.666 --> 01:05:17.707 Если активизировать данный пункт, то проецируемые метаданные информация в 01:05:17.787 --> 01:05:21.748 портах будет обновляться, чтобы соответствовать реальным данным после 01:05:21.868 --> 01:05:25.149 выполнения оператора. Кроме того, контекстное меню позволяет экспортировать 01:05:25.349 --> 01:05:29.470 процесс в формат PDF и другие форматы для того, чтобы напечатать его. 01:05:32.688 --> 01:05:39.044 Так, ну вот какие можно выводить графики на данном слайде показано как результаты 01:05:44.240 --> 01:05:47.718 дерево решений Design 3. 01:05:49.542 --> 01:05:51.301 Дискашен три. Прошу прощения 01:05:56.738 --> 01:06:01.215 результатов, можно объёмные фигуры выводить, довольно-очень мощный способ 01:06:01.495 --> 01:06:05.133 визуализации содержится в эпинере. 01:06:11.153 --> 01:06:14.594 После завершения процессора Pitminer Studio должен подключаться на окно 01:06:14.674 --> 01:06:18.314 результатов. Если это не так, то вы, вероятно, не связали выходной порт 01:06:18.474 --> 01:06:22.235 последнего оператора с одним из результатирующих портов процессора на 01:06:22.355 --> 01:06:25.516 правой половине, на правой стороне. 01:06:25.636 --> 01:06:29.236 Проверьте другие возможные ошибки, принимая во внимание сообщение об ошибках. 01:06:29.316 --> 01:06:30.117 Удалите большое 01:06:31.194 --> 01:06:34.155 Уделите большое внимание на анализе результатов. 01:06:34.235 --> 01:06:39.596 В качестве результата могут быть представлены наборы данных: расчётные 01:06:39.716 --> 01:06:42.077 характеристики, модели, графики. 01:06:46.638 --> 01:06:49.598 Так, ну вот подробнее с возможностью ropedMer. 01:06:50.398 --> 01:06:55.320 У нас предполагается выполнить на практическом занятии познакомиться с 01:06:55.360 --> 01:07:01.844 системой, промоделировать и решить задачи математического обучения. 01:07:04.685 --> 01:07:09.008 Так, ну вот можно рассмотреть некоторый пример обучения с помощью дерева принятия 01:07:09.088 --> 01:07:09.488 решений. 01:07:10.627 --> 01:07:14.630 Дерево принятия решений также может называться деревом решений, деревом 01:07:14.670 --> 01:07:18.753 классификации или рекрессионным деревом, средство поддержки принятия решений, 01:07:18.793 --> 01:07:22.477 использующееся в машинном обучении, анализе данных в статистике. 01:07:22.597 --> 01:07:25.559 Структура дерева представляет собой листья или ветки. 01:07:26.072 --> 01:07:30.115 На рёбрах ветках дерева решения записаны атрибуты, от которых зависит целевая 01:07:30.275 --> 01:07:35.279 функция. В листьях значение целевой функции, в остальных узлах — атрибуты. 01:07:35.639 --> 01:07:40.283 Для обучения с помощью дерева решения в рэп-майнере необходимо построить схему. 01:07:40.403 --> 01:07:44.006 Ну вот как показано здесь. 01:07:44.166 --> 01:07:45.887 То есть, видите, источник данных. 01:07:47.188 --> 01:07:53.869 Элемент Retrive и, соответственно, самый, наверное, любимый блок — Design 01:07:53.949 --> 01:07:55.749 tree — дерево решений. 01:07:56.149 --> 01:07:58.629 Обычно схема состоит из нескольких операторов. 01:07:58.949 --> 01:08:02.469 Каждый оператор может требовать некоторые входные данные, выдавать некоторые 01:08:02.509 --> 01:08:05.789 выходные данные. Рассмотренная схема состоит из двух операторов. 01:08:06.764 --> 01:08:10.645 Первый оператор представляет собой источник данных, то есть ретревее. 01:08:11.045 --> 01:08:16.087 Его изображение показано на рисунке семь, соответственно, оператор 01:08:16.808 --> 01:08:18.248 Ретревия. 01:08:22.170 --> 01:08:22.650 Данный оператор 01:08:24.488 --> 01:08:27.289 Может применяться для доступа к репозиториям данных. 01:08:27.369 --> 01:08:30.489 Он используется, чтобы облегчить доступ к файлам данных в рэпед-майнер. 01:08:30.529 --> 01:08:36.290 То есть рэпет-майнер поддерживает формат определённых данных, и вот данные хранятся 01:08:36.370 --> 01:08:42.210 в репозитории. Кстати, там некоторый набор данных уже предопределённо есть, то есть 01:08:42.290 --> 01:08:43.690 знаменитый тот файл. 01:08:44.435 --> 01:08:51.117 измерений фишера, где там параметры 01:08:51.277 --> 01:08:54.519 цветочка Ириса несколько приводятся данных. 01:08:54.559 --> 01:08:59.481 Ну и довольно тоже для тренировки какие-то данные есть. 01:08:59.761 --> 01:09:01.762 Значит, у этого оператора нет входных данных 01:09:02.829 --> 01:09:08.470 На то он и как бы есть, как бы начальный элемент оператора 01:09:13.712 --> 01:09:17.673 Он используется, чтобы облегчить доступ к файлам данных в RapedMaler. 01:09:17.793 --> 01:09:19.594 У этого оператора нет входных данных. 01:09:20.052 --> 01:09:24.577 Но имеется единственный параметр repitory Entry, то есть который должен содержать 01:09:24.657 --> 01:09:26.379 правильный путь к репозиторию данных. 01:09:26.419 --> 01:09:29.142 Ну, то есть, где данные хранятся, и файл, источник данных. 01:09:29.543 --> 01:09:34.628 Оператор Ретривей имеет один вход — аут, который содержит обработанные данные в 01:09:34.668 --> 01:09:35.750 формате Data Table. 01:09:36.752 --> 01:09:40.592 Второй используемый оператор в данном исследовании — это дискашн 3. 01:09:42.632 --> 01:09:47.392 То есть, вот как раз дерево решений, оператор дискашн 3. 01:09:47.712 --> 01:09:51.472 Данный оператор генерирует дерево классификаций, как минимальных, так и 01:09:51.552 --> 01:09:53.712 числовых данных. У этого оператора имеется один 01:09:54.656 --> 01:09:56.495 Входной сигнал и два выходных. 01:09:57.214 --> 01:10:02.570 По входному сигналу, соответственно, тренинг-сет, ожидаются тренировочные 01:10:02.690 --> 01:10:09.445 данные данные, на которых обучается модуль в формате Data 01:10:09.525 --> 01:10:10.724 Table, который определяет 01:10:12.094 --> 01:10:16.532 Передаётся от выходного сигнала оператора TV в качестве источника данных могут быть 01:10:16.692 --> 01:10:19.331 использованы выходные сигналы других операторов. 01:10:19.971 --> 01:10:25.809 По выходному сигналу модель в формате Discation 3 выдаётся модель классификации, 01:10:25.849 --> 01:10:27.569 построенной на основе дерева решений. 01:10:27.728 --> 01:10:31.127 Данная модель может быть применена к наборам данных для прогнозирования. 01:10:31.747 --> 01:10:37.067 По выходному сигналу example set в формате Data Table выдаются тренировочные данные, 01:10:37.587 --> 01:10:40.787 поступившие на вход в неизменном виде. 01:10:40.907 --> 01:10:44.507 Этот сигнал обычно применяется для повторного использования тренировочных 01:10:44.627 --> 01:10:48.987 данных в других операторах или просмотра в области результатов. 01:10:49.489 --> 01:10:52.452 Также данный оператор имеет несколько параметров. 01:10:56.255 --> 01:11:02.380 Параметр критерий он служит для выбора критерия атрибутов, для разделения на 01:11:02.460 --> 01:11:04.782 классы и может приниматься одно из следующих значений. 01:11:06.896 --> 01:11:12.461 То есть рассчитывается энтропия для всех атрибутов, атрибут с минимальной энтропией 01:11:12.581 --> 01:11:13.942 выбирается для разделения. 01:11:14.062 --> 01:11:18.346 Этот метод смещён в сторону выбора атрибутов с большим количеством значений. 01:11:18.866 --> 01:11:22.189 Gain ratio, ratio — это вариант 01:11:22.958 --> 01:11:26.837 Получение информации. Он реализует прирост информации для каждого атрибута, чтобы 01:11:26.997 --> 01:11:29.917 обеспечить диапазон и равномерное значений атрибута. 01:11:31.436 --> 01:11:37.155 Gini-индекс — это мера загрязнения тренированных данных. 01:11:37.475 --> 01:11:42.153 Расщепление по выбранному атрибуту даёт уменьшение среднего индекса гини или giny 01:11:42.273 --> 01:11:43.713 в результирующих подмножествах. 01:11:44.732 --> 01:11:46.730 Акьюриси, то есть достоверность. 01:11:46.810 --> 01:11:51.087 Данный атрибут выбран для разделения классов, что максимизирует точность всего 01:11:51.207 --> 01:11:56.843 дерева. Параметр минимал Scize for Split служит для указания минимального размера 01:11:57.003 --> 01:12:01.600 для разделения. Параметр минимал Life Scise служит для указания минимального 01:12:01.680 --> 01:12:03.079 количества дочерних узлов. 01:12:04.319 --> 01:12:06.756 То есть размер листа. 01:12:06.876 --> 01:12:12.390 Параметр минимал Гейн служит для указания минимального выигрыша узла, в котором узел 01:12:12.469 --> 01:12:15.386 будет разделён. Выигрыш узла вычисляется до его разделения. 01:12:15.506 --> 01:12:19.661 Узел разделяется, если его выигрыш больше. 01:12:20.097 --> 01:12:24.301 Минимального выигрыша. Параметр максимал Деп служит для указания максимальной 01:12:24.382 --> 01:12:26.343 глубины дерева решений. 01:12:26.384 --> 01:12:29.707 При значении -1 данный параметр не ограничивает глубину. 01:12:30.468 --> 01:12:34.632 Параметр Confidence служит для указания уровня достоверности, используемого для 01:12:34.712 --> 01:12:35.072 расчёта 01:12:35.633 --> 01:12:37.191 Пессимистических ошибок. 01:12:37.791 --> 01:12:44.665 Параметр Nambour Prepiuring Alternatives служит для регулирования разделения узлов, 01:12:44.825 --> 01:12:49.461 которые не увеличивают дискриминационную мощь всего дерева. 01:12:49.620 --> 01:12:50.859 Параметр No 01:12:52.103 --> 01:12:58.539 Припьюренного прунин является флагами для отключения режимов предварительной 01:12:58.699 --> 01:13:00.817 обработки и обрезки, соответственно. 01:13:01.377 --> 01:13:08.332 Но препьюрен, но прунин, как видите, после нажатия клавиши 01:13:08.492 --> 01:13:11.330 Play, если всю модель эту ввести, мы получим 01:13:12.427 --> 01:13:13.825 Соответственно, схему. 01:13:14.065 --> 01:13:15.984 Как показано на рисунке. 01:13:16.144 --> 01:13:17.662 Пример дерева решений. 01:13:18.022 --> 01:13:22.858 Значит, здесь ставилась задача: стоит ли идти играть в Гольф. 01:13:23.858 --> 01:13:28.534 Тут с учётом того, будет дождь, в зависимости от того, есть ли дождь, есть 01:13:28.694 --> 01:13:29.094 ли ветер 01:13:30.588 --> 01:13:33.348 Хьюминити, наверное, это влажность. 01:13:34.108 --> 01:13:37.307 Вот. Ну и таким образом, видите, вот принимается решение. 01:13:37.467 --> 01:13:41.266 В каких-то случаях стоит идти, при сильном ветре не стоит. 01:13:41.986 --> 01:13:42.985 Соответственно. 01:13:48.628 --> 01:13:52.307 И соответственно, такое дерево решений предлагается. 01:13:52.347 --> 01:13:55.586 Ну, пример, конечно, чисто демонстрационный, но тем не менее, для 01:13:55.746 --> 01:14:00.225 начала можно и поработать с такими примерами. 01:14:01.944 --> 01:14:04.544 Применяю полученное дерево решений в любом данном 01:14:05.043 --> 01:14:10.087 Содержащим также атрибуты можно отнести эти данные к одному из двух классов есть 01:14:10.407 --> 01:14:12.049 или No, то есть да или «нет». 01:14:12.769 --> 01:14:17.012 Так, предлагается задания, то есть вот имеется в виду File Golf. 01:14:17.213 --> 01:14:21.336 Как раз показаны вот эти данные, которые тут описаны. 01:14:22.722 --> 01:14:28.637 Вот. Подробно этим попытаемся поработать в рамках практического занятия. 01:14:29.517 --> 01:14:35.273 Так, ну и в заключение этой лекции в рамках направления институального анализа 01:14:35.393 --> 01:14:37.071 данных компьютерной системы, то есть 01:14:37.915 --> 01:14:41.795 Дисковери, обнаружение знаний и дата-майнинг добычи данных, объединённые в 01:14:41.875 --> 01:14:46.635 направлении CD, предназначено для выявления полезных значений знаний из 01:14:46.795 --> 01:14:50.795 данных. С помощью CD-технологий, методологии и методов, которые включают в 01:14:50.835 --> 01:14:53.475 себя, в частности, автоматическое интеллектуальное извлечение 01:14:54.295 --> 01:14:58.056 Неочевидных знаний из больших объёмов информации за минимальное время решается 01:14:58.216 --> 01:15:01.498 множество задач по анализу структуры данных и прогнозированию. 01:15:02.058 --> 01:15:04.819 Ярким представителем средств интеллектуального анализа данных является 01:15:05.219 --> 01:15:08.660 вот нами рассмотренная система Rapet Miner, обладающая следующими 01:15:08.740 --> 01:15:11.622 возможностями: хороший графический интерфейс пользователя 01:15:12.402 --> 01:15:15.441 По сути, каждый функциональный блок собран в кубик. 01:15:15.561 --> 01:15:20.561 Известный подход прекрасно реализован. 01:15:20.601 --> 01:15:24.161 Обычно при использовании визуального подхода сильно страдает функциональность, 01:15:24.161 --> 01:15:27.321 но Роббин Майнер — счастливое исключение из данного правила. 01:15:27.521 --> 01:15:30.040 Например, вот системы мощные, такие как СП. 01:15:30.644 --> 01:15:36.607 SS-модели содержит всего 50 узлов, а Rapmier 250 узлов базовой загрузки. 01:15:36.927 --> 01:15:39.529 Наличие хороших инструментов подготовки данных. 01:15:39.649 --> 01:15:43.051 Обычно предполагается, что данные готовятся где-то вне среды исследования. 01:15:43.091 --> 01:15:45.852 Но вот в Rapet Mider как раз предусмотрен блок ETL. 01:15:46.614 --> 01:15:48.294 Получение и трансформация. 01:15:48.574 --> 01:15:53.816 То есть, вот мы говорили, что при анализе больших данных как раз основная-то 01:15:55.256 --> 01:15:57.697 трудоёмкость заключается в подготовке данных. 01:15:57.817 --> 01:16:02.578 Вот эти все возможности есть, в том числе в коммерческом СПС, возможностей для 01:16:02.698 --> 01:16:04.178 подготовки значительно меньше. 01:16:04.636 --> 01:16:08.438 Расширяемость. Используется язык программирования Р, то есть встроенный, 01:16:08.518 --> 01:16:13.121 как мы говорили, то есть с одной стороны, это теоретически мощный язык, быстро 01:16:13.281 --> 01:16:16.603 развивающийся, язык статистических исследований. 01:16:16.963 --> 01:16:22.086 Соответственно, он здесь может быть логично включён во всю модель используемую 01:16:22.206 --> 01:16:22.446 модель 01:16:23.614 --> 01:16:26.416 Значит, полностью интегрированы операторы системы века. 01:16:26.576 --> 01:16:28.658 Данное исследование подключается извне. 01:16:28.938 --> 01:16:34.463 После установки системы с подключением данные можем наблюдать между какими 01:16:34.543 --> 01:16:40.107 элементами данных, какие показатели связи, какие можно построить прогнозы 01:16:40.347 --> 01:16:42.829 одновременно с некоторых случаев является недостатком. 01:16:42.909 --> 01:16:43.149 Кроме 01:16:43.982 --> 01:16:48.018 Интегрированной среды разработки ID можно пользоваться сервером. 01:16:48.298 --> 01:16:50.336 Рабин Майнер-студио создаёт процессы. 01:16:50.416 --> 01:16:52.254 На сервере их можно публиковать. 01:16:52.374 --> 01:16:57.170 При этом сервер сам управляет запуском процессов, если где-то возникли неполадки, 01:16:57.210 --> 01:17:04.123 определяет их причину и управляет предоставлением ресурсов и выдачей 01:17:04.163 --> 01:17:04.882 результатов. 01:17:07.668 --> 01:17:11.908 При этом у сервера имеются возможности по формированию минимальных отчётов. 01:17:12.028 --> 01:17:17.187 Результаты можно выгружать не только в формате XLS и вводить в графическом виде. 01:17:17.827 --> 01:17:22.026 Быстрое развитие, добавление новых модулей, интеграция с новыми системами 01:17:22.106 --> 01:17:23.626 интеллектуального анализа данных. 01:17:24.449 --> 01:17:25.649 Например, Apach Park. 01:17:25.729 --> 01:17:29.931 Овладение данным инструментом будет хорошим подспорьем для учёных, для 01:17:30.092 --> 01:17:33.373 учёных-исследователей, связанных с обработкой большого объёма данных, 01:17:33.453 --> 01:17:36.055 относящихся практически к любой сфере области занятий. 01:17:36.295 --> 01:17:41.618 Ну и кроме всего прочего, мы говорили, что, в принципе, при использовании системы 01:17:41.738 --> 01:17:45.260 Ropit Mider можно обойтись и без использования программирования. 01:17:46.285 --> 01:17:51.002 То есть интерфейс очень удобный, соответственно, интуитивно понятный, 01:17:51.242 --> 01:17:57.759 логичный. И вот эта вот работа с блоками позволяет довольно глубокий анализ данных 01:17:57.919 --> 01:18:01.717 и, соответственно, реализовать. 01:18:02.664 --> 01:18:09.551 Так, ну и в завершении лекции, как было сказано, список список источников 01:18:09.751 --> 01:18:16.518 по проблеме предварительной подготовки и предварительной обработки 01:18:16.678 --> 01:18:18.200 данных, препроцессинг. 01:18:18.989 --> 01:18:25.913 Так называемый некоторые работы метод 01:18:26.073 --> 01:18:31.797 главных компонентов, соответственно, в частности, приводится даже тридцатых годов 01:18:31.997 --> 01:18:35.119 XX века. Ну, в основном, видите, двенадцатый год. 01:18:35.475 --> 01:18:40.758 Двадцать шестой, то есть, соответственно, вопросы развиваются. 01:18:41.638 --> 01:18:46.841 Какие-то теоретические проблемы решаются, но, конечно, тут это направление 01:18:50.162 --> 01:18:52.483 является актуальным, поэтому развивается. 01:19:49.736 --> 01:19:50.883 Спасибо за внимание.