Цитаты о больших данных
Обновлено: 03.05.2024
Подобное ощущение усилилось после выхода бестселлера Малкольма Гладуэлла «Blink» («Миг»), в котором воспевается магия человеческих инстинктов. Гладуэлл рассказывает истории о людях, которые, полагаясь исключительно на свою интуицию, могут сказать, является ли статуя поддельной, еще до удара – промажет ли теннисист по мячу или сколько клиент готов заплатить – до того, как тот откроет рот. Герои этой книги не высчитывают регрессии, они не определяют доверительные интервалы и не запускают тесты Холмогорова – Смирнова, но при этом, как правило, делают удивительные прогнозы. Многие люди подсознательно поддерживают мнение Гладуэлла об интуиции – они доверяют своему нутру и своим чувствам. Фанаты романа наверняка восторженно подчеркнут мудрость моей бабушки и ее способность давать советы по поводу человеческих отношений без помощи компьютеров. Поклонники «Blink», уверен, менее склонны восхищаться моими исследованиями или другими наработками,
Подобное ощущение усилилось после выхода бестселлера Малкольма Гладуэлла «Blink» («Миг»), в котором воспевается магия человеческих инстинктов. Гладуэлл рассказывает истории о людях, которые, полагаясь исключительно на свою интуицию, могут сказать, является ли статуя поддельной, еще до удара – промажет ли теннисист по мячу или сколько клиент готов заплатить – до того, как тот откроет рот. Герои этой книги не высчитывают регрессии, они не определяют доверительные интервалы и не запускают тесты Холмогорова – Смирнова, но при этом, как правило, делают удивительные прогнозы. Многие люди подсознательно поддерживают мнение Гладуэлла об интуиции – они доверяют своему нутру и своим чувствам. Фанаты романа наверняка восторженно подчеркнут мудрость моей бабушки и ее способность давать советы по поводу человеческих отношений без помощи компьютеров. Поклонники «Blink», уверен, менее склонны восхищаться моими исследованиями или другими наработками,
Даже если вы никогда не узнаете, как работает регрессия, и не можете рассчитать доверительный интервал, вы наверняка столкнетесь с большим количеством данных – на страницах книг, которые читаете, во время деловых встреч, в которых принимаете участие, в сплетнях,
+6 autoreg737101074Даже если вы никогда не узнаете, как работает регрессия, и не можете рассчитать доверительный интервал, вы наверняка столкнетесь с большим количеством данных – на страницах книг, которые читаете, во время деловых встреч, в которых принимаете участие, в сплетнях,
Рассмотрим, например, влияние погоды на настроение. Вы, вероятно, полагаете, что люди будут чувствовать себя не слишком радостно скорее при –12 градусах, чем при +21. Да, это действительно так. Но вы можете и не догадываться, насколько велико влияние этого перепада температур. Я искал корреляции между поисковыми запросами в Google относительно депрессии и целого ряда факторов, включая экономические условия, уровень образования и посещение церкви. Зимний климат перевешивает все остальное 16 . В зимние месяцы в теплом климате (например, на Гавайях) поисковых запросов относительно деп
+6 autoreg737101074Рассмотрим, например, влияние погоды на настроение. Вы, вероятно, полагаете, что люди будут чувствовать себя не слишком радостно скорее при –12 градусах, чем при +21. Да, это действительно так. Но вы можете и не догадываться, насколько велико влияние этого перепада температур. Я искал корреляции между поисковыми запросами в Google относительно депрессии и целого ряда факторов, включая экономические условия, уровень образования и посещение церкви. Зимний климат перевешивает все остальное 16 . В зимние месяцы в теплом климате (например, на Гавайях) поисковых запросов относительно деп
Более 40 % инженеров одной компании заявили, что входят в 5 % лучших работников. Более 90 % преподавателей колледжей говорят, что уровень их квалификации выше среднего. Четверть старшеклассников считают, что они входят в 1 % лучших учеников по умению ладить с другими людьми.
+1 autoreg952943787Более 40 % инженеров одной компании заявили, что входят в 5 % лучших работников. Более 90 % преподавателей колледжей говорят, что уровень их квалификации выше среднего. Четверть старшеклассников считают, что они входят в 1 % лучших учеников по умению ладить с другими людьми.
неожиданный, но вот то, что вызывает наибольшую обеспокоенность у женщин, касаемо их тела, по данным Google, действительно вызывает удивление. Опираясь на эти новые данные, женским эквивалентом комплекса по поводу размера полового члена можно считать – выразительная пауза! – переживание о том, как пахнет их вагина. Женщины выполняют почти столько же поисков, выражая озабоченность по поводу своих гениталий, как и мужчины, беспокоящиеся о размере своих. Главной заботой женщины является ее запах и то, как она может его улучшить. Разумеется, я не знал этого, пока не обнаружил такие данные.
0 vk_485389208неожиданный, но вот то, что вызывает наибольшую обеспокоенность у женщин, касаемо их тела, по данным Google, действительно вызывает удивление. Опираясь на эти новые данные, женским эквивалентом комплекса по поводу размера полового члена можно считать – выразительная пауза! – переживание о том, как пахнет их вагина. Женщины выполняют почти столько же поисков, выражая озабоченность по поводу своих гениталий, как и мужчины, беспокоящиеся о размере своих. Главной заботой женщины является ее запах и то, как она может его улучшить. Разумеется, я не знал этого, пока не обнаружил такие данные.
тва данных часто переоценивается. И это легко заметить, учитывая один небольшой, но очень существенный момент: чем важнее явление, тем меньше число наблюдений необходимо, чтобы его обнаружить. Вам достаточно один раз прикоснуться к горячей плите, чтобы понять, насколько это опасно.
-3 autoreg737101074тва данных часто переоценивается. И это легко заметить, учитывая один небольшой, но очень существенный момент: чем важнее явление, тем меньше число наблюдений необходимо, чтобы его обнаружить. Вам достаточно один раз прикоснуться к горячей плите, чтобы понять, насколько это опасно.
рессии на 40 % меньше, чем в районах с холодным климатом (таких, как Иллинойс). Но насколько значимо это влияние? Если у вас достаточно оптимистичное представление об эффективности антидепрессантов, вы с удивлением обнаружите: даже самые лучшие препараты снижают уровень депрессии всего лишь на 20 %. Насколько можно судить по цифрам, предоставляемым Google, переезд из Чикаго в Гонолулу будет как минимум вдвое эффективнее, чем любое лекарство от зимней тоски 7 . Иногда наша интуиция – если не направлять ее с помощью тщательного компьютерного анализа – может повести нас в совершенно неверном направлении. Собственный жизненный опыт и устоявшиеся предрассудки могут ослепить нас.
-7 autoreg737101074рессии на 40 % меньше, чем в районах с холодным климатом (таких, как Иллинойс). Но насколько значимо это влияние? Если у вас достаточно оптимистичное представление об эффективности антидепрессантов, вы с удивлением обнаружите: даже самые лучшие препараты снижают уровень депрессии всего лишь на 20 %. Насколько можно судить по цифрам, предоставляемым Google, переезд из Чикаго в Гонолулу будет как минимум вдвое эффективнее, чем любое лекарство от зимней тоски 7 . Иногда наша интуиция – если не направлять ее с помощью тщательного компьютерного анализа – может повести нас в совершенно неверном направлении. Собственный жизненный опыт и устоявшиеся предрассудки могут ослепить нас.
Следующая цитата
Избавившись от того, что не имеет для нас никакого значения, мы высвобождаем время и энергию, чтобы заниматься тем, что действительно важно.
Минимализм – это сознательное продвижение и развитие того, что мы больше всего ценим, а также избавление от того, что отвлекает от достижения наших целей.
Чем бо́льшим количеством вещей ты владеешь, тем больше вещи владеют тобой.
Слишком много людей тратят деньги, которые они не заработали, для того, чтобы произвести впечатление на людей, которые им не нравятся
Когда вам захочется все бросить на полпути, подумайте о том, что без упорства и дисциплины невозможно ничего создать.
Минимализм – это политика сохранения всех ценных для вас вещей и избавления от всех тех, которые вас отвлекают. Минимализм – это стиль жизни для тех, кто хочет получать максимум, обладая минимумом вещей.
Совершенно не нужно иметь много вещей.
Чем бо́льшим количеством вещей ты владеешь, тем больше вещи владеют тобой
Уилл Роджерс[3] высказал очень мудрую мысль: «Слишком много людей тратят деньги, которые они не заработали, для того, чтобы произвести впечатление на людей, которые им не нравятся».
Цель минимализма – разгрузить вашу жизнь до такой степени, чтобы вы чувствовали себя свободным человеком.
4.23
( 1 434 оценки )
Меньше значит больше. Минимализм как путь к осознанной и счастливой жизни
Следующая цитата
Наука о данных — это трансформация данных методами математики и статистики в рабочие аналитические выводы, решения и продукты.
использовать свои бизнес-переменные стратегическим образом, для оценки продукта и сегмента рынка
Допустим, теперь вам нужно знать объем выручки за каждый товар. Для этого перетащите ссылку Item/«Товар» в конструкторе сводных таблиц в поле строк, а ссылку Price/«Цена» — в поле данных. Это значит, что вы будете работать с доходом, сгруппированным по названию товара.
И здесь нам на помощь приходят сводные таблицы. После фильтрации вы начинаете с выделения данных, которыми хотите манипулировать. В нашем случае — данных о продажах в области А1:F20. Во вкладке «Вставить» (вкладка «Данные» в MacOS) выберите «Сводная таблица» и создайте ее на новом листе. Несмотря на то, что новые версии Excel позволяют вставлять сводную таблицу в существующий лист, ее, как правило, помещают на отдельном, если нет явной причины сделать иначе.
Предположим, вам нужно знать количество проданного товара каждого типа или общую сумму выручки по определенному товару. Эти задачи сродни запросам «aggregate» или «group by», используемым в традиционных базах данных SQL.
отфильтровать ваш лист. Для этого сначала выберите данные в рамках А1:F200. Наведите курсор на А1 и нажмите Shift+Ctrl+↓, а затем →. Есть способ еще проще — кликнуть наверху столбца и, удерживая клавишу мышки нажатой, переместить курсор к столбцу F, чтобы выделить все 6 столбцов. Затем, чтобы применить автофильтрацию к этим шести колонкам, нажмите кнопку «Фильтр» из вкладки «Данные».
Использование VLOOKUP/ВПР для объединения данных
Последняя формула, о которой я хочу сказать в этом разделе, — , который работает точно так же). Если у вас есть список значений и вы хотите выбрать, скажем, третье наименьшее из них, данная функция делает это за вас.
Следующая цитата
Иногда два плюс два может равняться 3,9. И это достаточно хорошо.
+2 santatnt_LiveLibИногда два плюс два может равняться 3,9. И это достаточно хорошо.
Новые профессионалы должны быть специалистами в области компьютерных наук, математики и статистики. Выступали бы они в качестве инстанций, контролирующих анализ и прогнозы больших данных. Алгоритмисты давали бы клятву в беспристрастности и конфиденциальности, как это делают бухгалтеры и другие специалисты в наше время. Они могли бы оценивать выбор источников данных, аналитических средств и средств прогнозирования (в том числе алгоритмов и моделей), а также интерпретацию результатов. В случае возникновения спора алгоритмисты получали бы доступ к соответствующим алгоритмам, статистическим подходам и наборам данных, которые подготовили данное решение.
+1 OlessyaMsk_LiveLibНовые профессионалы должны быть специалистами в области компьютерных наук, математики и статистики. Выступали бы они в качестве инстанций, контролирующих анализ и прогнозы больших данных. Алгоритмисты давали бы клятву в беспристрастности и конфиденциальности, как это делают бухгалтеры и другие специалисты в наше время. Они могли бы оценивать выбор источников данных, аналитических средств и средств прогнозирования (в том числе алгоритмов и моделей), а также интерпретацию результатов. В случае возникновения спора алгоритмисты получали бы доступ к соответствующим алгоритмам, статистическим подходам и наборам данных, которые подготовили данное решение.
Джон Андертон, начальник специального полицейского подразделения в Вашингтоне, округ Колумбия, одним прекрасным утром врывается в пригородный дом за считаные секунды до того, как разъяренный Говард Маркс вот-вот вонзит ножницы в тело своей жены, которую он застал в постели с любовником. Для Андертона это всего лишь очередной день профилактики тяжких преступлений. «Как представитель отдела по профилактике преступлений округа Колумбия, – произносит он, – заявляю: вы арестованы по обвинению в будущем убийстве Сары Маркс, которое должно было произойти сегодня…»
Полицейские связывают Маркса, который кричит: «Я ничего не сделал!» Начальный эпизод фильма «Особое мнение» изображает общество, в котором предсказания выглядят настолько точными, что полиция арестовывает частных лиц за еще не совершенные преступления. Людей сажают в тюрьму не за фактические действия, а за предсказанные, даже если на самом деле преступлений не произошло. Причиной тому является не анализ данных, а видения трех ясновидящих. Мрачное будущее, изображенное в фильме, показывает именно то, к каким угрозам может привести неконтролируемый анализ больших данных: признание вины на основе индивидуальных предсказаний будущего поведения.
+1 OlessyaMsk_LiveLibДжон Андертон, начальник специального полицейского подразделения в Вашингтоне, округ Колумбия, одним прекрасным утром врывается в пригородный дом за считаные секунды до того, как разъяренный Говард Маркс вот-вот вонзит ножницы в тело своей жены, которую он застал в постели с любовником. Для Андертона это всего лишь очередной день профилактики тяжких преступлений. «Как представитель отдела по профилактике преступлений округа Колумбия, – произносит он, – заявляю: вы арестованы по обвинению в будущем убийстве Сары Маркс, которое должно было произойти сегодня…»
Полицейские связывают Маркса, который кричит: «Я ничего не сделал!» Начальный эпизод фильма «Особое мнение» изображает общество, в котором предсказания выглядят настолько точными, что полиция арестовывает частных лиц за еще не совершенные преступления. Людей сажают в тюрьму не за фактические действия, а за предсказанные, даже если на самом деле преступлений не произошло. Причиной тому является не анализ данных, а видения трех ясновидящих. Мрачное будущее, изображенное в фильме, показывает именно то, к каким угрозам может привести неконтролируемый анализ больших данных: признание вины на основе индивидуальных предсказаний будущего поведения.
Большие данные – нечто большее, чем холодный мир алгоритмов и автоматики. Существенную роль играют люди со всеми своими слабостями, заблуждениями и ошибками, поскольку эти черты – неотъемлемая часть творчества, интуиции и гениальности человека.
Одни и те же беспорядочные умственные процессы ведут как к унижениям или упорству в заблуждениях, так и к успехам и обретению величия. Это наводит на мысль, что следует приветствовать некоторую неточность как своего рода часть человеческой природы, так же как мы учимся охватывать беспорядочные данные, поскольку они служат большой цели. В конце концов, беспорядочность является важным достоянием мира и нашего мышления. Принять ее и считаться с ней – значит получить преимущества.
0 OlessyaMsk_LiveLibБольшие данные – нечто большее, чем холодный мир алгоритмов и автоматики. Существенную роль играют люди со всеми своими слабостями, заблуждениями и ошибками, поскольку эти черты – неотъемлемая часть творчества, интуиции и гениальности человека.
Одни и те же беспорядочные умственные процессы ведут как к унижениям или упорству в заблуждениях, так и к успехам и обретению величия. Это наводит на мысль, что следует приветствовать некоторую неточность как своего рода часть человеческой природы, так же как мы учимся охватывать беспорядочные данные, поскольку они служат большой цели. В конце концов, беспорядочность является важным достоянием мира и нашего мышления. Принять ее и считаться с ней – значит получить преимущества.
Ничто не предопределено, потому что мы всегда можем отреагировать на полученную информацию. Прогнозы больших данных не высечены на камне – это всего лишь наиболее вероятные результаты, а значит, при желании их можно изменить. Мы сами выбираем, как встретить и приручить будущее – словно Мори, отыскавший естественные пути среди огромной глади моря и ветров. Для этого не нужно понимать природу космоса или доказывать существование богов – достаточно больших данных.
0 OlessyaMsk_LiveLibНичто не предопределено, потому что мы всегда можем отреагировать на полученную информацию. Прогнозы больших данных не высечены на камне – это всего лишь наиболее вероятные результаты, а значит, при желании их можно изменить. Мы сами выбираем, как встретить и приручить будущее – словно Мори, отыскавший естественные пути среди огромной глади моря и ветров. Для этого не нужно понимать природу космоса или доказывать существование богов – достаточно больших данных.
Вся деятельность компании Google, как уже было показано в этой книге на многочисленных примерах, построена на данных. Несомненно, они обусловили значительную долю успеха компании. Однако время от времени они же приводят ее к промахам. Сооснователи Google Ларри Пейдж и Сергей Брин длительное время запрашивали от соискателей их балл по тесту SAT (англ. Scholastic Assessment Test – «академический оценочный тест») при поступлении в колледж, а также средний балл при выпуске. Пейдж и Брин рассуждали так: первый показатель отражает потенциал кандидата, а второй – его достижения. Таким образом, состоявшиеся руководители в возрасте 40 лет, которые рассматривались на ту или иную должность, к своему откровенному недоумению, могли быть отсеяны из-за недобора баллов. Компания еще долгое время продолжала требовать эти цифры даже после того, как ее внутренние исследования показали, что между баллами и эффективностью работы нет корреляций.
0 OlessyaMsk_LiveLibВся деятельность компании Google, как уже было показано в этой книге на многочисленных примерах, построена на данных. Несомненно, они обусловили значительную долю успеха компании. Однако время от времени они же приводят ее к промахам. Сооснователи Google Ларри Пейдж и Сергей Брин длительное время запрашивали от соискателей их балл по тесту SAT (англ. Scholastic Assessment Test – «академический оценочный тест») при поступлении в колледж, а также средний балл при выпуске. Пейдж и Брин рассуждали так: первый показатель отражает потенциал кандидата, а второй – его достижения. Таким образом, состоявшиеся руководители в возрасте 40 лет, которые рассматривались на ту или иную должность, к своему откровенному недоумению, могли быть отсеяны из-за недобора баллов. Компания еще долгое время продолжала требовать эти цифры даже после того, как ее внутренние исследования показали, что между баллами и эффективностью работы нет корреляций.
Существенное свойство больших данных заключается в том, что изменение масштаба приводит к изменению состояния. Далее мы покажем, что это значительно усложняет защиту неприкосновенности частной жизни, но при этом ставит и новую задачу: судить и наказывать людей на основе прогнозов больших данных еще до того, как они совершат преступление. Это сводит на нет идею честности, справедливости и свободы воли и отвергает глубокомысленное принятие решений.
0 OlessyaMsk_LiveLibСущественное свойство больших данных заключается в том, что изменение масштаба приводит к изменению состояния. Далее мы покажем, что это значительно усложняет защиту неприкосновенности частной жизни, но при этом ставит и новую задачу: судить и наказывать людей на основе прогнозов больших данных еще до того, как они совершат преступление. Это сводит на нет идею честности, справедливости и свободы воли и отвергает глубокомысленное принятие решений.
Аналитики больших данных в компании изучают, как на увеличение продаж виртуальных товаров влияет их цвет или выбор друзей. Например, когда данные показали, что игроки FishVille покупают полупрозрачных рыб в шесть раз чаще, чем остальных существ, компания Zynga предложила дополнительные разновидности таких рыб и хорошо на этом заработала. В игре Mafia Wars обнаружилось, что игроки охотнее всего покупают оружие с золотой каймой и белоснежных домашних тигров126. Вряд ли разработчики игр, находящиеся в студии, узнали бы об этом сами. Это им подсказали данные. «Мы аналитическая компания, которая работает под видом игровой. Здесь всем заправляют числа», – говорит Кен Рудин, главный аналитик Zynga127.
0 OlessyaMsk_LiveLibАналитики больших данных в компании изучают, как на увеличение продаж виртуальных товаров влияет их цвет или выбор друзей. Например, когда данные показали, что игроки FishVille покупают полупрозрачных рыб в шесть раз чаще, чем остальных существ, компания Zynga предложила дополнительные разновидности таких рыб и хорошо на этом заработала. В игре Mafia Wars обнаружилось, что игроки охотнее всего покупают оружие с золотой каймой и белоснежных домашних тигров126. Вряд ли разработчики игр, находящиеся в студии, узнали бы об этом сами. Это им подсказали данные. «Мы аналитическая компания, которая работает под видом игровой. Здесь всем заправляют числа», – говорит Кен Рудин, главный аналитик Zynga127.
Видеоигры – одна из отраслей, где «лейтенанты» больших данных уже пробили себе путь локтями, чтобы встать в ряд с «генералами» экспертных знаний, попутно преобразуя саму отрасль. Рыночный сектор видеоигр ежегодно получает 10 миллиардов долларов прибыли, что превышает кассовые сборы Голливуда. Раньше компания разрабатывала игру, выпускала ее на рынок и надеялась, что та станет хитом. На основе данных о продажах компания готовила продолжение или начинала новый проект. Решения относительно темпа и элементов игры (таких как персонажи, сюжет, объекты, события и пр.) зависели от творческой фантазии дизайнеров, которые относились к своей работе с такой же серьезностью, как Микеланджело расписывал Сикстинскую капеллу. Это было искусство, а не наука, мир догадок и интуиции, как у скаутов из фильма «Человек, который изменил всё».
0 OlessyaMsk_LiveLibВидеоигры – одна из отраслей, где «лейтенанты» больших данных уже пробили себе путь локтями, чтобы встать в ряд с «генералами» экспертных знаний, попутно преобразуя саму отрасль. Рыночный сектор видеоигр ежегодно получает 10 миллиардов долларов прибыли, что превышает кассовые сборы Голливуда. Раньше компания разрабатывала игру, выпускала ее на рынок и надеялась, что та станет хитом. На основе данных о продажах компания готовила продолжение или начинала новый проект. Решения относительно темпа и элементов игры (таких как персонажи, сюжет, объекты, события и пр.) зависели от творческой фантазии дизайнеров, которые относились к своей работе с такой же серьезностью, как Микеланджело расписывал Сикстинскую капеллу. Это было искусство, а не наука, мир догадок и интуиции, как у скаутов из фильма «Человек, который изменил всё».
Фильм «Человек, который изменил всё», снятый по книге Майкла Льюиса, рассказывает правдивую историю Билли Бина – генерального менеджера «Окленд Атлетикс», который отбросил вековую традицию назначения игроков в пользу математически ориентированного подхода с новой системой показателей. Статистические подходы, такие как «средний уровень», канули в прошлое. На смену им пришли на первый взгляд непривычные суждения об игре, например «процент попадания на базу». Подход, основанный на данных, показал скрытую сторону спорта, которая, как правило, ускользала от внимания за привычными атрибутами вроде арахиса и попкорна. Главное, чтобы игрок попадал на базу, и неважно, как он это делал – благодаря своей скорости или хитрости. Когда данные показали, что кража баз является неэффективной, со сцены ушел один из самых интересных, но наименее «продуктивных» элементов игры.
0 OlessyaMsk_LiveLibФильм «Человек, который изменил всё», снятый по книге Майкла Льюиса, рассказывает правдивую историю Билли Бина – генерального менеджера «Окленд Атлетикс», который отбросил вековую традицию назначения игроков в пользу математически ориентированного подхода с новой системой показателей. Статистические подходы, такие как «средний уровень», канули в прошлое. На смену им пришли на первый взгляд непривычные суждения об игре, например «процент попадания на базу». Подход, основанный на данных, показал скрытую сторону спорта, которая, как правило, ускользала от внимания за привычными атрибутами вроде арахиса и попкорна. Главное, чтобы игрок попадал на базу, и неважно, как он это делал – благодаря своей скорости или хитрости. Когда данные показали, что кража баз является неэффективной, со сцены ушел один из самых интересных, но наименее «продуктивных» элементов игры.
Читайте также: