Книги
Введение в науку о данных (PDF) - очень хорошая и полезная книга. Рекомендуется к прочтению в первую очередь.
Продвинутый анализ данных с элементарной точки зрения (PDF) - рекомендуется для тех, кто уже хорошо владеет математическим аппаратом.
Введение в машинное обучение (PDF)
Математические методы обучения по прецедентам (К. В. Воронцов) (PDF)
Сайты
Соревнования по анализу данных
Отличные русскоязычный Wiki ресурс по машинному обучению
Курсы
Coursera
Машинное обучение (Stanford - Andrew Ng)
Анализ данных (Jeff Leek)
Анализ данных (Roger Pang)
Другие
Введение в науку о данных (Berkeley)
Открытые источники данных
Россия
Открытые данные о правоохранительной системе (Россия)
Портал открытых данных правительства Москвы
Некоммерческий проект с открытыми данными раскрываемыми государством (Новый сайт)