Aspiring Data Science

#astronomy

"Первичная обработка данных с массивов антенн будет происходить в дата-центрах непосредственно у радиотелескопов: от поля антенн для средних частот — в ЮАР, а от поля антенн для низких частот — в Австралии. Затем данные будут передаваться на местные суперкомпьютеры для калибровки и подготовки научных данных, с которыми уже можно работать без специальных знаний. После этого будет осуществляться операция «данные — учёным», в процессе которой одинаковые массивы будут переданы в региональные ЦОД, чтобы трафик не забивал все каналы коммуникации.

Поток данных от SKA будет одним из самых больших в истории и достигнет 600 Пбайт в год и даже выше, когда инструмент будет введён в полную эксплуатацию к 2029 году. Чтобы загрузить такой объём данных по «типичному интернет-каналу» со скоростью 100 Мбайт/с, потребуется 200 лет. Для доступности собранной телескопом SKA информации большинство стран-участниц проекта создадут до 20 или больше выделенных региональных дата-центров SKA Regional Centres (SRC).

Современным астрономам не нужно сидеть всю ночь напролёт на открытом воздухе у телескопов. Вся информация будет доставляться прямо на рабочий компьютер в любую точку мира в удобное время дня и ночи. Обратная сторона этого комфорта — значительно выросшие расходы на хранение и обработку данных. И эти расходы продолжат расти.

Постепенно в работу вводятся новые инструменты, такие как обсерватория имени Веры К. Рубин с самой большой цифровой камерой размером 3 × 1,65 м на 3,2-гигапикселя, которая каждый год будет создавать до 16 Пбайт сырых данных (до 7 Пбайт после обработки), космический телескоп Nancy Grace Roman Space Telescope, запланированный к запуску в 2027 году с объёмом годовых данных до 5 Пбайт и другие инструменты. Всё это потребует вычислительных ресурсов, которые учёные вынуждены вырывать у модного искусственного интеллекта с сомнительной полезностью, но невероятными амбициями."

https://3dnews.ru/1129352/defitsit-hdd-pridyot-otkuda-ne-gdali-krupneyshiy-v-mire-teleskop-budet-generirovat-600-pbayt-dannih-v-god

3DNews - Daily Digital Digest

Дефицит HDD грядёт откуда не ждали — крупнейший в мире телескоп будет генерировать 600 Пбайт данных в год

Новости последних двух лет пестрят сообщениями о новых ЦОД, которые создаются исключительно для задач ИИ. На этом фоне те же астрономы выглядят сиротами, хотя новейшие инструменты для наблюдения за Вселенной также производят неимоверные объёмы данных. Один…

www.tgoop.com/AspiringDataScience/2692

83 viewsAnatoly Alekseev, Sep 17 at 03:59

#astronomy

"Первичная обработка данных с массивов антенн будет происходить в дата-центрах непосредственно у радиотелескопов: от поля антенн для средних частот — в ЮАР, а от поля антенн для низких частот — в Австралии. Затем данные будут передаваться на местные суперкомпьютеры для калибровки и подготовки научных данных, с которыми уже можно работать без специальных знаний. После этого будет осуществляться операция «данные — учёным», в процессе которой одинаковые массивы будут переданы в региональные ЦОД, чтобы трафик не забивал все каналы коммуникации.

Поток данных от SKA будет одним из самых больших в истории и достигнет 600 Пбайт в год и даже выше, когда инструмент будет введён в полную эксплуатацию к 2029 году. Чтобы загрузить такой объём данных по «типичному интернет-каналу» со скоростью 100 Мбайт/с, потребуется 200 лет. Для доступности собранной телескопом SKA информации большинство стран-участниц проекта создадут до 20 или больше выделенных региональных дата-центров SKA Regional Centres (SRC).

Современным астрономам не нужно сидеть всю ночь напролёт на открытом воздухе у телескопов. Вся информация будет доставляться прямо на рабочий компьютер в любую точку мира в удобное время дня и ночи. Обратная сторона этого комфорта — значительно выросшие расходы на хранение и обработку данных. И эти расходы продолжат расти.

Постепенно в работу вводятся новые инструменты, такие как обсерватория имени Веры К. Рубин с самой большой цифровой камерой размером 3 × 1,65 м на 3,2-гигапикселя, которая каждый год будет создавать до 16 Пбайт сырых данных (до 7 Пбайт после обработки), космический телескоп Nancy Grace Roman Space Telescope, запланированный к запуску в 2027 году с объёмом годовых данных до 5 Пбайт и другие инструменты. Всё это потребует вычислительных ресурсов, которые учёные вынуждены вырывать у модного искусственного интеллекта с сомнительной полезностью, но невероятными амбициями."

https://3dnews.ru/1129352/defitsit-hdd-pridyot-otkuda-ne-gdali-krupneyshiy-v-mire-teleskop-budet-generirovat-600-pbayt-dannih-v-god

BY Aspiring Data Science