Как Google превращает 5 миллионов новостных сообщений в систему прогнозирования смертоносных паводков

Внезапные паводки — одни из самых изменчивых и смертоносных погодных явлений на планете. Ежегодно эти резкие подъемы воды уносят более 5 000 жизней, зачастую обрушиваясь практически без предупреждения. В то время как метеорологи научились мастерски предсказывать крупномасштабные события, такие как ураганы или сезонные разливы рек, внезапные паводки остаются труднодоступным «слепым пятном» в мировом прогнозировании погоды.

Причина этого заключается не в нехватке вычислительной мощности, а в дефиците данных. Чтобы обучать модели глубокого обучения, на которых базируются современные погодные приложения, ученым необходимы исторические записи. Однако внезапные паводки часто носят слишком локальный и кратковременный характер, чтобы их могли зафиксировать традиционные датчики, такие как речные гидропосты. Чтобы восполнить этот пробел, Google Research обратилась к нетрадиционному источнику информации — архивам местных новостей.

Дефицит данных в гидрологии

В мире прогнозирования погоды данные — это залог точности. Для крупных рек у нас есть данные о стоке за десятилетия, зафиксированные физическими датчиками. Но внезапные паводки часто случаются в небольших ручьях, на городских улицах или в отдаленных оврагах, где датчиков нет. Без записей о том, где и когда такие наводнения происходили в прошлом, модели ИИ не могут выучить паттерны, необходимые для их предсказания в будущем.

Это то, что исследователи называют проблемой «наземной истины» (ground truth). Если дерево падает в лесу, и ни один датчик не фиксирует вибрацию, произошло ли это? В гидрологических терминах: если внезапный паводок разрушает мост в сельской деревне, но поблизости нет речного уровнемера, это событие фактически никогда не происходило с точки зрения компьютерной модели. Отсутствие этой информации делает практически невозможным обучение глобальных моделей ИИ распознаванию предвестников внезапного паводка.

Gemini и проект Groundsource

Чтобы решить эту проблему, исследователи Google задействовали Gemini — самую продвинутую большую языковую модель компании — для проведения масштабных «цифровых археологических раскопок». Команда поручила ИИ проанализировать 5 миллионов новостных статей, охватывающих несколько десятилетий и десятки языков.

Цель состояла в том, чтобы найти «неструктурированные» сообщения о наводнениях — фрагменты местных новостей, сводки чрезвычайных ситуаций и общественные архивы — и превратить их в «структурированные» данные. Gemini не просто искала слово «наводнение»; она анализировала контекст, чтобы определить точное местоположение, время и серьезность события.

Результатом стал набор данных под названием Groundsource. Он содержит 2,6 миллиона отдельных случаев наводнений, каждый из которых имеет геотег и временную метку. Это представляет собой огромный скачок в наших исторических записях, предоставляя карту высокого разрешения, показывающую, где вода наносила удары в прошлом, даже в тех районах, где физическая инфраструктура отсутствует.

Превращение языка в логику

Использование языковой модели для гидрологических исследований — это новаторский подход. Гила Лойке, менеджер по продукту Google Research, отметила, что компания впервые использовала LLM для создания такого специфического типа экологических данных временных рядов.

Представьте это как слой перевода. В новостном репортаже может быть сказано: «Проливные дожди привели к тому, что перекресток 5-й авеню и Мейн-стрит ушел под воду на три фута в прошлый вторник». Gemini переводит это предложение в набор координат, дату и масштаб. Когда вы умножаете это на миллионы статей, у вас внезапно появляется плотная сеть точек данных, которую можно наложить на исторические спутниковые снимки и записи об осадках.

Сравнивая эти отчеты, полученные из новостей, с атмосферными данными, модели глубокого обучения Google могут, наконец, увидеть «почему» за этим «где». Они могут определить, что определенное количество осадков при конкретном рельефе местности приводит к наводнению, даже если поблизости нет ни одного физического датчика.

Глобальное равенство в предупреждении о стихийных бедствиях

Одним из наиболее значимых аспектов проекта Groundsource является его потенциал для помощи Глобальному Югу. Развивающиеся страны часто не имеют бюджета на установку и обслуживание дорогостоящих гидропостов. Следовательно, эти регионы часто оказываются наиболее уязвимыми к климатическим катастрофам и наименее оснащенными системами раннего предупреждения.

Поскольку Groundsource опирается на новостные сообщения и цифровые архивы, а не на физическое оборудование, он может предоставить исторический контекст для регионов, которые ранее были «пустынями данных». Делая этот набор данных общедоступным, Google предоставляет местным органам власти и НПО основу для создания собственных локализованных систем раннего предупреждения.

Практические выводы для будущего

Хотя набор данных Groundsource в первую очередь является инструментом для исследователей и метеорологов, его последствия со временем коснутся и обычного пользователя смартфона. Вот что этот сдвиг в прогнозировании означает для ближайшего будущего:

• Гиперлокальные оповещения: Ожидайте, что предупреждения о наводнениях станут более точными. Вместо оповещения по всему округу вы можете получить уведомление для конкретного района или участка дороги.
• Улучшенное городское планирование: Городские планировщики могут использовать эти исторические данные для выявления «горячих точек», которые годами освещались в новостях, но официально не фиксировались в гидрологических базах данных.
• Страхование и оценка рисков: Более точные исторические данные, вероятно, изменят способы расчета стоимости страхования от наводнений и оценки рисков в ранее не контролируемых районах.
• ИИ как многофункциональный инструмент: Этот проект доказывает, что LLM предназначены не только для написания электронных писем или генерации кода; это мощные инструменты для организации «хаотичной» мировой информации в научные наборы данных.

Путь вперед

Решение Google сделать исследование и набор данных Groundsource общедоступными знаменует собой переход к совместному использованию ИИ в вопросах климата. Предоставляя «наземную истину», которой ранее не хватало, они приглашают мировое научное сообщество к совершенствованию этих моделей.

Поскольку изменение климата увеличивает частоту и интенсивность экстремальных погодных условий, способность предсказывать непредсказуемое становится вопросом выживания. Научив ИИ читать новости, мы, наконец, даем ему контекст, необходимый для того, чтобы увидеть приближение паводка еще до того, как вода начнет подниматься.

Источники

• Google Research: Official Blog and Publications
• World Meteorological Organization: Flash Flood Statistics and Impact
• Nature: Advancements in AI for Hydrological Modeling