Применение инфраструктуры YT в области поиска и разведки нефтяных и газовых месторождений Докладчик – Рябинский Максим

Конференция Yet another Conference (YaС) 2013

3

Высокопроизводительные вычисления в сейсморазведке

Наземная сейсморазведка Использован рисунок с сайта http://geofizika.uz

Морская сейсморазведка Использован рисунок с сайта http://community.sk.ru и http://www.geonodal.com

Обработка данных в программном обеспечении Использован рисунок с сайта www.yandex-terra.ru

4

Высокопроизводительные вычисления в сейсморазведке

Один из типовых проектов, предлагаемых для обработки:

!   Площадь проекта – 1 500 км2;

!   Размер участка – 150 х 10 км;

!   Объём исходных данных – 10 Тб;

!   Более 100 миллионов точек, в которых производятся расчёты процедур обработки;

!   Обработка должна включать в себя моделирование, подавление кратных волн и построение трёхмерных глубинных изображений. Это наиболее ресурсоёмкие процедуры обработки.

В стандартных условиях только ввод такого объёма данных займёт порядка 5 дней.

Стандартная обработка занимает несколько месяцев. Использован рисунок с сайта www.ibmbigdatahub.com

5

Ресурсы: !   Отечественный программный комплекс для интерпретационной обработки сейсмических

данных «Prime»;

!   Технологии высокопроизводительных вычислений;

!   Вычислительные ресурсы;

!   Практический опыт экспертов в области обработки и разработки ПО.

Ресурсы и направления деятельности проекта Яндекс.Терра

Основные направления деятельности проекта: ! Предоставление доступа к высокопроизводительным вычислительным технологиям и ресурсам;

! Выполнение ресурсоёмких счётных процедур;

! Экспертная интерпретационная обработка сейсмических данных.

6

Яндекс.Терра - сервис для сервиса

!   Высокая производительность вычислений;

!   Отсутствие затрат на приобретение и модернизацию оборудования;

!   Отсутствие затрат на сопровождение оборудования;

!   Низкая стоимость выполнения расчётов.

Сервисные компании получают возможность выполнять расчёты, используя ресурсы Яндекс.Терры

7

Яндекс.Терра - открытый проект

!   Адаптировать свои программные средства к нашей вычислительной модели;

!   Выполнять коммерческие расчеты, используя вычислительные ресурсы Яндекс.Терры;

Компании и коллективы, занимающиеся разработкой программного обеспечения, получают возможность:

!   Размещать свои программные средства на ресурсах проекта и с их помощью осуществлять сервисные работы для своих клиентов;

!   Протестировать свои решения в «песочнице» для разработчиков.

Использовано изображение с сайта http://grantseurope.eu/portfolio_2/clustercoop/

8

Сбор сейсмических данных

Использован рисунок с сайта http://www.krugosvet.ru

! Сейсмическая съемка

! Сейсмические трассы

! Сейсмический куб

! Сортировки сейсмических трасс

Пункт приема №1

Пункт приема №2

9

Сейсмические трассы

Изображение сейсмических трасс

t t

L L

10

Сейсмический куб

~ 10 Тб

Использован рисунок с сайта http://clubs.ya.ru

Сейсмические трассы

Задание геометрии куба

11

Сортировки сейсмических трасс

Использован рисунок с сайта http://clubs.ya.ru Использован рисунок с сайта http://softomixer.ru

Группировка и сортировка трасс

по определенным признакам (ОПВ, ОПП, ОГТ)

12

Сортировки сейсмических трасс

ПВ  1 ПВ  2

ПВ  3 ПВ  4

ПП  1 ПП  2

ПП  3 ПП  4

ОГТ

ПВ  1 ПВ  2

ПВ  3 ПВ  4

ПП  1 ПП  2

ПП  3 ПП  4

ОПВ

ПВ  1 ПВ  2

ПВ  3 ПВ  4

ПП  1 ПП  2

ПП  3 ПП  4

ОПП

Сортировка по общему пункту взрыва

Сортировка по общему пункту приема

Сортировка по общей глубинной точке

13

Регуляризация: постановка задачи

Использован рисунок с сайта http://fb.eage.org Использован рисунок с сайта http://rirl.ru

Сейсмическая съемка Необработанные данные

14

Регуляризация сейсмических кубов

Загрузим трассы в YT

Разрежем куб

на части

Выправим каждую часть

Сошьем все части в куб

Выгрузим куб из YT

15

Загрузим трассы в YT

ПО Prime

write

YT-table: <trace>

Просмотр загруженных данных через веб-интерфейс YT Загружаемые данные

16

Загрузим трассы в YT

!   Создаем новую YT таблицу;

!   Распределяем трассы между YT прокси-серверами для параллельной загрузки. !   Каждый YT прокси-сервер перебирает свой набор трасс:

•  Кодирует каждую трассу в формат YT записи;

•  Добавляет трассу в YT таблицу.

17

Разрежем куб на части

<trace>

map

<L, cdp_bin, trace>

18

Разрежем куб на части

! Mapper получает трассу из входной таблицы;

!   Определяет расстояние от источника до приемника (L);

!   Определяет номер области, в которую попадает ОГТ (cdp_bin);

!   Формирует YT-запись с тремя ключами <L, cdp_bin, trace>;

!   Сохраняет YT-запись в выходной таблице.

19

Выправим каждую часть

<L, cdp_bin, trace>

reduce

<L, nline, ncdp, weight, trace>

20

Выправим каждую часть

!   Reducer получает набор трасс из входной таблицы;

!   Группирует трассы по ключу <L, cdp_bin>;

!   Регуляризирует каждую группу трасс;

!   Для каждой трассы формирует запись с ключами <L, nline, ncdp, weight, trace>;

!   Сохраняет запись в выходной таблице.

21

Сошьем все части в куб

<L, nline, ncdp, weight, trace>

reduce

<L, nline, ncdp, trace>

22

Сошьем все части в куб

!   Reducer получает набор трасс из входной таблицы;

!   Группирует трассы по ключу <L, nline, ncdp>;

!   Суммирует с весами все трассы внутри группы;

!   Для каждой суммарной трассы формирует запись с ключами <L, nline, ncdp, trace>;

!   Сохраняет запись в выходной таблице.

23

Выгрузим куб из YT

<L, nline, ncdp, trace> -> map -> <nline, ncdp, trace>

sort -> read

ПО Prime

Просмотр результатов регуляризации через веб-интерфейс YT

Визуализация выгруженных данных

24

Выгрузим куб из YT

!   Выбираем все трассы, имеющие заданное удаление, операцией map;

!   Сортируем выбранные трассы по координатам ОГТ;

!   Конвертируем таблицу с выбранными трассами в формат ПО Prime.

25

Что получилось?

YT

ПО Prime

Сечение куба равных удалений ДО регуляризации

Сечение куба равных удалений ПОСЛЕ регуляризации

26

Какие еще процедуры мы выполняем на YT?

!   Surface-related multiple elimination (SRME) – моделирование кратных волн;

! Миграция – устранение нежелательных геометрических эффектов распространения волн и восстановление глубинного изображения среды.

СПАСИБО    ЗА  ВНИМАНИЕ!  

Максим Рябинский - программист, проект Яндекс.Терра (ООО «Сейсмотек») моб. тел. +7 (916) 583-28-39, e-mail: m.rjabinskiy@yandex-terra.ru