Методы и результаты наблюдательной радиокосмологии

Глава 3. Разработка базы данных астрофизических каталогов CATS и ее применение для построения и анализа выборок радиогалактик 3.1.

Введение

.

3.2. Идеология построения 3.3. Функции CATS .112 112 115 120 Оглавление 123 123 124 127 127 144 161 3.3.1. Выборка по параметрам 3.3.2. Кросс-идептификация псточпиков 3.4. Ввод и вывод: уровпи доступа и форматы вывода 3.5. Апализ кросс-идентификацпй впутри CATS 3.5.1. Отождествление декаметровых радиоисточников 3.5.2. Радиопзлучающие объекты инфракрасного диапазона 3.6. Выводы.

1 Основные результаты этой главы изложены в статьях рецензируемых изданий Verkhodanov et al., 1997а, b,2000b, 2000dVerkhodanov & Trushkin, 2000; Верходанов и др. 2003b, с,2005c. привязки наблюдений к международной шкале потоков.

Можно выделить следующие предпосылки создания базы данных CATS на момент ее появления в CAO в 1993 г. (Верходанов, Трушкин, 1994, 1995а, Ь): Поиск данных в огромном числе публикаций в области наблюдательной астрономии оставался трудоемким занятием.

Поиск отождествлений сотен тысяч радиоисточников стал насущной необходимостью современных исследований.

В известных базах данных: Simbad, NED и LEDA сильно недоставало радиоданных, хотя они и доминировали по числу объектов.

Уже был накоплен большой «радиоастрономический» опыт в проведении обзоров и в работе с каталогами на РАТАН-600.

Была создана локальная сеть CAO (с 1989 г.) (Черненков, Шергин, 1993) и подключена к Internet (1996 г.).

Наличие опыта создания общепользовательских программных систем. К моменту начала разработки базы данных CATS у авторов было около 30 радиоастрономических каталогов, компьютер IBM PC 386, работающий под OS XENIX (модификация Unix-a), и большое число разнообразных астрофизических проблем, связанных с исследованиями континуальных спектров и требующих решения. CATS организовывалась прежде всего как система поддержки наблюдений, проводимых на радиотелескопе РАТАН-600 (Verkhodanov, Trushkin, 1995; Верходанов, Трушкин, 1995а, Ь). Именно трудоемкая работа с «бумажными» каталогами при обработке и интерпретации наблюдений на радиотелескопе стала побудительной причиной создания радиоастрономической базы данных каталогов более широкого использования. После создания удобного интерфейса такая возможность была реализована в рамках локальной сети CAO. С появлением доступа CAO РАН в Internet модернизированная и ориентированная уже на Web-технологию база данных CATS стала широко использоваться астрономическим сообществом. А дополнение системы управления CATS интерпретационными CGI-программами и апплетами расширяет ее поисковые возможности. Статистика показывает, что сервер обрабатывает около 10 000 обращений в месяц, а анализ используемых данных показывает, что CATS существенно помогает астрономам при обработке астрофизических наблюдений.

Табличные данные каталогов поступали на РАТАН-600 в разное время. MASTER LIST, объединенный каталог всех радиообзоров неба, выполненных до 1981 г., созданный Диксоном (США) (Dixon, 1970), стал первым из вошедших в CATS, так как широко использовался в радионаблюдениях на РАТАН-600 еще с 80-х гг. Коллекция данных содержит также информацию по тысячам слабых радиоисточников из обзора «Холод» и Зеленчукского обзора ГАИШ, проведенных с помощью радиотелескопа РАТАН-600. Очень большой вклад внес энтузиаст коллекционирования астрономических данных Хайнц Андернах, который передал многие оцифрованные им каталоги. Им собрано 600 каталогов, содержащих радиоданные, и около 500 — результаты наблюдений в других диапазонах (Andernach et al., 1994, 1995, 1997).

В данной главе будут рассмотрены принципы каталогизации радиоисточников, являющиеся оригинальной авторской разработкой, описаны идеология и правила построения баз данных астрофизических объектов и описаны принципиальные моменты селекции объектов. В рамках построенной системы проведены исследования нескольких списков объектов, отобраны радиоисточники с ультракрутыми спектрами, проведено их кросс-отождествление с объектами других диапазонов длин волн.

3.2. Идеология построения базы данных.

База данных CATS представляет собой набор астрофизических каталогов, их описаний и программ работы с ними (Verkhodanov, Trushkin, 1995; Verkho-danov et al., 1997a, b, cТрушкин и др., 1997, Trushkin et al., 2000; Verkhodanov et al., 2000b, с, 2005c). Чтобы не утонуть в потоке информации, мы ограничили отбор каталогов для CATS следующими принципами:

• включать все радиокаталоги, созданные на основе обзоров неба;

• включать все крупные (>800 объектов) незвездные (галактические и внегалактические) каталоги из других диапазонов;

• включать каталоги объектов из других диапазонов, в которых использованы радиоданные;

• общие поля для всех включаемых каталогов — координаты объекта. Основной упор в CATS сделан на работу с радиокаталогами и отдельными таблицами, использующими результаты наблюдений в сплошном спектре. Таких таблиц в БД около 400 (на начало 2005 г.). Все самые объемные известные радиокаталоги с числом записей больше 800 уже включены в CATS. По нашим оценкам более 98% всех каталогизированных радиоданных являются частью CATS, что делает ее саг^ой крупной радиоастрономической базой данных в мире.

Одной из основных задач, стоявших перед авторами, было сохранение исходного астрофизического каталога в формате автора, т. е. неизменность авторских данных. Необходимо было разработать такую структуру взаимодействия пользователя и поисковой программы, работающей с каталогом, чтобы и пользователю было удобно и программа разбиралась с первичным каталогом. Для выполнения этих целей была выбрана двухуровневая иерархическая структура описания и хранения данных, а также двухуровневая (а позднее.

Рис. 3.1. Схема построения базы данных CATS. Каждый астрофизический каталог помещается в соответствующую директорию операционной системы. В эту же директорию помещаются исполняемые программы и описания каталога. В файле описаний содеро! сатся характеристики астрофизических каталогов и имена соответствующих программ для выполнения процедур выборки данных. Организованы различные варианты ввода и вывода информации из БД. Рисунок опубликован в работе (Verkhodanov et al, 1997а). трехуровневая) структура поисковых и обслуживающих пользователя программ (Рис. 3.1) (Verkhodanov et al., 1997с).

Добавление нового каталога в базу данных CATS происходит по следующим правилам:

1. каждый новый каталог объектов должен быть помещен в Unix-директорию с тем же именем, что и сам каталог объектов;

2. туда же помещаются все программы для локальных операций поиска/выборки;

3. краткие характеристики, имена программ и файла с описанием каталога, библиографические ссылки помещаются в специальный файл описаний cats descr.

Файл описаний (catsdescr) содержит имя и тип каталога (радио, оптический, смешанный и т. п.), диапазон частот, минимальные/максимальные значения плотностей потоков, границы используемых в данном каталоге координат источников (галактических и/или экваториальных), имена локальных программ выборки по параметрам (select) и кросс-идентификации (match), имя файла с документацией, параметр разрешения (размер диаграммы направленности или seeing), количество записей в каталоге, калибровочный множитель для привязки шкалы интенсивностей и библиографический код. Несмотря на небольшой объем вводимых характеристик, на настоящий момент их вполне хватает для организации управления БД.

Внешний пользователь взаимодействует с CATS через специально созданные командные файлы (второй уровень системы управления базой данных CATS) из любой директории системы (Рис. 3.1). Эти командные файлы считывают всю необходимую информацию из файла описаний (catsdescr) — центрального репозитория (хранилища ссылок) метаданных, описывающих физические свойства каталога. Именно благодаря взаимодействию с репо-зиторием, поисковые программы отождествляют местоположение искомого каталога в системе управления файлами OS Unix по запросам пользователя.

Описанный способ размещения и хранения каталогов позволяет быстро и легко развивать БД CATS, и настраивать поддерживающие программы. Таким образом, CATS представляет из себя базу данных объектов, где каждый объект — структурная единица, объединяющая сам астрофизический каталог, помещенный в соответствующую директорию системы, файл с его кратким описанием, а также программы для работы с этими данными (Рис. 3.1).

Реально все каталоги имеют различный формат представления данных и получены в различных по методам наблюдениях. Таким образом, пользователю предоставляется однородный доступ к разнообразной коллекции данных, полученных на различной наблюдательной базе с различными физическими характеристиками и единицами измерения в противовес принятым на начало 90-х годов стандартам создания единого каталога с полным набором описываемых параметров. Система настройки организована таким образом, что описанные каталоги включаются в CATS без изменения расположения полей с параметрами, а прямо в том виде, как они были опубликованы.

Тонкая настройка.

Локальные программы вызова — нижний уровень взаимодействия с каталогами — сами являются двухуровневыми программами (командными файлами). Нижний уровень подготавливает верхний вызов в виде унифицированного поискового запроса, который уже используется для передачи общих параметров запроса к атомам системы. В качестве атомов системы используются две специально разработанные программы cselи cmatch, которые настраиваются администратором на формат описания соответствующего каталога, а именно на позиционирование определенных полей с параметрами. Например, нижеприведенная строка демонстрирует, как определенные символы соответствуют определенным параметрам: csel.

— pat «nnnnn hhmmssss ее tddmmss ее zzzzz fff eeen i xx yy aa qn». Здесь в трех вводимых строках: nnnn — имяhh mm ssss — часы, минуты и секунды прямого восхождения (RA) — еее (после RA) — ошибка RA в секундах времениtdd mm sss — знак, градусы, минуты и секунды склонения (Dec) — ее (после Dec) — ошибка Dec в секундах дугиzzzzz — частота в МГцffffплотность потока в мЯнее (после FD) — ошибка плотности потока в единицах плотности потокап — символ перевода строкиi — количество строк после текущей для считываниях — большая полуось эллипса в секундах дугиумалая полуось эллипса в секундах дугиа — позиционный угол в градусахqразмер объекта в секундах дуги. Ключ '-pat' обозначает, что следующий параметр (заключенный в кавычки) — шаблон для отождествления положения полей в каталоге объектов. Позиции полей описаний соответствуют положениям описываемых параметров в реальном каталоге.

Используя такую методику задания форматов полей, мы смогли подключить разнообразные каталоги, чьи наблюдательные характеристики, например координаты, выражены в радианах, градусах или часах, т. е. в различных физических единицах. Это позволило включить в CATS на общих основаниях старые каталоги с худшими (имеющими точность до 30 мин дуги) координатами без изменения форматов записей. Индексация.

При работе с каталогами огромных размеров (свыше 0.5 млн. записей) становится заметной скорость взаимодействия программы с жестким диском компьютера, с одной стороны, а также время вычислений при обработке данных каждой записи, с другой стороны. Для решение этих проблем была введена система индексации записей (программа с divide) с такой же тонкой подстройкой описания параметров, что и для атомов системы csel и cmatch. Количество методов индексации устанавливает администратор при включении каталога в базу данных CATS. Подобный подход в индексации каталогов ускорил поиск и обработку информации в десятки тысяч раз (Verkhodanov et al., 1997сВерходанов и др., 2005с). Расщепление каталогов на объекты.

Одна из мировых тенденций при создании баз данных — архивирование астрофизической информации по конкретным объектам, т. е. в отличие от CATS, которая развивалась, сохраняя каталоги в их исходном виде, ряд баз данных (см. например, базы данных скоплений галактик (Gubanov, 1997) или физических свойств галактик HyperLeda (Prugniel et al., 2002)) собирает и структуирует информацию по отдельным объектам. Следуя этим тенденциям, мы добавили процедуры работы с S-файлами (в FITS-подобном формате для описания данных радиоспектров (Верходанов и др., 1997а)) в программы нижнего уровня — атомы CATS. Таким образом были представлены и сохранены в CATS результаты отождествлений декаметровых источников (Verkhodanov et al., 2000dВерходанов и др., 2003b).

3.3. Функции CATS.

CATS имеет несколько основных функций, обеспеченных разработанным программным обеспечением (Verkhodanov et al., 1997а, b, с, 1998а, 2000b, 2004bTruskin et al., 2000, 2001). Выделим некоторые из них:

1. Сохранение данных разнообразных астрофизических каталогов.

2. Предоставление краткого описания и характеристик каждого каталога и распечатка полного списка каталогов, пересекающих заданную площадку неба.

3. Выборка объектов из одного или нескольких каталогов в соответствии с за* данными пользователем критериями, такими, например, как экваториальные и галактические координаты, плотности потоков и спектральные индексы, наблюдаемые частоты, имена каталогов (как в случае компилированных каталогов вроде MASTER. LIST Диксона (Dixon, 1970, 1981)) и тип объекта m если он приводится в каталоге). ,.

4. Кросс-идентификация различных каталоговрасчет спектральных индексов по выбранным частотамоптическое, рентгеновское и инфракрасное отождествление радиоисточников.

5. Построение континуальных радиоспектров, подготовка бумажных копий рисунков со спектрами.

6. Перевод координат с эпохи на эпоху и вычисление видимых мест.

7. Интероперабельность.

Интероперабельность (универсальность) — это свойство системы управления базы данных, заключающееся в возможности использования процедур этой СУБД в других программных средствах. Каждая создаваемая откры тая система должна уметь взаимодействовать с внешним миром. Формально это свойство взаимодействия и есть интероперабельность. CATS, как база данных, реализована с внешним доступом на уровне нескольких протоколов взаимодействия, самый важный из которых в настоящее время — HTTP. Функции и программы, обеспечивающие взаимодействие пользователя с процедурами СУБД, обеспечивают это свойство CATS как на клиентском уровне, так и на уровне взаимодействия с серверами. Рабочие функции CATS второго уровня могут быть вызваны через специально организуемые запросы, и обеспечить обработку и передачу вводимых и выводимых таблиц.

Выдаваемые таблицы CATS (Верходанов и др., 1997а, 2004b) воспринимаются графическими процедурами FADPS (spg, см. Главу 2, (Верходанов, 1997)), таким образом формируя единую цепочку обработки информации.

Построение континуальных радиоспектров в базе данных обеспечивается несколькими процедурами на разных уровнях доступа. На нижнем уровне взаимодействуют процедуры FADPS spg и plgr с данными вывода процедур CATS с sel и с match. На верхнем уровне доступны разработанные А. С. Трушкиной и С. А. Трушкиным Java-процедуры и GIF-процедуры для оперативного построения спектров из многочастотных каталогов.

Предоставление краткого описания и характеристик каждого каталога оформлено на трех уровнях доступа: Web-страницы подготовлены С. А. Трушкиным, а описание для FTPи SCP-доступа производится администратором в момент ввода нового каталога.

Перевод координат с эпохи на эпоху — одна из функций CATS. Координаты выбираемых объектов могут задаваться на произвольную эпоху, а согласование с эпохой каталога производится специальной утилитой epoch, в которой реализованы алгоритмы, разработанные В. П. Львовым (ГАО РАН).

Две функции, являющиеся принципиальными в селекции объектов: выборку rio параметрам и кросс-идентификацию, связанные с процедурами вычислений, рассмотрим отдельно.

3.3.1. Выборка по параметрам.

Как уже упоминалось, для выборки объектов из одного или нескольких каталогов по параметрам, разработана специальная процедура нижнего уровня — атом с5е/, позволяющая настраивать формат ввода для задач выборки из астрофизического каталога. Программа организована так, что, кроме селекции по имеющимся в каталоге параметрам, например, координатам и плотностям потоков (или звездным величинам), она позволяет сортировать поступающие объекты «гнездовым» способом: вокруг источников из выбранного каталога в эллиптической или прямоугольной зоне с заданными полуразмерами выбираются все объекты и объединяются в одно «гнездо», которое помечается при выводе объекта. В предположении единого общего источника излучения и правильного отождествления внутри «гнезда» можно производить выборку по спектральным индексам на заданной частоте. Тип континуального спектра, для которого вычисляется спектральный индекс как наклон касательной, выбирается автоматически. Подобная функция CATS является дополнительной процедурой и при кросс-идентификации списков объектов.

Взаимодействие программ выборки и каталогов и файла описаний cats descr выполняет процедура catssel, распределяющая работу по заданным каталогам. Она обеспечивает взаимодействие между пользовательскими интерфейсными программами и нижним уровнем. Задача выборки по параметрам решается на всех уровнях управления CATS (например, HTTP — см. Рис. 3.2).

3.3.2. Кросс-идентификация источников.

Кросс-идентификация различных каталогов — один из наиболее важных инструментов CATS, призванных решить проблему поиска первичных кандидатов на отождествление среди источников в каталогах CATS для заданного списка объектов. Кросс-идентификация — это одна из основных процедур в задачах «раскопок данных» (data mining), на которые CATS была ориентирована с момента ее создания.

Кросс-идентификация позволяет выбирать все источники внутри некоторого окна поиска вокруг объектов, задаваемых пользователем. При определении окна отождествления можно выбрать форму (эллипс/прямоугольник) и размер. Кроме того, при работе описываемой процедуры учитываются ошибки определения координат, имеющиеся внутри обрабатываемых списков. Для ряда каталогов (IRAS) ошибки определяются с учетом наклона эллипса диаграммы направленности. Вероятность правильного отождествления объектов может быть оценена процедурой, описанной формулой (2.9).

Взаимодействие программ кросс-идентификации и каталогов и базы данных описаний выполняет процедура cats match, распределяющая задания по выбранным каталогам. Она, как и ранее описанная процедура catssel, обеспечивает взаимодействие между пользовательскими интерфейсными программами и нижним уровнем.

Задача кросс-идентификации по параметрам решается на всех уровнях управления CATS.

3.4. Ввод и вывод: уровни доступа и форматы вывода.

Существует шесть уровней доступа к базе данных CATS и ее системе управления:

1. администраторский (с консоли) — доступ ко всем уровням работы с CATS;

2. внутрилабораторный, I (по протоколу SSH) — доступ к программам catsmatch и catssel.

3. внутрилабораторный, II (по протоколу NFS) — доступ к астрофизическим каталогам с других (разрешенных администратором) компьютеров без использования программ управления базой данных;

4. FTP-доступ (ftp://cats.sao.ru) к астрофизическим данным и описаниям для внешнего пользователя;

5. автоматизированный доступ через электронную почту (e-mail: [email protected] — послать пустое письмо), обеспечивающий запуск задач на CATS в «слепой» фоновой пакетной моде с автоматической отправкой результата пользователю;

6. HTTP-доступ (http://cats.sao.ru) как к данным, так и к системе управления CATS: программам выборки и поиска (Рис. 3.2).

Для организации доступа к программам catsmatch и catssel В.Н. Чер-ненковым (Черненков и др., 1997) были разработаны интерфейсные CGI-процедуры, обслуживающие клиентские запросы по протоколам SMTP (е-mail) и HTTP, а также программа для синхронизации базы данных описаний cats descr и содержимого форм запроса.

Для запуска процедур CATS с помощью электронной почты разработаны специальные форматы, подробное описание которых можно получить по е-mail, послав пустое письмо по адресу [email protected]).

После выполнения вычислительных запросов пользователю доставляется выводимый результат, записанный в одном из следующих форматов:

• оригинальный (авторский) формат записи данных;

• стандартный формат вывода CATS, общий для всех каталогов и используемый в дальнейшем для анализа параметров радиоспектровстандартный заголовок FITS TABLE, описывающий выводимые поля, может быть добавлен в отсылаемый файл.

Netscape: CATS search.

Rie Edit View Go Bookmarks Options Directory Window Help i Х’Ш a #.

Back Home Edit Reload Images Open Print Find.

Location: l]http://cats. sao. ru/catssearch. html M.

Ш у L" О О.

CATS Search.

Please choose search method: «Select» or «Match» and Catalogues: AN | Radio (& Pulsars^ | Infra Red | Objects | X-Ray | Selected гAll s Radio — Infra Red X —————-LJ.

Selected^. Objects l X-Ray J.

Click here to use the match option.

About CATS: in Russian or in English [Home] [FTP access to Databascl.

Go to authors personal pages: Cftentenf"tv 1/, N" Itusttkio S.A. or send mail to VeMtodsatov O. V,.

SPECIAL ASTROPHVSICAL OBSERVATORY RAS N. Arkhyz, Zhelenchukskij rg., Karachaj-Cherkessian Republic, Russia357147 t [7] 878−78−46 267 ~f[7J 878−78−44 502 1996 SncciAi Asbwbvsicjl Observatory.

-— ' «. .— .и—¦. J.

W «* ¦ • К t, -» шшшшттшт 1 о 1.

Рис. 3.2. Стартовая страница базы данных CATS для выборки по параметрам (разработана В. Н. Черненковым и др., 1997). Рисунок опубликован в работе (Verkhodanov et al, 1997с).

Результирующий файл по умолчанию сортируется в порядке возрастания прямого восхождения и может без изменений обрабатываться программой spg системы обработки FADPS.

3.5. Анализ кросс-идентификаций внутри CATS.

Рассмотрим возможности использования процедур выборки объектов на основе двух исследований, проведенных в рамках базы данных CATS: отождествление декаметровых радиоисточников, координаты которых имеют большие боксы ошибок (Verkhodanov et al., 2000dВерходанов и др., 2003b) и исследование объектов кросс-идентификации радио и инфракрасных каталогов (Верходанов и др., 2003с). По результатам этих исследований получены новые списки галактик с крутыми радиоспектрами.

3.5.1. Отождествление декаметровых радиоисточников.

Каталог 1822 радиоисточников, полученный с помощью телескопа УТР (Харьков) Врауде и др. (Braude et al., 1978;1994) на частотах декаметрово-го диапазона 10, 12.6, 14.7, 16.7, 20 и 25 МГц, покрывает около 30% неба и является самым низкочастотным каталогом, доступным в настоящее время. Поэтому, используя данные этого каталога, можно провести отождествления объектов в низкочастотной области и построить их спектры либо получить верхние границы плотностей потока в декаметровом диапазоне волн для источников Северного неба. Оригинальные публикации не дают информации об отождествлении для 121 (7%) источников, а для большинства источников (81%) отсутствуют оптические отождествления.

Наша цель состояла в том, чтобы идентифицировать по возможности все УТР объекты с известными радиоисточниками. Кросс-идентификация и дальнейшие исследования позволили нам как уточнить положения радиоисточников, так и получить их радиоспектры. По новым координатным данным для ряда объектов удалось провести оптические отождествления с объектами цифрового Паломарского Атласа. Данные о спектрах позволили построить выборки источников в декаметровом диапазоне в зависимости от морфологии спектра, например, выборки источников с крутыми спектрами.

Чистка данных.

Проблема построения спектров радиоисточников каталога УТР, обнаруженных на Харьковском Т-образном радиотелескопе (Брауде и др., 1996) в декаметровом диапазоне волн (10 МГц, 12.6 МГц, 14.7 МГц, 16.7 МГц, 20 МГц, 25 МГц), связана прежде всего с отождествлением источников в больших боксах ошибок, в данном случае в окне 40'x40'cosec полученных при кросс-идентификации в базе данных CATS (Verkhodanov et al., 1997a). Для решения этой проблемы мы применили интерактивную обработку радиоспектров (Верходанов и др., 1997b), полученных путем кросс-идентификации объектов УТР каталога с источниками базы данных CATS с окном отождествления 40 минут дуги. Характеристики основных каталогов, используемых при отождествлении, приводятся в Таблице 3.1.

Чистка спектров производилась программой spg (Верходанов, 1997) по отработанной методике (Верходанов й др., 1997b). При чистке удалялись источники, спектры которых не достигают точек каталога УТР при аппроксимации стандартными кривыми. Поиск предполагаемых кандидатов на отождествление состоял из нескольких шагов: 1. Производилась кросс-идентификация объектов каталога УТР (Braude et al., 1978;1994) с основными радиокаталогами базы данных CATS (Verkhodanov.