Первое из этих измерений выражает достоверность исследования по существу, два других – процедурно-техническую достоверность. Парадокс в том, что если первое неверно, то с остальными нечего делать, и заказчик не может на них сколько-нибудь существенно влиять и контролировать их. Зато влиять на валидность он может вполне, тем более, что она состоит из многих важных компонентов, таких, как постановка проблемы, выбор метода и разработка методики, сбор данных и работа с ними, интерпретация данных.
С постановки проблемы начинается качество исследования, и если здесь промахнуться, то не поможет то, что исследование проводится качественно и корректно. При неправильной постановке проблемы может быть получен не просто бессмысленный, но и вредный результат, о чем вы даже не будете знать. У адекватной постановки проблемы есть два предварительных условия. Во-первых, заказчику должно быть ясно, на что он ищет при помощи исследования ответ и приведет ли полученный ответ к решению реальных проблем предприятия. Во-вторых, у исследователя должны быть чутье на рыночные проблемы и смелость подвергать сомнению поставленную заказчиком задачу.
Выбор метода тоже имеет большое значение. В Эстонии под исследованием обычно понимают опросы потребителей. Но во многих случаях значительно более достоверный результат дают мониторинг, эксперимент, тесты и другие специальные методы. Даже если проблема поставлена верно, но метод выбран неправильный, адекватного результата получить не удастся. Поэтому метод не может диктовать заказчик, его должен выбирать исследователь.
Предвыборные опросы постоянно вызывают нарекания и сомнения в прессе. Иногда претензии обоснованны, фирмы, проводящие опросы, тоже не без греха, но зачастую на результаты опросов смотрят слишком прямолинейно. Надо всегда помнить, что никакие методики и никакие потуги не в состоянии в точности имитировать при опросе в домашних условиях накануне выборов ситуацию в момент выборов. Поэтому достаточно достоверный прогноз дает только опрос тех, кто имеет четкие политические предпочтения, а все остальные варианты (еще не решил, скорее, предпочитаю, чем нет и пр.) можно спокойно отложить.
Поэтому необходимо обладать знаниями и опытом как того, каким образом составлять вопросы, так и того, какие из полученных ответов можно использовать при интерпретации результатов, а какие - нет. И это опять вопрос профессионализма исследовательской фирмы, о чем заказчику с исследователем надо поговорить.
Сбор и обработка данных относится к внутренним процедурным вопросам исследователя, вмешиваться в которые заказчик не может, даже если бы хотел. Поскольку некачественная работа не в интересах исследовательской фирмы, заказчику приходится доверять исследователю. При этом надо подчеркнуть, что если три предыдущих аспекта в порядке, то даже при промахах в качестве сбора информации трудно совсем испортить окончательный результат. Есть целый ряд методов сглаживания этих технических промахов.
Последний этап – интерпретация данных. Он тем качественнее, чем точнее выполнены предыдущие. Если все делалось точно и правильно, то итоги настолько очевидны, что особой интерпретации и не требуют.