Прибыв в Марсель в августе 1940 года, Фрай снимает комнату в гостинице «Сплендид» и пишет письма всем, кто значился в списке. Слухи о его прибытии быстро распространились и сотни людей стали обращаться к нему за помощью. Вскоре он понял, что американское консульство не собирается помогать этим людям и что ему придется действовать самостоятельно. Бедственное положение отчаявшихся беженцев заставило Фрая искать пути нелегального вывоза тех, кому грозила явная опасность попасть в руки немцев. Очереди беженцев перед его гостиничным номером стали такими длинными, что ему пришлось снять контору и набрать себе в помощь сотрудников из бывших американских граждан, французов и беженцев. Так был создан Американский центр спасения, через который ежедневно проходило от 60 до 70 человек. Спустя годы Фрай писал, как принимались решения о том, кому следует помочь. «У нас не было возможности точно знать, кому действительно грозила опасность, а кому - нет. Нам приходилось догадываться, и самым лучшим способом было доверие. Иначе мы могли бы отказать в помощи человеку, которому действительно грозила опасность, а впоследствии обнаружить, что его отправили в Дахау или Бухенвальд, потому что мы ему отказали».

Несмотря на отсутствие опыта подпольной работы, Фрай сумел организовать серьезную деятельность. Его офис стал центром как легальных, так и нелегальных способов спасения евреев. Когда две сотен американских виз были выданы, сотрудники Фрая пытались добыть визы в другие страны; бывший венский карикатурист делал фальшивые документы; некоторых беженцев под видом демобилизованных солдат тайно вывозили на французских транспортных суднах в северную Африку, в то время еще контролируемую Францией, других переправляли по суше.

Фрай дважды обращался к госсекретарю США Корделлу Халлу. «Тысячи людей в Европе оказались в тюрьмах и концентрационных лагерях, без надежды на освобождение, потому что нет правительства, которое защитило бы их…. Не могут ли США и другие страны Западного полушария предпринять немедленные меры, например, выдавать новые паспорта Нансена [первоначально предназначенные для помощи не имеющим гражданства русским беженцам] и распространить хотя бы ограниченную дипломатическую защиту на их обладателей?», - писал он 10 ноября 1940 года. Его обращения остались без ответа.

Деятельность Фрая достигла таких размеров, что стало трудно держать ее в секрете. Французская полиция решила предпринять меры против него. Посольство США при правительстве Виши и американское консульство в Марселе, следуя строгой иммиграционной политике своей страны, не защитили Фрая. Первым делом французская полиция обыскала его контору. В декабре 1940-го он был арестован и некоторое время находился в корабельной тюрьме в гавани Марселя. Но опасность не испугала его. Он оставался во Франции даже после того, как закончился срок его пребывания в стране, и продолжал свою деятельность по спасению евреев. В августе 1941 года он был снова арестован французской полицией. Американскому журналисту дали час на сборы, а затем сопроводили к испанской границе, сообщив, что его изгоняют из страны по соглашению между министром внутренних дел Франции и посольством США. Фрай писал о дне своего отъезда так: «Было серо и дождливо, когда я садился в поезд. Я смотрел в окна и бесчисленные образы толпились в моей голове. Я вспоминал лица тысяч беженцев, которых я вызволил из Франции, и думал о тысячах других, которых я оставляю».

По оценке Фрая, до мая 1941 года через его контору прошли 15 000 человек. Около 4 000 человек были спасены, в том числе 1 000 из них были нелегально вывезены из Франции. Среди этих евреев такие известные фигуры, как Ханна Арендт, Марк Шагал, Жак Липшиц, Зигфрид Кракауер, Франц Верфель, Лион Фейхтвангер и многие другие.

Впоследствии, отвечая на вопрос, что им руководило, Фрай говорил, что, когда он посетил Берлин в 1935 году, он стал свидетелем нападения коричневорубашечников на еврея и понял, что больше не может оставаться в стороне.

После вынужденного возвращения Вариана Фрая на родину, ФБР установило за ним наблюдение. Его бывшие коллеги и друзья избегали опального журналиста. До своей смерти в 1967 году, в возрасте 59 лет, он зарабатывал на жизнь, преподавая латынь в школе для мальчиков. Незадолго до его смерти французское правительство наградило героя орденом Почетного легиона.

В 1994 году Яд Вашем удостоил Вариана Фрая почетного звания Праведник народов мира.

Сын Вариана Фрая в честь отца посадил дерево на территории Яд Вашем в 1996 году. На церемонии присутствовал госсекретарь США Воррен Кристофер, который, пользуясь возможностью, принес извинения за оскорбительное отношение госдепартамента к Вариану Фраю в годы войны.