Levando o nome do pequeno concurso de oliva, verde colhida no Mediterrâneo, Picholine abriu as suas portas em 35 West 64th Street, em outubro de 1993. "Tornou-se imediatamente um dos melhores restaurantes em torno do Lincoln Center", segundo o The New York Times, que deu Picholine uma prestigiada classificação de três estrelas.

O restaurante recebeu uma indicação Fundação James Beard de Melhor Restaurante do país em 2007, e foi premiado com duas estrelas no 2008, 2009, 2010 e 2011 edições do Guia Michelin New York City.