"Возможно все" (С) не помню, откуда
http://www.opennet.me/base/net/ipsec_win2bsd.txt.html - несколько устарело, но в тему. Т.е. в целом - это делается :-)9 методов выявления сбоев в работе протокола IPsec в среде Windows 2003
http://www.osp.ru/win2000/2006/07/3654771/
Основные рекомендации по устранению неполадок при использовании протоколов L2TP/IPSEC в Windows XP
http://support.microsoft.com/kb/314831/ru
IPsec troubleshooting in Microsoft Windows 2000 Server
http://support.microsoft.com/kb/257225 - на тему "Obtaining an Oakley log"
Также включаем debug на второй стороне, пробуем установить соединение, вычитываем логи на предмет кого и что не устроило. По результатам - разбираемся с конкретной ошибкой.
По своему опыту - надоели проблемы стыковки различных реализаций, особенно проблемы с NAT, для организации VPN взял OpenVPN.