Si tenemos instalado OpenJDK, eliminarlo es muy sencillo, si lo que queremos es simplemente instalar Oracle JDK podemos ir directamente al paso dos:

1. Eliminar completamente OpenJDK con este comando: sudo apt-get purge openjdk-\*
2. Descargar Oracle Java JDK desde aquí, asegurate de bajar la versión correcta, por ejemplo para Ubuntu 64 bits seria algo así: jdk-8u20-linux-x64.tar.gz
3. Crea un directorio llamado java en /usr/local/ con este comando: sudo mkdir -p /usr/local/java
4. Copia el fichero descargado en el paso dos a esta nueva carpeta, para ello ve al directorio de la descarga (con cd) y muevelo a /usr/local/java/ con este comando: sudo cp -r jdk-8u20-linux-x64.tar.gz /usr/local/java/
5. Ve al nuevo directorio (de nuevo con cd) y descomprime el fichero descargado con este comando: sudo tar xvzf jdk-8u20-linux-x64.tar.gz
6. Ahora deberia ver el nuevo directorio jdk1.8.0_20, con el numero de versión que te hallas descargado.
7. Actualizar el PATH editando el fichero /etc/profile, para ello usa el comando sudo nano /etc/profile y añade este texto al final del mismo:
   
   JAVA_HOME=/usr/local/java/jdk1.8.0_20 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin export JAVA_HOME export PATH

   1 2 3 4

   JAVA_HOME=/usr/local/java/jdk1.8.0_20 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin export JAVA_HOME export PATH

8. Guarda (ctrl+s) y cierra (ctrl+x)
9. Ahora hay que decirle al sistema donde está la nueva versión de Java, usa estos comandos cambiando el numero de versión por el que estés usando:
   
   sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jdk1.8.0_20/bin/java" 1 sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.8.0_20/bin/javac" 1 sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jdk1.8.0_20/bin/javaws" 1

   1 2 3

   sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jdk1.8.0_20/bin/java" 1 sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.8.0_20/bin/javac" 1 sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jdk1.8.0_20/bin/javaws" 1

10. Haz que se use Oracle Java JDK por defecto:
    
    sudo update-alternatives --set java /usr/local/java/jdk1.8.0_20/bin/java sudo update-alternatives --set javac /usr/local/java/jdk1.8.0_20/bin/javac sudo update-alternatives --set javaws /usr/local/java/jdk1.8.0_20/bin/javaws

    1 2 3

    sudo update-alternatives --set java /usr/local/java/jdk1.8.0_20/bin/java sudo update-alternatives --set javac /usr/local/java/jdk1.8.0_20/bin/javac sudo update-alternatives --set javaws /usr/local/java/jdk1.8.0_20/bin/javaws

11. Recarga el PATH del sistema con este comando: source /etc/profile
12. Reinicia el equipo
13. Comprueba que Java JDK se a instalado correctamente usando este comando: java -version

Eso es todo, fuente y mas información en:

http://askubuntu.com/questions/430434/replace-openjdk-with-oracle-jdk-on-ubuntu/526684#526684