Pica estaba en el Camino del Inca, entre los tambos de Huatacondo al sur, y Mamiña al norte; por aquí pasó Diego de Almagro durante 1535, donde los nativos le opusieron resistencia. En 1556 se instalaron los conquistadores y, desde 1559, hubo «encomiendas de indios». Fue la sede del Tenientazgo de Tarapacá, que dependió del Corregimiento de Arica. En 1765 se creó el Corregimiento, con capital en el vecino pueblo de Tarapacá. Todas estas divisiones administrativas se hicieron bajo el Virreinato del Perú, al que pertenecía toda la zona. Pica era capital de la cúpula eclesiástica que pertenecía a Arequipa. Su parroquia fue creada en el año 1620 por el obispo de Arequipa, Pedro de Perea en donde se entronizó al apóstol de San Andrés.
Aquí se concentró la mayor cantidad de población hispana, que creó una fuerte tradición social en medio del aislamiento (en la actualidad ese puesto es de la ciudad de Iquitos). La primera familia castellana en establecer su hacienda en el lugar, fue la familia Ceballos, venida desde la merenidad de Trasmiera en la provincia de Laredo y Santander en España. Su producto principal fue el vino que se comercializaba por tierra hasta Arequipa y Potosí. Desde comienzos del siglo XVIII, la mina de plata de Huantajaya, próxima a Iquique, trajo riqueza a las familias locales. Luego de la Independencia del Perú en 1821, todo el Departamento de Tarapacá pasó a ser parte de esta república. En 1836 nació en Pica Remigio Morales Bermúdez quien, como coronel del ejército peruano, luchó en la Guerra del Pacífico y llegó a ser presidente del Perú entre los años 1890 y 1894, falleciendo de una enfermedad en pleno ejercicio de su alta función.
El auge salitrero hacia 1850 transformó el área. Las viñas fueron reemplazadas por frutales, sobre todo cítricos. Pica se convirtió en un exclusivo lugar de descanso. De esa época datan la mayoría de las viviendas, los locales de comercio y la iglesia de San Andrés.
La lucha por el agua ha sido una constante en Pica. Los españoles usaron las técnicas mineras de Potosí: en los siglos XVIII y XIX, construyeron más de 12 km de socavones captadores de aguas filtrantes. Aún están en uso y sus «respiraderos» pueden verse en pleno desierto.
En 1883, con el Tratado de Ancón se incorpora a la República de Chile.
En 1887, la Tarapacá Waterworks Co. compró los derechos y transportó el agua por un acueducto hasta Iquique. En 1912, el Estado construyó una nueva captación, desde la quebrada de Quisma. A fines de 1980 se edificó la planta de captación de aguas superficiales de La Quiaca. Así, para abastecer a Iquique, poco a poco se va desertizando este oasis.
El 22 de diciembre de 1891 se crea la municipalidad de Pica, suprimida por la Ley Nº 1919 del 26 de enero de 1907. Luego la Ley Nº 12419 del 4 de enero de 1957 crea definitivamente la actual comuna de Pica.
En 1979, se le segrega el distrito de Huatacondo, anexándolo a la comuna de Pozo Almonte.